人工智能第5章不确定性推理

《人工智能第5章不确定性推理》由会员分享，可在线阅读，更多相关《人工智能第5章不确定性推理（102页珍藏版）》请在装配图网上搜索。

1、不确定性推理方法不确定性推理方法非经典逻辑和非经典推理与非经典逻辑和非经典推理与经典逻辑和经典推理的区别经典逻辑和经典推理的区别 推理方法上，经典逻辑采用演绎逻辑推理，非经典逻辑采用归纳逻辑推理。辖域取值上，经典逻辑都是二值逻辑，而非经典逻辑都是多值逻辑。运算法则上，非经典逻辑背弃了经典逻辑的一些重要特性。逻辑算符上，非经典逻辑具有更多的逻辑算法。经典逻辑是单调的，引用非单调逻辑进行非单调推理是非经典逻辑与经典逻辑的又一重要区别。内容简介内容简介5.1 5.1 概述概述5.2 5.2 概率论基础概率论基础5.3 5.3 贝叶斯网络贝叶斯网络5.4 5.4 主观贝叶斯方法主观贝叶斯方法5.5 5

2、.5 确定性方法确定性方法5.6 5.6 证据理论（证据理论（D-S theoryD-S theory）5.1 概述概述人类的知识和思维行为中，确定性只是相对的，不确定性人类的知识和思维行为中，确定性只是相对的，不确定性才是绝对的。才是绝对的。智能主要反映在求解不确定性问题的能力上。智能主要反映在求解不确定性问题的能力上。推理是人类的思维过程，是从已知实事出发，通过运用相推理是人类的思维过程，是从已知实事出发，通过运用相关的知识逐步推出某个结论的过程。关的知识逐步推出某个结论的过程。不确定性推理是指建立在不确定性知识和证据的基础上的不确定性推理是指建立在不确定性知识和证据的基础上的推理，是从不

3、确定性的初始证据出发，通过运用不确定性推理，是从不确定性的初始证据出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或的知识，最终推出具有一定程度的不确定性但却是合理或者近乎合理的结论的推理过程。者近乎合理的结论的推理过程。5.1.1 不确定性不确定性不确定性推理方法产生的原因不确定性推理方法产生的原因很多原因导致同一结果；推理所需信息不完备；背景知识不很多原因导致同一结果；推理所需信息不完备；背景知识不足；信息描述模糊；信息中含有噪声；推理能力不足；解题足；信息描述模糊；信息中含有噪声；推理能力不足；解题方案不唯一等。方案不唯一等。不确定性的性质不确定性的性质随机性；模糊

4、性；不完全性；时变性随机性；模糊性；不完全性；时变性不确定性的存在不确定性的存在不确定推理中，规则前件（证据）、后件（结论）以及规则不确定推理中，规则前件（证据）、后件（结论）以及规则本身在某种程度上都是不确定的。本身在某种程度上都是不确定的。证据证据的不确定性、的不确定性、规则规则的不确定性、的不确定性、推理推理的不确定性的不确定性5.1.1 不确定性不确定性证据证据规则规则推理推理证据是智能系统的基本信息，是推理的依据。证据是智能系统的基本信息，是推理的依据。歧义性、不完全性、不精确性、模糊性、可信性、随机性、歧义性、不完全性、不精确性、模糊性、可信性、随机性、不一致性不一致性通常来源于专

5、家处理问题的经验，存在着不确定性因素。通常来源于专家处理问题的经验，存在着不确定性因素。证据组合、规则自身、规则结论证据组合、规则自身、规则结论规则之间的冲突影响、不确定的参数、优先策略规则之间的冲突影响、不确定的参数、优先策略由于知识不确定性的动态积累和传播过程所造成的。由于知识不确定性的动态积累和传播过程所造成的。推理过程要通过某种不确定的度量，寻找尽可能符合客观世推理过程要通过某种不确定的度量，寻找尽可能符合客观世界的计算，最终得到结论的不确定性度量。界的计算，最终得到结论的不确定性度量。5.1.2 不确定性推理的基本问题不确定性推理的基本问题 基于规则的专家系统中，不确定性表现基于规则

6、的专家系统中，不确定性表现在证据、规则和推理在证据、规则和推理3个方面，需要对专家系个方面，需要对专家系统中的事实（证据）和知识（规则）给出不统中的事实（证据）和知识（规则）给出不确定性描述，并在此基础上建立不确定性的确定性描述，并在此基础上建立不确定性的传递计算方法。传递计算方法。因此，要实现对不确定性知识的处理，因此，要实现对不确定性知识的处理，必须解决不确定知识的必须解决不确定知识的表示问题表示问题，不确定信，不确定信息的息的计算问题计算问题，以及不确定表示和计算的，以及不确定表示和计算的语语义解释问题义解释问题。表示问题表示问题指用什么方法描述不确定性，这是解决不确定性推指用什么方法描

7、述不确定性，这是解决不确定性推理关键的一步。理关键的一步。通常有通常有数值数值表示和表示和非数值非数值的语义表示方法。的语义表示方法。知识的不确定性表示知识的不确定性表示(AB)(AB)：P(B,A)P(B,A)证据的不确定性表示证据的不确定性表示(A)(A)：P(A)P(A)计算问题计算问题指不确定性的传播和更新，即获得新的信息的过程。指不确定性的传播和更新，即获得新的信息的过程。不确定性的传递问题：不确定性的传递问题：已知规则已知规则AB，P(A)和和P(B,A)，如何计算结论，如何计算结论P(B)结论不确定性的合成：结论不确定性的合成：用不同的知识进行推理得相同结论，但可信度度量不同，用

8、不同的知识进行推理得相同结论，但可信度度量不同，如如P1(A)和和P2(A)，如何计算最终的，如何计算最终的P(A)组合证据的不确定性算法：组合证据的不确定性算法：已知证据已知证据A1和和A2的可信度度量的可信度度量P(A1)、P(A2)，求证据析取和，求证据析取和合取的可信度度量合取的可信度度量P(A1A2)和和P(A1A2)初始命题的不确定性度量一般由领域内的专家从经验得出。初始命题的不确定性度量一般由领域内的专家从经验得出。语义问题语义问题指如何解释上述表示和计算的含义。指如何解释上述表示和计算的含义。对于规则对于规则P(B,A)：A(T)B(T)，P(B,A)=?A(T)B(F)，P(

9、B,A)=?B独立于独立于A，P(B,A)=?对于证据对于证据P(A)：A为为T，P(A)=?A为为F，P(A)=?5.1.3 不确定性推理方法的分类不确定性推理方法的分类形式化逻辑法：多值逻辑、非单调逻辑逻辑法：多值逻辑、非单调逻辑新计算法：新计算法：证据理论证据理论、确定性方法确定性方法、模糊方法、模糊方法新概率法：新概率法：主观主观Bayes方法方法、Bayes网络方法网络方法非形式化在在控制策略一级控制策略一级处理不确定性，其特点是通过识别领处理不确定性，其特点是通过识别领域中引起不确定性的某些特征及相应的控制策略来限域中引起不确定性的某些特征及相应的控制策略来限制或减少不确定性对系统

10、产生的影响。分为工程法、制或减少不确定性对系统产生的影响。分为工程法、控制法、并行确定性法控制法、并行确定性法在在推理一级推理一级上扩展确定性推理，其特点是把不确定的上扩展确定性推理，其特点是把不确定的证据和不确定的知识分别与某种度量标准对应起来，证据和不确定的知识分别与某种度量标准对应起来，并且给出更新结论不确定性的算法。并且给出更新结论不确定性的算法。内容简介内容简介5.1 5.1 概述概述5.2 5.2 概率论基础概率论基础5.3 5.3 贝叶斯网络贝叶斯网络5.4 5.4 主观贝叶斯方法主观贝叶斯方法5.5 5.5 确定性方法确定性方法5.6 5.6 证据理论（证据理论（D-S the

11、oryD-S theory）5.2.1 随机事件随机事件随机事件的定义随机事件的定义样本空间的定义样本空间的定义一个随机实验的全部可能出现的结果的集合，通常记作一个随机实验的全部可能出现的结果的集合，通常记作，中的点称为样本点，通常记作中的点称为样本点，通常记作。随机实验的定义随机实验的定义一个可观察结果的人工或自然的过程，其产生的结果可能不一个可观察结果的人工或自然的过程，其产生的结果可能不止一个，且不能事先确定会产生什么结果。止一个，且不能事先确定会产生什么结果。一个随机实验的一些可能结果的集合，是样本控件的一个子一个随机实验的一些可能结果的集合，是样本控件的一个子集，常用大写字母集，常用

12、大写字母A，B，C，表示。简称为事件。表示。简称为事件。事件常用一句话描述，当实验结果属于某事件所对应的子集事件常用一句话描述，当实验结果属于某事件所对应的子集时，称该时，称该事件发生事件发生。例如例如将一枚硬币连掷两次，观察硬币落地后是花面将一枚硬币连掷两次，观察硬币落地后是花面向上还是字面向上。向上还是字面向上。分析这是一个随机实验，用这是一个随机实验，用H记花面向上，记花面向上，W记字面记字面向上，则共有向上，则共有4个可能出现的结果：个可能出现的结果：样本点样本点1=HH 2=HW 3=WH 4=WW 样本空间样本空间=1234事件A=“花面字面各出现一次花面字面各出现一次”=2,3B

13、=“第一次出现花面第一次出现花面”=1,2C=“至少出现一次花面至少出现一次花面”=1,2,3D=“至多出现一次花面至多出现一次花面”=2,3,4两个事件两个事件A A与与B B可能有以下几种特殊关系可能有以下几种特殊关系包含包含：若事件：若事件B发生则事件发生则事件A也发生，称也发生，称“A包含包含B”，或或“B含于含于A”，记作，记作AB或或BA 等价等价：若：若AB且且BA，即，即A与与B同时发生或同时不发同时发生或同时不发生，则称生，则称A与与B等价，记作等价，记作A=B互斥互斥：若：若A与与B不能同时发生，则称不能同时发生，则称A与与B互斥，记作互斥，记作AB=对立对立：若：若A与与

14、B互斥，且必有一个发生，则称互斥，且必有一个发生，则称A与与B对对立，记作立，记作A=B或或B=A，又称，又称A为为B的余事件，或的余事件，或B为为A的余事件的余事件事件间的关系事件间的关系任意两个事件不一定会是上述几种关系中的一种。任意两个事件不一定会是上述几种关系中的一种。事件间的运算事件间的运算设A，B，A1，A2，An为一些事件，它们有下述的运算 交：交：记C=“A与B同时发生”，称为事件A与B的交，C=|A且B，记作C=AB或C=AB。类似地用Ai=A1A2An表示事件“n个事件A1,A2,An同时发生”。并：并：记C=“A与B中至少有一个发生”，称为事件A与B的并，C=|A或B，记

15、作C=AB。类似地用Ai=A1A2An表示事件“n个事件A1,A2,An中至少有一个发生”。差：差：记C=“A发生而B不发生”，称为事件A与B的差，C=|A但 B，记作C=AB或C=A-B。求余：求余：A=A事件运算的性质事件运算的性质 交换率：结合律：分配律：摩根率：事件计算的优先顺序为：求余，交，差和并。11()nniiiiAA 11()nniiiiAA BAAB)()(BCACABAB=BA(AB)C=A(BC)(AB)C=(AC)(BC)(AB)C=(AC)(BC)5.2.2 事件的概率事件的概率 设设为一个随机实验的样本空间，对为一个随机实验的样本空间，对上的任意事上的任意事件件A

16、A，规定一个实数与之对应，记为，规定一个实数与之对应，记为P(A)P(A)，满足以，满足以下三条基本性质，称为下三条基本性质，称为事件事件A A发生的概率发生的概率：0 0P(A)1 P()=1P()=1，P()=0P()=0若二事件若二事件ABAB互斥，即互斥，即AB=AB=,则则 P(AB)=P(A)+P(B)P(AB)=P(A)+P(B)以上三条基本规定是符合常识的。以上三条基本规定是符合常识的。例如例如设一个随机实验两个可能，记为设一个随机实验两个可能，记为0 0,1 1，则所有，则所有可能的事件只有可能的事件只有4 4个：个：=0 0,1 1,0 0,1 1,空集空集概率的性质概率的

17、性质 定义：设定义：设An,n=1,2,为一组有限或可列无穷多个事为一组有限或可列无穷多个事件，两两不相交，且件，两两不相交，且 ，则称事件族，则称事件族An,n=1,2,为样本空间为样本空间的一个的一个完备事件族完备事件族 又若对任意事件又若对任意事件B有有BAn=An或或,n=1,2,，则称，则称An,n=1,2,为为基本事件族基本事件族 完备事件族与基本事件族有如下的性质：完备事件族与基本事件族有如下的性质：定理：定理：若若An,n=1,2,为一完备事件族，则为一完备事件族，则 且对于一事件且对于一事件B有有 又若又若An,n=1,2,为一基本事件族，则为一基本事件族，则nnA1)(nn

18、APnnBAPBP)()(BAnnAPBP)()(事件事件A出现的出现的概率概率描述为：描述为：n是进行试验的总次数，是进行试验的总次数，m是试验中事件是试验中事件A发生的次数。发生的次数。nmAfn)(事件事件A的的统计概率统计概率如果事件如果事件A出现的频率出现的频率fn(A)总是在区间总是在区间0,1上的一上的一个确定常数个确定常数p附近摆动，并且稳定于附近摆动，并且稳定于p，则称，则称p为事为事件件A的统计概率。的统计概率。统计概率的性质统计概率的性质 对任意事件对任意事件A，有，有0P(A)1 必然事件必然事件的概率的概率P()=1，不可能事件，不可能事件的概率的概率P()=0 对任

19、意事件对任意事件A，有，有P(A)=1-P(A)设事件设事件A1，A2，An（kn）是两两互不相容的事件，）是两两互不相容的事件，即有，即有，则，则 设设A，B是两事件，则是两事件，则 P(AB)=P(A)+P(B)-P(AB)121()()().()kikiPAP AP AP A)(jiAAji条件概率条件概率 定义定义：设：设A，B为事件且为事件且P(A)0，称，称 为事件为事件A已发生的条件下，事件已发生的条件下，事件B的的条件概率条件概率，P(A)在概率推理中称为在概率推理中称为边缘概率边缘概率。简称简称P(B|A)为给定为给定A时时B发生的概率。发生的概率。P(AB)称为称为A与与B

20、的的联合概率联合概率。有联合概率公式：有联合概率公式：P(AB)=P(B|A)P(A)()()|(APABPABP事件事件B的的条件概率条件概率设设B与与A是某个随机实验中的两个事件，如果在事件是某个随机实验中的两个事件，如果在事件A发生的条件下，考虑事件发生的条件下，考虑事件B发生的概率，就称它为发生的概率，就称它为事件事件B的条件概率。的条件概率。条件概率例子条件概率例子 袋子中有白球袋子中有白球2个黑球个黑球3个，从中依次取出个，从中依次取出2个，求取出两个都是白球的概率个，求取出两个都是白球的概率条件概率的性质条件概率的性质 0P(B|A)1 P(|A)=1，P(|A)=0 若B1B2

21、=，则P(Bi+Bj|A)=P(Bi|A)+P(Bj|A)乘法公式乘法公式：P(AB)=P(A)P(B|A)全 概 率全 概 率 公 式：设 A1，A2，An互 不 相交，且P(Ai)0,i=1,2,n，则对于任意事件A有P(A)=iP(Ai)P(A|Ai).|().|()|()().(12121312121nnnAAAAPAAAPAAPAPAAAPiiA全概率例子全概率例子 某商场出售的灯泡来自甲、乙、丙三个工某商场出售的灯泡来自甲、乙、丙三个工厂，甲厂产品占厂，甲厂产品占80%，合格率为，合格率为90%，乙，乙厂产品占厂产品占10%，合格率为，合格率为95%，丙厂产品，丙厂产品占占10%，

22、合格率为，合格率为80%。某顾客购买了一。某顾客购买了一灯泡，求它是合格品的概率。灯泡，求它是合格品的概率。联合概率联合概率 可按条件概率链表达一个联合概率联合概率 其一般规则形式为：)()|()|()|()(DPDCPCDBPBCDAPABCDPniiiinAAAAPAAAP112121).|().(事件的独立性事件的独立性 设A，B为两个事件，满足P(AB)=P(A)P(B)，则称事件A与事件B是相互独立的，简称A与B独立。事件独立的性质事件独立的性质 若P(A)=0或1，则A与任一事件独立 若A与B独立，且P(B)0，则P(A|B)=P(A)若A与B独立，则A与B，A与B，A与B都是相互

23、独立的事件对N个事件相互独立性个事件相互独立性 设A1，A2，An为n个事件，满足下述条件：1 i j n,1 i j 0，B1，B2，Bn互不相交，P(Bi)0,i=1,2,n，且 ，则对于k=1,2,n，贝叶斯公式容易由条件概率的定义，乘法公式和全概率公式得到。在贝叶斯公式中，P(Bi),i=1,2,n称为先验概率先验概率，而P(Bi|A)i=1,2,n称为后验概率后验概率也是条件概率条件概率。iiikkkBAPBPBAPBPABP)|()()|()()|(1)(iiBP5.2.4 信任几率信任几率 P(B|A)可被解释为当A成立时B的可信度。概率适用于重复事件，而似然性适用于表示非重复事

24、件中信任的程度。在某事件A的前提下，事件发生B与不发生B的概率的相对比值称作几率几率，其定义为：，为后验几率 事件X的几率 ，称为先验几率)|(1)|()|(ABPABPAB)()()(XPXPX内容简介内容简介5.1 5.1 概述概述5.2 5.2 概率论基础概率论基础5.3 5.3 贝叶斯网络贝叶斯网络5.4 5.4 主观贝叶斯方法主观贝叶斯方法5.5 5.5 确定性方法确定性方法5.6 5.6 证据理论（证据理论（D-S theoryD-S theory）5.3.1 贝叶斯网络基本概念贝叶斯网络基本概念贝叶斯网络：贝叶斯网络：一系列变量的一系列变量的联合概率联合概率分布的图形表示。分布的

25、图形表示。一个表示变量之间的相互依赖关系的数据一个表示变量之间的相互依赖关系的数据结构；图论与概率论的结合。结构；图论与概率论的结合。两个部分两个部分 贝叶斯网络结构图贝叶斯网络结构图，这是一个有向无环图（DAG:Directed Acyclic Graph），其中图中的每个节点代表相应的变量。当有向弧由节点A指向节点B时，则称：A是B的父节点父节点；B是A的子节点子节点。节点和节点之间的条件概率表节点和节点之间的条件概率表（Conditional Probability Table,CPT），也就是一系列的概率值，表示了局部条件概率分布。P(node|parents)。目的：由证据得出原因发

26、生的概率。即观察到P(Y)，求P(X|Y)应用专家系统时，贝叶斯网络结构贝叶斯网络结构（包括变量的选择及条件独立关系的确定）和局部条件概率均由领域专家给定和局部条件概率均由领域专家给定因果关系网络因果关系网络假设：命题S(smoker)：该患者是一个吸烟者 命题C(coal Miner)：该患者是一个煤矿矿井工人 命题L(lung Cancer)：他患了肺癌 命题E(emphysema)：他患了肺气肿 由专家给定的假设可知专家给定的假设可知，命题S对命题L和命题E有因果影响，而C对E也有因果影响。命题之间的关系可以描绘成因果关系网。SCEL贝叶斯网络贝叶斯网络 贝叶斯网就是一个在弧的连接关系上

27、加入连接强度的因果关系网络。每个节点与它的父节点B1,B2,B3,Bn有条件概率P(A|B1B2B3Bn)当结点没有父节点时，称其为顶点顶点。必须指定顶点的先验概率。所有指定的概率和无环图构成一个贝叶斯所有指定的概率和无环图构成一个贝叶斯网络，概率数据集称为网络，概率数据集称为CPT表。表。贝叶斯网络图例贝叶斯网络图例BADEFCG无环图和指定概率值无环图和指定概率值P(A),P(C),P(B|AC),P(E|B),P(B|D),P(F|E),P(G|DEF)BADCEGF贝叶斯网络两个要素两个要素：1.贝叶斯的结构2.条件概率表CPT非贝叶斯网络贝叶斯网络是一个有向无环图贝叶斯网络的构造贝叶

28、斯网络的构造 确定为建立网络模型有关的变量及其解释 建立一个表示条件独立断言的有向无环图 指派局部概率分布p(xi|pai)以上各步可能交叉并反复进行。贝叶斯网络实例贝叶斯网络实例CPT表为：P(S)=.04 P(C)=0.3(E|S,C)=0.9 P(E|S,C)=0.3 P(E|S,C)=0.5 贝叶斯网络实例图 P(E|S,C)=0.1。SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.9条件独立属性条件独立属性 贝叶斯网络中每个顶点对应一个随机变量 Bayes表达了分布的一系列有条件独立条件独立属性：即在给定了父亲结点（双亲结点）的状态后，每个变量与它在图中的非继承结点在概

29、率上是独立的。条件独立定义条件独立定义 假设对于结点xi，其父结点集Pai，每个变量xi的条件概率P(x|Pai)，则结点集合X=x1,X2,Xn的联合概率分布可按如下公式计算：条件独立条件独立：有结点A、B、C，如果 P(A|BC)=P(A|B)称A与C是在B的条件下独立的。niaiiPXPXP1)|()(上图例中的联合概率密度为 由图可知：E与L在S条件下独立，所以P(E|S,C,L)P(E|S,C)L与C在S,E条件下独立，所以P(L|S,C)=P(L|S)C与S在E条件下独立，所以P(C|S)=P(C)以上三条等式的正确性，可以从贝叶斯网的条件独立属性：贝叶斯网的条件独立属性：(每每个

30、变量与它在图中的非继承节点在概率上是独立的推出个变量与它在图中的非继承节点在概率上是独立的推出)。简化后的联合概率密度为，显然，简化后的公式比原始的数学公式更加简单明了，计算复杂度低很多。如果原贝叶斯网中的条件独立语义数量较多，这种减少更加明显。)(*)|(*),|(*),|(),(SPSCPCSLPLCSEPELCSP)(*)(*)|(*),|(),(SPCPSLPCSEPELCSPD分离分离 对于X,Y,E:X与Y在给定E的条件下独立 P(X|Y,E)=P(X|E)P(Y|X,E)=P(Y|E)多个变量组：d分离（d-separate）P(X1,X2,Xn|Y1,Y2,Ym,E1,E2,E

31、p)=P(X1,X2,Xn|E1,E2,Ep)如果一组节点X在给定E的条件下，从Xi到Yj的每一条通路都被即Ekd分离，则称X独立于另一组节点Y (节点组E d分离X与Y)D分离例子分离例子 图中有三个节点S，L，E L（结果）影响S（起因），S影响E（另一个结果）。如果给定原因S后，L并不能告诉我们有关E的更多事情。即对于S，L和E是相对独立的，那么在计算S和L的关系时就不用过多地考虑E，将会大大减少计算复杂度。称S能D分离L和E。D分离是一种寻找条件独立的有效方法。SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.9串行连接串行连接 串行连接中，事件A通过事件B影响事件C，反之

32、事件C也是通过事件B影响事件A。但是，如果原因证据B是给定的，A并不能给C更多更多的东西，或者说，从A那里得到更多的更多的信息。此时称，如果B是已知的，那么通道就被阻塞，A和C就是独立的了。则称A和C是被B结点D分离的。ABC分叉连接分叉连接 如果，父结点A是已知的，没有更多的信息能够通过A影响到所有子结点。同理，父结点A是已知时，子结点B,F是相互独立的。称子节点B,F是被A结点D分离的。FCBA汇集连接汇集连接 如果不从父结点得到推断，子结点A就一无所知，那么，父结点是相互独立的，它们之间没有相互影响。AFCB 事件e直接影响节点Z 事件e影响节点Z的后代节点 AFCBeAFCBKHe 如

33、果某事件影响了A，那么，各个父结点就不是相互独立的了。该事件可以直接影响A，也可以通过它的后代结点影响A。这种现象称作条件依存条件依存。总之，如果子结点有了变化，或子结点的后代结点发生变化，信息是可以通过汇集连接传播的。对于给定的结点集，如果对贝叶斯网中的结点Vi和Vj之间的每个无向路径（即不考虑DAG图中弧的方向性的路径），在路径上都有某个结点Vb，如果有属性：Vb在中，且路径上的两条弧都以Vb为尾（分叉连接）Vb在中，路径上的一条弧以Vb为头，一条以Vb为尾（串行连接）Vb和它的任何后继都不在中，路径上的两条弧都以Vb为头（汇集连接）则称Vi和Vj 被Vb结点阻塞。如果Vi和Vj被证据集合

34、中的任意结点阻塞，则称Vi和Vj是被集合D分离，结点Vi和Vj条件独立于给定的证据集合，可形式化表示为：或)|(),|(ijiVPVVP)|,(jiVVI)|,(ijVVI)|(),|(jijVPVVPVb2VjVb3ViVb1证据集 条件独立：条件独立：如具有以上三个属性之一，就说结点Vi和Vj条件独立于给定的结点集。阻塞：阻塞：给定证据集合，当上述条件中的任何一个满足时，就说Vb阻塞相应的那条路径。D D分离：分离：如果Vi和Vj之间所有的路径被阻塞，就叫证据集合可以D分离Vi和Vj SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.95.3.2 贝叶斯网络的推理模式贝叶斯网络

35、的推理模式 设所有变量的集合为X=X1,X2,Xn，贝叶斯网络推断的根本任务叶斯网络推断的根本任务就是给定证据变量集合E=e后，计算查询变量集Q的概率分布，即P(Q,E=e)P(E=e)P(Q|E=e)=贝叶斯网络通常使用因果或诊断规则与推理 因果规则：X Cause Y with some probability 诊断规则：Y is evidence of X with some probability 因果推理：Given cause C,determine P(Query|C)诊断推理：Given evidence E,determine P(Query|E)因果推理因果推理 已知父结点

36、，计算子结点的条件概率 给定患者是一个吸烟者(S)，计算他患肺气肿(E)的概率P(E|S)。P(E|S)=P(E,C|S)+P(E,C|S)P(E,C|S)=P(E,C,S)/P(S)=P(E|C,S)P(C,S)/P(S)Bayes =P(E|C,S)P(C|S)反向Bayes =P(E|C,S)P(C)CS条件独立 同理可得P(E,C|S)=P(E|C,S)P(C)因果推理主要操作因果推理主要操作 按照给定证据的V和它的所有双亲的联合概率，重新表达给定证据的询问结点的所求条件概率 知道所有的概率值可从CPT表中得到，推理完成诊断推理诊断推理 从一个子结点计算父结点的条件概率 不得肺气肿的不

37、是矿工的概率P(C|E)P(C|E)=P(E|C)P(C)/P(E)P(E|C)=P(E,S|C)+P(E,S|C)内容简介内容简介5.1 5.1 概述概述5.2 5.2 概率论基础概率论基础5.3 5.3 贝叶斯网络贝叶斯网络5.4 5.4 主观贝叶斯方法主观贝叶斯方法5.5 5.5 确定性方法确定性方法5.6 5.6 证据理论（证据理论（D-S theoryD-S theory）5.4 主观贝叶斯方法主观贝叶斯方法 使用概率来描述专家系统中的不确定性，必须将概率的含义加以拓展。专家系统中，概率一般解释为专家对证据和规则的主观信任度，对概率推理起支撑作用的是贝叶斯理论。一种不确定性推理模型主

38、观贝叶斯方法 既考虑了事件A的出现对其结果B的支持，又考虑了A的不出现对B的影响。5.4.1 规则规则(知识知识)的不确定性的不确定性 在主观贝叶斯方法中，用下列产生式规则表在主观贝叶斯方法中，用下列产生式规则表示知识：示知识：IF A THEN(LS,LN)B 式中（式中（LS,LN）表示该知识的静态强度，成）表示该知识的静态强度，成LS为式子成立的为式子成立的充分性因子充分性因子，LN为式子成立为式子成立的的必要性因子必要性因子，它们分别，它们分别衡量证据衡量证据(前提前提)A对对结论结论B的支持程度的支持程度和和A对对B的支持程度的支持程度。LS和和LN取值范围为取值范围为0,+)，其具

39、体数值由领，其具体数值由领域专家决定。域专家决定。主观贝叶斯方法的不精确推理过程主观贝叶斯方法的不精确推理过程就是根就是根据前提据前提A的概率的概率P(A)，利用规则的，利用规则的LS和和LN，把结论，把结论B的先验概率的先验概率P(B)更新为后验概率更新为后验概率P(B|A)的过程。的过程。先验几率先验几率(X)=P(X)P(X)后验几率后验几率(B|A)=P(B|A)P(B|A)LS=P(A|B)P(A|B)LN=P(A|B)P(A|B)LS表示A为真时，对B为真的影响程度，表示规则AB成立的充分性 LN表示A为假时，对B为真的影响程度，表示规则AB的必要性 实际应用中概率值不可能求出，所

40、以采用的都是专家给定的LS、LN值O(B|A)=LS*O(B)O(B|A)=LN*O(B)以上两式就是修改的贝叶斯公式。以上两式就是修改的贝叶斯公式。由这两式可知：由这两式可知：当当A为真时，可利用为真时，可利用LS将将B的先验几率的先验几率O(B)更新更新为其后验几率为其后验几率O(B|A)；当当A为假时，可利用为假时，可利用LN将将B的先验几率更新为其的先验几率更新为其后验几率后验几率O(B|A)。LSLS=O(B|A)O(B)=P(B|A)P(B|A)P(B)P(B)LS越大，越大，O(B|A)就越大，就越大，P(B|A)也越大，也越大，说明说明A对对B的支持越强；的支持越强；当当LS时

41、，时，O(B|A),P(B|A)1，说，说明明A的存在导致的存在导致B为真，因此说为真，因此说A对对B是充是充分的，称分的，称LS为充分性因子。为充分性因子。=1.1 A对B没影响2.1 A支持B3.1 A支持B3.1,且LN1 LS1 LS=LN=1 这些情况并非总能在现实世界中存在。LS1且LN=1的情形并不少见。LS因子表明当证据存在时，先验几率的变化有多大，LN因子表明当证据不存在时，先验几率的变化有多大。LS、LN的取值与证据间的关系的取值与证据间的关系取 值影 响LS0A为真时B为假，或者说A对B是必然的0LS1A为真时对B是不利的（即（即A不支持不支持B，导致，导致B为真的可能为

42、真的可能性下降）性下降）1A为真时对B无影响1LSA为真时对B是有利的A为真时对B是逻辑充分的，或者说A为真时必有B为真LN0A为假时B为假，或者说A对B是必然的0LN1A为假时对B是不利的1A为假时对B无影响1LNA为假时对B是有利的A为假时对B是逻辑例子例子 如果有石英硫矿带，那么必有钾矿带。对于这条规则，LS=300,LN=0.2 这意味着观测到石英硫矿带非常有用，而若不能观测到硫矿带则没有什么意义。如果LN1，那么，缺乏硫矿带将强烈表明假设是错误的。5.4.2 证据的不确定性证据的不确定性 证据的不确定性度量用几率函数描述(A)=P(A)1-P(A)=0，当A假，当A真(0,)，一般情

43、况5.4.3 推理计算推理计算 1、A必出现必出现，P(A)=1 O(B|A)=LS X O(B)O(B|A)=LN X O(B)求得使用规则AB后，O(B)的更新值O(B|A)和O(B|A)2、A不确定不确定，即P(A)1时 A是系统中的任意一个证据，是系统的初始条件或推理过程中出现的中间结果。设A代表与A有关的所有证据（即A的前项）例如，用户告知只有60%的把握说明证据是真的，这就表示初始证据为真的程度为0.6，即P(A|A)=0.6。现在要在0P(A|A)P(B1),P(B2)=0.02，P(B1)=0.04（已知）,P(B2|A)=0.02+(0.857-0.02)(0.454-0.0

44、4)/(1-0.04)=0.38例例5.2已知：证据A1，A2必然发生，且P（B1）0.03 规则如下：R1：A1B1 LS=20 LN=1;R2：A2B1 LS=300LN=1求B1的更新值。解：（1）依R1，P1（B）0.03 O（B1）0.03/(1-0.03)=0.030927 O(B1|A1)=LSO(B1)=200.030927=0.61855 P(B1|A1)=0.61855/(1+0.61855)=0.382 使用规则R1后，B1的概率从0.03上升到0.382（2）依R2：O(B1|A1A2)=300O(B1|A1)=185.565 P(B1|A1A2)=185.565/(1

45、+185.565)=0.99464 使用规则R2后，B1的概率从0.382上升到0.99464例例5.3 已知：证据A必然发生，且有P(B1)=0.03，P(B2)=0.01，规则如下：R1:AB1 LS=20 LN=1R2:B1B2 LS=300 LN=0.001 求B2的更新值。解：(1)依R1可得：LS X P(B1)(LS-1)X P(B1)+1 P(B1|A)=20 X 0.03(20-1)X 0.03+1=0.3822(2)依R2可得：LS X P(B2)(LS-1)X P(B2)+1 P(B2|B1)=300 X 0.01(300-1)X 0.01+1=0.75188(3)由于

46、P(B1|A)=0.3822 P(B1)=0.03 所以 P(B2)+P(B2|B1)-P(B2)1-P(B1)P(B1|A)-P(B1)P(B2|A)=0.01+0.752-0.011-0.03 (0.382-0.03)=0.279主观贝叶斯方法的优点主观贝叶斯方法的优点 主观贝叶斯方法的计算公式大多是在概率论的基础上推导出来的，具有比较坚实的理论基础。规则的LS和LN是由领域专家根据实践经验给出的，避免了大量的数据统计工作。此外，它既用LS指出了证据A对结论B的支持程度，又用LN指出了A对B的必要性程度，比较全面地反映了证据与理论间的因果关系，符合现实世界中某些领域的实际情况，使推出的结论

47、具有比较准确的确定性。主观贝叶斯方法不仅给出了在证据确定情况下有B的先验概率更新为后验概率的方法，而且还给出了在证据不确定情况下更新先验概率为后验概率的方法。由其推理过程还可以看出，它确实实现了不确定性的逐级传递。因此可以说主观贝叶斯方法是一种比较实用而又灵活的不确定性推理方法，它已成功地应用在专家系统中。主观贝叶斯方法的缺点主观贝叶斯方法的缺点 要求领域专家在给出规则的同时，给出B的先验概率P(B)，这是比较困难的 贝叶斯定理中关于事件间独立性的要求使主观贝叶斯方法的应用收到一定的限制内容简介内容简介5.1 5.1 概述概述5.2 5.2 概率论基础概率论基础5.3 5.3 贝叶斯网络贝叶斯

48、网络5.4 5.4 主观贝叶斯方法主观贝叶斯方法5.5 5.5 确定性方法确定性方法5.6 5.6 证据理论（证据理论（D-S theoryD-S theory）5.5.1 规则不确定性度量规则不确定性度量 知识用产生式规则表示，知识的不确定性则是以可信度CF(B,A)表示，其一般形式为If A then B(CF(B,A)A是知识的前提条件，或称为证据 B是结论 CF(B,A)是该条知识的可信度，称为可信度因子CF(B,A)的取值范围的取值范围 CF(B,A)的取值范围是-1,1，它指出当前提条件A所对应的证据为真时，它对结论B的支持程度。CF(B,A)0，则表示该证据增加了结论为真的程度，

49、且CF(B,A)的值越大，结论B越真 若CF(B,A)=1，则表示该证据使结论为真 若CF(B,A)0时，有P(B|A)P(B)MD(B,A)为不信任增长度，表示因证据A的出现对假设B为假的信任增加的程度，即当MD(B,A)0时，有P(B|A)0时MD(B,A)=0，则CF(B,A)=MB(B,A)2.MD(B,A)0时MB(B,A)=0，则CF(B,A)=-MD(B,A)2.若P(B|A)=1，即A为真则B为真时，则MB(B,A)=1，MD(B,A)=0，CF(B,A)=1 3.若P(B|A)=0，即A为真则B为假时，则MD(B,A)=1，MB(B,A)=0，CF(B,A)=-1 4.若P(

50、B|A)=P(B)，即A对B没有影响时，则MD(B,A)=0，MB(B,A)=0，CF(B,A)=0CF(B|A)的计算公式的计算公式CF(B|A)=P(B|A)-P(B)P(B|A)-P(B)1-P(B)P(B)P(B|A)P(B)P(B|A)0，表示A以CF(A)程度为真 CF(A)0，证据某种程度为真CF(A)0，证据某种程度为假在可信度方法的不精确推理中，并没有在可信度方法的不精确推理中，并没有考虑证据为假对结论考虑证据为假对结论B所产生的影响。所产生的影响。结论不确定性的合成算法（一）结论不确定性的合成算法（一）多条知识支持同一结论时，结论不确定性的合成计算方法由规则A1B可求得CF

51、1(B)，同时又有规则A2B可求得CF2(B)，如何根据这两条规则计算最终合成后的可信度CF(B)CF1(B)CF2(B)是同时发生，即可以是分别从两条完全独立的途径得到的知识。分两步求解分两步求解 第一：分别对每一条知识求出CF(B)CF1(B)=max0,CF(A1)X CF(B,A1)CF2(B)=max0,CF(A2)X CF(B,A2)第二：用下述公式求出A1A2对B的综合影响形成的可信度CF(B)CF(B)=CF1(B)+CF2(B)CF1(B)CF2(B)CF1(B)+CF2(B)+CF1(B)CF2(B)CF1(B)+CF2(B)CF1(B)0 CF2(B)0 CF1(B)0

52、CF2(B)0 CF1(B)与 CF2(B)符号不同 该公式不满足组合交换性该公式不满足组合交换性 在已知结论原始可信度的情况下，结论可信度的更新计算方法 已知证据A的可信度CF(A)，结论B的原有可信度CF(B)，求A通过规则AB，作用到B后，B的可信度的更新值CF(B|A)结论不确定性的合成算法（二）结论不确定性的合成算法（二）由于证据A不是必然发生，所以必须对可信度的情况进行讨论。CF(A)=1时，A必然发生，即证据肯定出现CF(B|A)=CF(B)+CF(B,A)(1 CF(B)CF(B)+CF(B,A)(1+CF(B)CF(B)+CF(B,A)CF(B)0 CF(B,A)0 CF(B

53、)0 CF(B,A)0 其他 0CF(A)1时，A可能发生CF(B)+CF(A)CF(B,A)(1 CF(B)CF(B)+CF(A)CF(B,A)(1+CF(B)CF(B)+CF(A)CF(B,A)CF(B)0 CF(A)CF(B,A)0 CF(B)0 CF(A)CF(B,A)0 其他 CF(B|A)=CF(A)0时，A不可能发生，规则AB不可用，即认为不可能发生的事件对B没有影响。例例5.4 已知 R1：A1B1 CF(B1,A1)=0.8 R2：A2B1 CF(B1,A2)=0.5 R3：B1A3B2 CF(B2,B1A3)=0.8 CF(A1)=CF(A2)=CF(A3)=1 CF(B1)=CF(B2)=0 计算CF(B1)、CF(B2)（1）对知识R1R2分别计算CF1(B1)和CF2(B1)CF1(B1)=max0,CF(A1)X CF(B1,A1)=0.8CF2(B1)=max0,CF(A2)X CF(B1,A2)=0.5（2）利用合成算法计算B1的综合可信度CF(B1)=CF1(B1)+CF2(B1)CF1(B1)CF2(B1)=0.8+0.5-0.8*0.5=0.9（3）计算B1A3的可信度 CF(B1A3)=min(CF(A3),CF(B1)=0.9（4）计算B2的可信度CF(B2)=max0,CF(B1A3)X CF(B2,B1A3)=0.9*0.8=0.72