人工智能第八章：不确定知识与推理

《人工智能第八章：不确定知识与推理》由会员分享，可在线阅读，更多相关《人工智能第八章：不确定知识与推理（72页珍藏版）》请在装配图网上搜索。

1、Department of Computer Science & Technology, Nanjing University Spring第八章第八章 不确定知识与推理不确定知识与推理q 概述概述q非精确性推理非精确性推理q 不确定性人工智能的数学基础不确定性人工智能的数学基础q 贝叶斯网络贝叶斯网络2Department of Computer Science & Technology, Nanjing University Spring8.1 概述概述知识的不确定性知识的不确定性q随机性随机性q模糊性模糊性q自然语言中的不确定性自然语言中的不确定性q常识知识的不确定性常识知识的不确定性q

2、知识的其他不确定性知识的其他不确定性3Department of Computer Science & Technology, Nanjing University Spring随机性随机性u 以牛顿理论为代表的确定性科学，创造了给世界以精以牛顿理论为代表的确定性科学，创造了给世界以精确描绘的方法，将整个宇宙看作是钟表式的动力学系确描绘的方法，将整个宇宙看作是钟表式的动力学系统，处于确定、和谐、有序的运动之中。统，处于确定、和谐、有序的运动之中。u客观世界上随机的，映射到人脑的客观世界，即主观客观世界上随机的，映射到人脑的客观世界，即主观世界也应该是随机的。因此，人类在认知过程中表现世界也应该

3、是随机的。因此，人类在认知过程中表现出的智能和知识，不可避免地伴随有随机性。出的智能和知识，不可避免地伴随有随机性。u随机性无处不在，随机性使得世界更为复杂，也更为随机性无处不在，随机性使得世界更为复杂，也更为丰富多彩。丰富多彩。8.1 概述概述4Department of Computer Science & Technology, Nanjing University Spring模糊性模糊性u直到直到20世纪，人们才认识到，模糊性并不是坏事。它世纪，人们才认识到，模糊性并不是坏事。它能够用较少的代价，传递足够的信息，并能对复杂事能够用较少的代价，传递足够的信息，并能对复杂事物做出高效率的

4、判断和处理。物做出高效率的判断和处理。u模糊性的客观性模糊性的客观性u哲学家罗素早在哲学家罗素早在1923年一篇题为年一篇题为Vagueness的论文的论文中明确指出：中明确指出：“认为模糊知识必定是靠不住的，这种认为模糊知识必定是靠不住的，这种看法是大错特错的看法是大错特错的”。u随着科学技术的发展，科学家们已经认识到：硬要把随着科学技术的发展，科学家们已经认识到：硬要把模糊事物人为地精确化，不仅会以方法的复杂性为代模糊事物人为地精确化，不仅会以方法的复杂性为代价，而且会降低结果的意义性。价，而且会降低结果的意义性。8.1 概述概述5Department of Computer Scienc

5、e & Technology, Nanjing University Spring自然语言中的不确定性自然语言中的不确定性u语言带有不确定性是很自然的，是人类思维的本质特语言带有不确定性是很自然的，是人类思维的本质特征之一。征之一。u计算机自然语言理解、机器翻译等研究，从计算机自然语言理解、机器翻译等研究，从20世纪世纪40年代兴起至今已经有年代兴起至今已经有60多年的历史，多年的历史，u人们寄希望于表示概念的语言值的不确定性研究取得人们寄希望于表示概念的语言值的不确定性研究取得突破突破8.1 概述概述6Department of Computer Science & Technology,

6、Nanjing University Spring常识知识的不确定性常识知识的不确定性u在人工智能界，常识知识的表示、处理和验证是非常在人工智能界，常识知识的表示、处理和验证是非常困难的。困难的。u常识知识的相对性常识知识的相对性u目前，人工智能界有这样的共识：有无常识是人和机目前，人工智能界有这样的共识：有无常识是人和机器的根本区别之一。器的根本区别之一。8.1 概述概述7Department of Computer Science & Technology, Nanjing University Spring知识的其他不确定性知识的其他不确定性u知识的不完备性知识的不完备性u知识的知识的

7、不协调性不协调性u知识的非恒常性知识的非恒常性8.1 概述概述8Department of Computer Science & Technology, Nanjing University Spring 不确定性知识的表示、处理和模拟，寻找并且形不确定性知识的表示、处理和模拟，寻找并且形式化地表示不确定性知识中的规律性，让机器模拟人式化地表示不确定性知识中的规律性，让机器模拟人类知识客观世界和人类自身的认知过程，使机器具有类知识客观世界和人类自身的认知过程，使机器具有不确定性智能，成为人工智能学家的重要任务。不确定性智能，成为人工智能学家的重要任务。8.1 概述概述9Department o

8、f Computer Science & Technology, Nanjing University Spring8.2 非精确性推理非精确性推理 非精确性推理方法研究产生的原因大致如下：非精确性推理方法研究产生的原因大致如下：很多原因导致同一结果很多原因导致同一结果推理所需的信息不完备推理所需的信息不完备背景知识不足背景知识不足信息描述模糊信息描述模糊信息中含有噪声信息中含有噪声划分是模糊的划分是模糊的推理能力不足推理能力不足解题方案不唯一解题方案不唯一 10Department of Computer Science & Technology, Nanjing University Sp

9、ringuES是通过大量专家知识来取得高水平的问题求解能是通过大量专家知识来取得高水平的问题求解能力。由于专家知识是不确定的，因此力。由于专家知识是不确定的，因此ES要达到高性能要达到高性能,必须解决好不确定性问题。必须解决好不确定性问题。u 传统的概率统计方法受限制传统的概率统计方法受限制 u 放弃传统程序求解的逻辑完备性放弃传统程序求解的逻辑完备性8.2 非精确性推理非精确性推理11Department of Computer Science & Technology, Nanjing University SpringuShortliffe等人等人1975年结合年结合MYCIN系统的建立

10、提出了系统的建立提出了确定性理论确定性理论。uDURA等人等人1976在在PROSPECTOR的基础上给出了概的基础上给出了概率法。率法。uDempster Shafter同年提出同年提出证据理论证据理论。uZadeh两年后提出了可能性理论，两年后提出了可能性理论，1983年提出了模糊年提出了模糊逻辑。逻辑。8.2 非精确性推理非精确性推理非确定性推理的研究和发展非确定性推理的研究和发展12Department of Computer Science & Technology, Nanjing University Springq MYCIN系统是第一个采用了不确定推理逻辑的专家系系统是第一个

11、采用了不确定推理逻辑的专家系统，在统，在20世纪世纪70年代非常有名。年代非常有名。q 这个系统提出该确定性方法时遵循了下面的原则：这个系统提出该确定性方法时遵循了下面的原则：（1） 不采用严格的统计理论。使用的是一种接近统不采用严格的统计理论。使用的是一种接近统计理论的近似方法。计理论的近似方法。（2） 用专家的经验估计代替统计数据用专家的经验估计代替统计数据（3） 尽量减少需要专家提供的经验数据，尽量使少尽量减少需要专家提供的经验数据，尽量使少量数据包含多种信息。量数据包含多种信息。（4） 新方法应适用于证据为增量式地增加的情况。新方法应适用于证据为增量式地增加的情况。（5） 专家数据的轻

12、微扰动不影响最终的推理结论。专家数据的轻微扰动不影响最终的推理结论。确定性理论确定性理论13Department of Computer Science & Technology, Nanjing University SpringMYCIN 概述概述 用用 户户 解释模块解释模块咨询模块咨询模块 知识获取模块知识获取模块感染病专家感染病专家与知识工程师与知识工程师知识库知识库动态数据库动态数据库(推理记录推理记录)患者数据库患者数据库(原始数据库原始数据库)MYCIN系统结构图系统结构图 14Department of Computer Science & Technology, Nanji

13、ng University SpringMYCIN推理策略推理策略采用反向推理和深度优先搜索。采用反向推理和深度优先搜索。诊断治疗过程如下诊断治疗过程如下 ：(1)确定患者有无细菌性感染。确定患者有无细菌性感染。(2)确定可能引起感染的有机体。确定可能引起感染的有机体。(3)确定对其有抑制作用的药物。确定对其有抑制作用的药物。(4)选择对治疗最合适的药物。选择对治疗最合适的药物。这四个步骤由目标规则这四个步骤由目标规则 来执行。来执行。 15Department of Computer Science & Technology, Nanjing University SpringMYCIN知识

14、表示知识表示 如：如：RULE 037 PREMISE: ($AND (NOTKNOWN CONTXT IDENT) (SAME CONTXT GRAM GRAMNEG) (SAME CONTXT MORPH ROD) (SAME CONTXT AIR AEROBIC)ACTION: (CONCLUDE CONTXT CLASS ENTEROBACTERIACEAE TALLY 0.8) 16Department of Computer Science & Technology, Nanjing University Spring可信度是指人们根据以往经验对某个事物或现象为真的程度的一可信度是

15、指人们根据以往经验对某个事物或现象为真的程度的一个判断，或者说是人们对某个事物或现象为真的相信程度。个判断，或者说是人们对某个事物或现象为真的相信程度。可信度的概念可信度的概念可信度具有一定的主观性，较难把握。但对某一特定领域，让可信度具有一定的主观性，较难把握。但对某一特定领域，让该领域专家给出可信度还是可行的。该领域专家给出可信度还是可行的。 17Department of Computer Science & Technology, Nanjing University Spring8.3.2 CF模型模型 表示形式：表示形式：在在C-F模型中，知识是用产生式规则表示的，其一般形式为：模

16、型中，知识是用产生式规则表示的，其一般形式为： IF E THEN H (CF(H, E)其中，其中，E是知识的前提条件；是知识的前提条件；H是知识的结论；是知识的结论；CF(H, E)是知识的可信度。是知识的可信度。 1. 知识不确定性的表示知识不确定性的表示:例子：例子：IF 发烧发烧 AND 流鼻涕流鼻涕 THEN 感冒感冒 (0.8)说明：当某人确实有说明：当某人确实有“发烧发烧”及及“流鼻涕流鼻涕”症状时，则有症状时，则有80%的把握是患了感冒。的把握是患了感冒。18Department of Computer Science & Technology, Nanjing Univer

17、sity Spring说明：说明： (1) E可以是单一条件，也可以是复合条件。例如：可以是单一条件，也可以是复合条件。例如： E=(E1 OR E2) AND E3 AND E4 (2) H可以是单一结论，也可以是多个结论可以是单一结论，也可以是多个结论 (3) CF是知识的静态强度，是知识的静态强度，CF(H, E)的取值为的取值为-1, 1，表示当，表示当E为真时，证据对为真时，证据对H的支持程度，其值越大，支持程度越大。的支持程度，其值越大，支持程度越大。 (4) CF(H, E)可以理解为规则的可信度可以理解为规则的可信度 19Department of Computer Scien

18、ce & Technology, Nanjing University Spring可信度的定义可信度的定义 在在CF模型中，把模型中，把CF(H, E)定义为定义为 CF(H, E)=MB(H, E)-MD(H, E) 2.可信度的定义与性质可信度的定义与性质1,()1(,)max (|), ()(),1()P HMB H EP H E P HP HP H若否则MB: 信任增长度，信任增长度，MB(H, E)定义为定义为:1,( )0( , )min (| ), ( )( ),( )P HMD H EP H E P HP HP H若否则MD:不信任增长度，不信任增长度，MB(H, E)定义为

19、定义为:20Department of Computer Science & Technology, Nanjing University SpringMB和和MD的关系的关系:)()|()|()|()()|()(),(00)(1)()|(0),(),(HPEHPHPEHPHPEHPHPEHPHPEHMDHPHPEHPEHMBEHCF若若若1,()1(,)max (|), ()(),1()P HMB H EP H E P HP HP H若否则1,( )0( , )min (| ), ( )( ),( )P HMD H EP H E P HP HP H若否则q当当MB(H, E)0时时: P(H

20、|E)P(H) E的出现增加了的出现增加了H的概率的概率q当当MD(H, E)0时：时： P(H|E)0时，时，MD(H, E)=0 当当MD(H, E)0时，时，MB(H, E)=01),(1, 1),(0, 1),(0EHCFEHMDEHMBn值域值域22Department of Computer Science & Technology, Nanjing University Springn典型值典型值(1) 当当CF(H,E)=1时，有时，有P(H/E)=1，它说明由于，它说明由于E所对应证据的出所对应证据的出现使现使H为真。此时，为真。此时，MB(H, E)=1，MD(H, E)=

21、0。(2) 当当CF(H,E)= -1时，有时，有P(H/E)=0，说明由于，说明由于E所对应证据的出所对应证据的出现使现使H为假。此时，为假。此时，MB(H, E)=0，MD(H,E)=1。(3)当当CF(H,E)= 0时，有时，有MB(H, E)=0、MD(H, E)=0。前者说明。前者说明E所对应证据的出现不证实所对应证据的出现不证实H；后者说明；后者说明E所对应证据的出现不否所对应证据的出现不否认认H。(4) 对对H的信任增长度等于对非的信任增长度等于对非H的不信任增长度的不信任增长度(, )(, )+0MDH EMB H ECF(H,E) CF( H,E)q对对H的信任增长度等于对非

22、的信任增长度等于对非H的不信任增长度的不信任增长度q对对H的可信度与非的可信度与非H的可信度之和等于的可信度之和等于0q可信度不是概率可信度不是概率概率满足：概率满足：P(H)+P(H)=1 和和 0P(H),P(H) 1 但可信度不满但可信度不满足。足。23Department of Computer Science & Technology, Nanjing University Spring(5)对同一前提对同一前提E，若支持若干个不同的结论，若支持若干个不同的结论Hi(i=1,2,n)，则：，则：niiEHCF11),(若：专家给出的知识有如下情况若：专家给出的知识有如下情况 CF(H

23、1, E)=0.7, CF(H2, E)=0.4非法，应进行调整或规范化非法，应进行调整或规范化24Department of Computer Science & Technology, Nanjing University Spring证据（证据（E）不确定性的表示：）不确定性的表示：证据的不确定性也是用可信度来表示的，其取值范围也为证据的不确定性也是用可信度来表示的，其取值范围也为-1,1 若若E为初始证据，其值由用户给出。为初始证据，其值由用户给出。 若若E为中间结论，其值可通过计算得到。为中间结论，其值可通过计算得到。不确定性的含义：不确定性的含义： 对对E，其可信度，其可信度CF(

24、E)的含义如下：的含义如下： CF(E)=1，证据，证据E肯定它为真肯定它为真 CF(E)=-1，证据，证据E肯定它为假肯定它为假 CF(E)=0，对证据，对证据E一无所知一无所知 0CF(E)1，证据，证据E以以CF(E)程度为真程度为真 -1CF(E)0，证据，证据E以以CF(E)程度为假程度为假3. 证据不确定性的表示证据不确定性的表示25Department of Computer Science & Technology, Nanjing University Spring4. 否定证据不确定性的计算否定证据不确定性的计算 CF(E)=- CF(E)5. 组合证据不确定性的计算组合证

25、据不确定性的计算“合取合取”与与“析取析取”两种基本情况。两种基本情况。 26Department of Computer Science & Technology, Nanjing University Spring析取析取:当组合证据是多个单一证据的析取时当组合证据是多个单一证据的析取时即即E=E1 OR E2 OR OR En时，若已知时，若已知CF(E1)，CF(E2)，CF(En)，则，则 CF(E)=maxCF(E1), CF(E2), ,CF(En) 合取合取: 当组合证据是多个单一证据的组合时当组合证据是多个单一证据的组合时即即 E=E1 AND E2 AND AND En时，

26、若已知时，若已知CF(E1)，CF(E2)，CF(En)，则，则 CF(E)=minCF(E1), CF(E2), ,CF(En)27Department of Computer Science & Technology, Nanjing University Springl CF模型中的不确定性推理实际上是从不确定的初始证据出发，不断模型中的不确定性推理实际上是从不确定的初始证据出发，不断运用相关的不确性知识，逐步推出运用相关的不确性知识，逐步推出最终结论和该结论可信度最终结论和该结论可信度的过程。的过程。l 每一次运用不确定性知识，都需要由证据的不确定性和知识的不确每一次运用不确定性知识，

27、都需要由证据的不确定性和知识的不确定性去计算结论的不确定性。定性去计算结论的不确定性。 6. 不确定性推理不确定性推理不确定性的更新公式不确定性的更新公式: CF(H)=CF(H, E)max0, CF(E) 若若CF(E)0, 称称 为事件为事件B出现条件下，事件出现条件下，事件A发生的条件概率发生的条件概率 。条件概率及贝叶斯定理条件概率及贝叶斯定理()(|)( )P ABP A BP B条件概率的意义在于：如果在随机试验中，已经条件概率的意义在于：如果在随机试验中，已经观察到了事件观察到了事件B的发生，那么可以利用事件的发生，那么可以利用事件B发生发生的概率，去认识事件的概率，去认识事件

28、A的不确定的不确定性。41Department of Computer Science & Technology, Nanjing University Springu贝叶斯定理（贝叶斯定理（Bayes）设事件设事件A1，A2 ，A3 ，An中任意两个事件都中任意两个事件都不相交，则对任何事件不相交，则对任何事件B有下式成立：有下式成立： 该定理就叫该定理就叫Bayes定理，上式称为定理，上式称为Bayes公式。公式。条件概率及贝叶斯定理条件概率及贝叶斯定理42Department of Computer Science & Technology, Nanjing University Spr

29、ing贝叶斯定理贝叶斯定理u设Ai是导致事件是导致事件B发生的所有可能原因，已知他们的概率为发生的所有可能原因，已知他们的概率为P（Ai）,这些概率被称为先验概率这些概率被称为先验概率;u设设Ai在随机试验中不能或者没有被直接观察到，只能观察到与在随机试验中不能或者没有被直接观察到，只能观察到与之联系的之联系的B的发生的发生;u在此条件下，对事件在此条件下，对事件Ai出现的可能性作出判断，即求出关于出现的可能性作出判断，即求出关于B的条件概率的条件概率P（Ai|B），又称为），又称为Ai的后验概率。的后验概率。例如：用例如：用B代表发烧，代表发烧，A代表感冒代表感冒:P（A|B） - P（B|

30、A）贝叶斯公式给出用先验概率贝叶斯公式给出用先验概率P（B|A），求后验概率），求后验概率P（A|B）的方法）的方法43Department of Computer Science & Technology, Nanjing University Spring例子：例子：已知：已知：s表示病人脖子强直；表示病人脖子强直； m表示病人患有脑膜炎表示病人患有脑膜炎p（s|m）=0.5; p(m)=1/50000; p(s)=1/20p(m|s)=?p(m|s)=p(s|m)p(m)/p(s)=0.000244Department of Computer Science & Technology,

31、Nanjing University Spring8.3.2 粗糙集理论（粗糙集理论（Rough Set）1965年，年，L. A. Zadeh提出提出Fuzzy Sets 的概念，试图通的概念，试图通过这一理论解决过这一理论解决G.frege的含糊概念。的含糊概念。FSFS方法：方法：利用隶属函数描述边界上的不确定对象。利用隶属函数描述边界上的不确定对象。19821982年，波兰华沙理工大学年，波兰华沙理工大学 Z.Pawlak 教授针对教授针对G. frege的边界线区域思想提出了的边界线区域思想提出了Rough Sets理论理论。RSRS方法：把无法确认的个体都归属于边界区域，把边界方法

32、：把无法确认的个体都归属于边界区域，把边界区域定义为上近似集和下近似集的差集。区域定义为上近似集和下近似集的差集。45Department of Computer Science & Technology, Nanjing University SpringuRough set theory is still another approach to vagueness.u Similarly to fuzzy set theory it is not an alternative to classical set theory but it is embedded in it.u Rough

33、set theory can be viewed as a specific implementation of Freges idea of vagueness, i.e., imprecision in this approach is expressed by a boundary region of a set, and not by a partial membership, like in fuzzy set theory. uRough set concept can be defined by approximations.1982 Z. Pawlak 波兰波兰46Depart

34、ment of Computer Science & Technology, Nanjing University Spring1 1 问题问题医生医生症状头痛？肌肉痛？体温？患病？流感？47Department of Computer Science & Technology, Nanjing University Spring很高是否p6高否否p5正常是否p4很高是是p3高是是p2正常是是p1体温肌肉痛头痛患者流感否是是否否是条件属性条件属性决策属性48Department of Computer Science & Technology, Nanjing University Sprin

35、g很高是否p6高否否p5正常是否p4很高是是p3高是是p2正常是是p1体温肌肉痛头痛患者条件属性条件属性是否否是是否流感决策属性信息表信息表49Department of Computer Science & Technology, Nanjing University Spring很高是否p6高否否p5正常是否p4很高是是p3高是是p2正常是是p1体温肌肉痛头痛患者流感否是是否否是条件属性条件属性决策属性很高否是p7是50Department of Computer Science & Technology, Nanjing University Spring不可分辨关系不可分辨关系uRS理

36、论是基于不可分辨关系的（等价关系）。 2( ),( ( )( )IND Bx yx yUbB b xb y 51Department of Computer Science & Technology, Nanjing University Spring1 1 问题问题医生医生症状头痛？肌肉痛？体温？患病？流感？表达表达条件属性等价类条件属性等价类和和决策属性等价类决策属性等价类的关系（其中存在的关系（其中存在vague）在条件属性下在条件属性下的等价类的等价类在决策属性在决策属性下的等价类下的等价类52Department of Computer Science & Technology, N

37、anjing University Springb1=p1,p2,p3b2=p5b3=p4,p6b4=p7X=p1,p4,p5Y=p2,p3,p6,p7条件属性下条件属性下决策属性下决策属性下流感否是是否否是决策属性是53Department of Computer Science & Technology, Nanjing University SpringX=p1,p4,p5上近似上近似 b1Ub2Ub3下近似下近似 b1 XxBUxXB: XxBUxXB:边界域边界域 b2Ub3)()()(XBXBXBNB54Department of Computer Science & Techno

38、logy, Nanjing University Spring55Department of Computer Science & Technology, Nanjing University Spring直观理解直观理解:对于上近似集外上近似集外的元素,一定不属于X对于边界域内边界域内的元素,可能属于X,也可能不属于X对于下近似内下近似内的元素,一定属于X56Department of Computer Science & Technology, Nanjing University SpringRough Set 的能力的能力属性约简属性约简 属性的重要度属性的重要度 规则生成规则生成57

39、Department of Computer Science & Technology, Nanjing University Spring8.4 贝叶斯网络贝叶斯网络u根据概率理论的法则建立网络模型，对不确定性进行推根据概率理论的法则建立网络模型，对不确定性进行推理。理。u贝叶斯网络是一系列变量的联合概率分布的图形表示。贝叶斯网络是一系列变量的联合概率分布的图形表示。8.4 .1 贝叶斯网络的表示贝叶斯网络的表示58Department of Computer Science & Technology, Nanjing University Spring包含两个部分：包含两个部分： 贝叶斯网

40、络结构图：有向无环图（贝叶斯网络结构图：有向无环图（DAG），其中图中的），其中图中的每个节点代表相应的变量，节点之间的连接关系代表了贝每个节点代表相应的变量，节点之间的连接关系代表了贝叶斯网络的条件独立语义。叶斯网络的条件独立语义。节点和节点之间的条件概率表（节点和节点之间的条件概率表（CPT）：一系列的概率）：一系列的概率值。值。命题命题S(moker)：吸烟者：吸烟者命题命题C(oal Miner)：煤矿矿井工人：煤矿矿井工人命题命题L(ung Cancer)：他患了肺癌：他患了肺癌命题命题E(mphysema)：他患了肺气肿：他患了肺气肿贝叶斯网有时也叫因果网，因为可以将连接结点的弧贝

41、叶斯网有时也叫因果网，因为可以将连接结点的弧认为是表达了直接的因果关系。认为是表达了直接的因果关系。59Department of Computer Science & Technology, Nanjing University Spring如果一个贝叶斯网络提供了足够的条件概率值，足以如果一个贝叶斯网络提供了足够的条件概率值，足以计算任何给定的联合概率，我们就称，它是可计算的，计算任何给定的联合概率，我们就称，它是可计算的，即可推理的。即可推理的。贝叶斯网的两个要素：其一为贝叶斯网的结构，也就贝叶斯网的两个要素：其一为贝叶斯网的结构，也就是各节点的继承关系，其二就是条件概率表是各节点的继承

42、关系，其二就是条件概率表CPT。若。若一个贝叶斯网可计算，则这两个条件缺一不可。一个贝叶斯网可计算，则这两个条件缺一不可。贝叶斯网络贝叶斯网络60Department of Computer Science & Technology, Nanjing University SpringB Bu ur rg gl la ar ry yE Ea ar rt th hq qu ua ak ke eP(B)0.001J Jo oh hn nC Ca al ll ls sA Al la ar rm mP(E)0.002M Ma ar ry yC Ca al ll ls sB E P(A)t t .95t

43、 f .94f t .29f f .001A P(J)t .90f .05A P(M)t .70f .01例：例：给定了他们是否给你打电话的证据，估计有人入室行窃的概率给定了他们是否给你打电话的证据，估计有人入室行窃的概率61Department of Computer Science & Technology, Nanjing University Spring7.4.2 贝叶斯网络的语义贝叶斯网络的语义贝叶斯网络能表示任意概率分布的同时，它们为这贝叶斯网络能表示任意概率分布的同时，它们为这些能用简单结构表示的分布提供了可计算优势。些能用简单结构表示的分布提供了可计算优势。假设对于顶点假设对

44、于顶点xi，其双亲节点集为，其双亲节点集为Pai，每个变量，每个变量xi的的条件概率条件概率P(xi|Pai)。 则顶点集合则顶点集合X=x1,x2,xn的联的联合概率分布可如下计算：合概率分布可如下计算： 62Department of Computer Science & Technology, Nanjing University Spring贝叶斯网络的联合概率分布贝叶斯网络的联合概率分布BurglaryBurglaryEarthquakeEarthquakeP(B)0.001JohnCallsJohnCallsAlarmAlarmP(E)0.002MaryCallsMaryCalls

45、B E P(A)t t .95t f .90f t .30f f .001A P(J)t .90f .05A P(M)t .70f .01计算报警器响了，但计算报警器响了，但既没有盗贼闯入，也既没有盗贼闯入，也没有发生地震，同时没有发生地震，同时John和和Mary都给你都给你打电话的概率打电话的概率P(j m a b e)=P(j|a)P(m|a)P(a|b e) P(b)P(e)=0.90*0.70*0.001*0.999*0.998=0.0006263Department of Computer Science & Technology, Nanjing University Sprin

46、g贝叶斯网络的联合概率分布贝叶斯网络的联合概率分布该等式暗示了早先给定的图结构有条件独立语义。该等式暗示了早先给定的图结构有条件独立语义。它说明贝叶斯网络所表示的联合分布作为一些单独它说明贝叶斯网络所表示的联合分布作为一些单独的局部交互作用模型的结果具有因式分解的表示形式。的局部交互作用模型的结果具有因式分解的表示形式。64Department of Computer Science & Technology, Nanjing University Spring7.4.3贝叶斯网的推理模式贝叶斯网的推理模式u因果推理（由上向下推理）因果推理（由上向下推理）u诊断推理诊断推理u辩解辩解在确定某个

47、已观察事件在确定某个已观察事件也就是一组证据变量值的也就是一组证据变量值的某个赋值后，任何概率推理系统的基本任务都是要计某个赋值后，任何概率推理系统的基本任务都是要计算一组查询变量的后验概率。算一组查询变量的后验概率。65Department of Computer Science & Technology, Nanjing University Springu因果推理（由上向下推理）因果推理（由上向下推理）7.4.3贝叶斯网络的推理模式贝叶斯网络的推理模式给定患者是一个吸烟给定患者是一个吸烟者（者（S），计算他患肺），计算他患肺气肿（气肿（E）的概率）的概率P(E|S)。S：推理的证据，：推

48、理的证据，E：询问结点。：询问结点。P(E|S)=P(E,C|S)+P(E,C|S);/全概率公式全概率公式 =P(E|C,S)*P(C|S)+P(E|C,S)*P(C|S); /贝叶斯公式贝叶斯公式在图中，在图中，C和和S并没有双亲关系，符合条件独立条件：并没有双亲关系，符合条件独立条件：P(C|S)=P(C), P(C|S) = P(C),由此可得：由此可得：P(E|S) = P(E|S,C)*P(C)+P(E|C,S)*P(C)P(E,C|S)P(E,C,S)/P(S)P(E|C,S)*P(C,S)/P(S)(贝叶斯定理贝叶斯定理)P(E|C,S)*P(C|S)(反向利用贝叶斯定理反向利

49、用贝叶斯定理66Department of Computer Science & Technology, Nanjing University Spring因果推理的主要操作：因果推理的主要操作：1） 按照给定证据的按照给定证据的V和它的所有双亲的联合概率，重和它的所有双亲的联合概率，重新表达给定证据的询问结点的所求条件概率。新表达给定证据的询问结点的所求条件概率。2） 回到以所有双亲为条件的概率，重新表达这个联合回到以所有双亲为条件的概率，重新表达这个联合概率。概率。3） 直到所有的概率值可从直到所有的概率值可从CPT表中得到，推理完成。表中得到，推理完成。贝叶斯网络的推理贝叶斯网络的推理6

50、7Department of Computer Science & Technology, Nanjing University Springu诊断推理诊断推理计算计算“不得肺气肿的不是不得肺气肿的不是矿工矿工”的概率的概率P(C|E),即即在贝叶斯网中，从一个子在贝叶斯网中，从一个子结点计算父结点的条件概结点计算父结点的条件概率。也即从结果推测一个率。也即从结果推测一个起因，这类推理叫做诊断起因，这类推理叫做诊断推理。推理。贝叶斯网络的推理贝叶斯网络的推理P(C|E)P(E|C)*P(C)/P(E)，P(E|C) = P(E,S|C)+P(E,S|C)= P(E|S,C)*P(S)+P(E|

51、S,C)*P(S)= (1-0.3)*0.4+(1-0.10)*(1-0.4)=0.82;由此得：由此得：P(C|E)P(E|C)*P(C)/ P(E)(贝叶斯公贝叶斯公式式)0.82*(1-0.3)/ P(E)0.574/ P(E)同样的，同样的，P(C|E) P(E|C)* P(C)/ P(E)0.34*0.3/ P(E)0.102 /P(E)由于全概率公式：由于全概率公式：P(C|E)+P(C|E)1代入可得代入可得P(E)=0.676所以，所以， P(C|E)0.849这种推理方式主要利用这种推理方式主要利用Bayes规则规则转换成因果推理。转换成因果推理。68Department o

52、f Computer Science & Technology, Nanjing University Springu解释推理解释推理贝叶斯网络的推理贝叶斯网络的推理如果我们的证据仅仅是如果我们的证据仅仅是E（不是肺气肿），象上述（不是肺气肿），象上述那样，我们可以计算那样，我们可以计算C(患者不是煤矿工人患者不是煤矿工人)的概率的概率。但是如果也给定。但是如果也给定S（患者不是吸烟者），那么（患者不是吸烟者），那么C也应该变得不确定。这种情况下，我们说也应该变得不确定。这种情况下，我们说S解释解释了了E，使，使C变得不确定。这类推理使用嵌入在一变得不确定。这类推理使用嵌入在一个诊断推理中的因

53、果推理。个诊断推理中的因果推理。69Department of Computer Science & Technology, Nanjing University Spring70Department of Computer Science & Technology, Nanjing University Spring关于关于贝叶斯网络贝叶斯网络q 是一种已经得到成熟发展的不确定知识表示方法。是一种已经得到成熟发展的不确定知识表示方法。q 是一个节点对应于随机变量的有向无环图；每个节点是一个节点对应于随机变量的有向无环图；每个节点在给定父节点下都有一个条件概率分布。在给定父节点下都有一个条件概

54、率分布。q 提供了一种表示域中的条件独立关系的简洁方式。提供了一种表示域中的条件独立关系的简洁方式。q 可以将贝叶斯网络视为对联合概率分布的表示。可以将贝叶斯网络视为对联合概率分布的表示。q 贝叶斯网络的推理意味着给定一个证据集合后，计算贝叶斯网络的推理意味着给定一个证据集合后，计算一个查询变量集合的概率分布。一个查询变量集合的概率分布。71Department of Computer Science & Technology, Nanjing University SpringBurglaryBurglaryEarthquakeEarthquakeP(B)0.001JohnCallsJohn

55、CallsAlarmAlarmP(E)0.002MaryCallsMaryCallsB E P(A)t t .95t f .90f t .30 f f .001A P(J)t .90f .05A P(M)t .70f .01习题：习题：计算计算John和和Mary都不打电话而且同时发生地震都不打电话而且同时发生地震和入室盗窃的联合概率和入室盗窃的联合概率BurglaryBurglaryEarthquakeEarthquakeP(B)0.001JohnCallsJohnCallsAlarmAlarmP(E)0.002MaryCallsMaryCallsB E P(A)t t .95t f .90f t .30 f f .001A P(J)t .90f .05A P(M)t .70f .0172Department of Computer Science & Technology, Nanjing University Spring此课件下载可自行编辑修改，供参考！此课件下载可自行编辑修改，供参考！感谢你的支持，我们会努力做得更好！感谢你的支持，我们会努力做得更好！