智能决策支持

《智能决策支持》由会员分享，可在线阅读，更多相关《智能决策支持（136页珍藏版）》请在装配图网上搜索。

1、 第四章第四章智能决策支持技术智能决策支持技术 1纲要纲要智能决策支持系统概述智能决策支持系统概述人工智能人工智能专家系统专家系统神经网络神经网络遗传算法遗传算法机器学习机器学习23IDSS成功实例成功实例(1)(1)东海渔业资源评估专家系统东海渔业资源评估专家系统这个系统是国家这个系统是国家863863高科技项目高科技项目863-818-07863-818-07专题的一个组成部分。本专题目标任务是建立专题的一个组成部分。本专题目标任务是建立具有我国自主具有我国自主 知识产权的渔情分析专家系统和构建一个以东海渔区（知识产权的渔情分析专家系统和构建一个以东海渔区（2534N2534N，130E1

2、30E以西海区以西海区)为示范海区，以为示范海区，以 卫星遥感渔业分析技术、海洋渔业服务地理信息系统卫星遥感渔业分析技术、海洋渔业服务地理信息系统技术和渔情分析专家系统技术为支撑的海洋渔业遥技术和渔情分析专家系统技术为支撑的海洋渔业遥 感信息与资源评估服务系统。该项目感信息与资源评估服务系统。该项目获得获得20012001年度中科院科技进步二等奖，年度中科院科技进步二等奖，20022002年度国家科技进步二等奖。年度国家科技进步二等奖。(2)(2)面向对象的智能故障诊断专家系统面向对象的智能故障诊断专家系统本系统用于设备自动化测试时的故障诊断，诊断软件主要通过读取数据库获得诊断所需本系统用于设

3、备自动化测试时的故障诊断，诊断软件主要通过读取数据库获得诊断所需数据，对测试过程数据，对测试过程 中出现的故障进行诊断，如自动化测试系统与主控计算机通信故障的中出现的故障进行诊断，如自动化测试系统与主控计算机通信故障的诊断，对动力系统的综合控制装置诊断，对动力系统的综合控制装置 故障进行诊断，对设备上电气系统中独立的小元器件故障进行诊断，对设备上电气系统中独立的小元器件故障进行诊断，最后对测试系统采集到的数据进行分析，故障进行诊断，最后对测试系统采集到的数据进行分析，包括绘制数据曲线，对曲线作包括绘制数据曲线，对曲线作定性分析，显示分析结果。定性分析，显示分析结果。(3)(3)工商行固定资产贷

4、款风险决策系统工商行固定资产贷款风险决策系统本系统是一个交互式系统，即在决策过程中向用户提出一些需要以数字回答的问题，界本系统是一个交互式系统，即在决策过程中向用户提出一些需要以数字回答的问题，界面简洁、友好。面简洁、友好。在人机对话过程中，系统需要用户以数值形式输入一些供决策用的参数，在人机对话过程中，系统需要用户以数值形式输入一些供决策用的参数，如企业经营者素质评估，如企业经营者素质评估，经济实力，资金结构，经济效益，发展前景，信用等级系数，经济实力，资金结构，经济效益，发展前景，信用等级系数，贷款金额，等等。同时给出一些选项贷款金额，等等。同时给出一些选项 供用户选择，如抵押贷款方式，保

5、证贷款方式，信供用户选择，如抵押贷款方式，保证贷款方式，信用贷款方式，以及贷款形态等。系统根据用户提供用贷款方式，以及贷款形态等。系统根据用户提供 的信息计算出全部贷款资产风险权重的信息计算出全部贷款资产风险权重额，全部固定资产贷款资产风险度，并结合企业的信用等级，额，全部固定资产贷款资产风险度，并结合企业的信用等级，给出评估图表，最后给出给出评估图表，最后给出贷款与否的建议。贷款与否的建议。(4)(4)税务稽查税务稽查鉴于稽查工作的重要性和工作复杂性，手工稽查不足以胜任繁琐的稽查任务，利用计算鉴于稽查工作的重要性和工作复杂性，手工稽查不足以胜任繁琐的稽查任务，利用计算机进行稽查机进行稽查 选

6、案势在必行。一个好的计算机选案系统能够科学地、有效地确立稽查对象，选案势在必行。一个好的计算机选案系统能够科学地、有效地确立稽查对象，从而使得集中力量重从而使得集中力量重 点稽查成为可能。税务稽查计算机选案系统即是为满足这一需求而点稽查成为可能。税务稽查计算机选案系统即是为满足这一需求而开发的。税务稽查具体分为：开发的。税务稽查具体分为：选案管理、计划管理、稽查实施、案件审理、执行分析这选案管理、计划管理、稽查实施、案件审理、执行分析这五个环节。五个环节。在此基础上在此基础上,建立智能的计算建立智能的计算 机自动选案系统，做到有法可依，有据可依、机自动选案系统，做到有法可依，有据可依、有的放矢

7、扩大选案，为税务稽查工作提供科学、规范的依据。有的放矢扩大选案，为税务稽查工作提供科学、规范的依据。4567DSS人人 工工 智智 能能专专家家系系统统机机器器学学习习人人工工神神经经元元网网络络专家知识优势专家知识优势IDSSDSS+AI提高支持非结构化决策能力提高支持非结构化决策能力知识获取困难知识获取困难知识知识库库智能智能DSSDSS的基本概念的基本概念89数据库数据库（DB）数据库管理系统数据库管理系统（DBMS）模型库模型库（MB）模型库管理系统模型库管理系统（MBMS）方法库方法库（MEB）方法库管理系统方法库管理系统（MEBMS）对话生成管理系统对话生成管理系统（DGMS）终端

8、显示器终端显示器用户用户1011数据库数据库模型库模型库人机接口人机接口方法库方法库管理系统管理系统模型库模型库管理系统管理系统用用 户户数据库数据库管理系统管理系统方法库方法库知识库知识库知识库知识库管理系统管理系统自然语言处理系统自然语言处理系统问题处理系统问题处理系统推理机推理机智能智能DSSDSS的结构的结构12IDSS：更好地理解人更好地理解人 能积累已有知识能积累已有知识 能获得新知识能获得新知识 提高分析和求解能力提高分析和求解能力 自然语言处理系统自然语言处理系统 知识库知识库 推理机推理机 问题处理系统问题处理系统智能智能DSSDSS的结构的结构13自然语言表达的自然语言表达

9、的决策问题决策问题系统能理解的方式系统能理解的方式表达的决策问题表达的决策问题人机接口人机接口自然语言处理系统自然语言处理系统问题处理系统问题处理系统语法、语义语法、语义结构分析结构分析智能智能DSSDSS的结构的结构 智能人智能人机接口机接口14问题处理系统问题处理系统工作流程工作流程 问问 题题 求求 解解 器器结构化问题结构化问题：模型选择或构造模型选择或构造 非结构化问题非结构化问题：推论或知识推理推论或知识推理 问问 题题 分分 析析 器器 问题描述问题描述 人人 机机 接接 口口自然语言处理系统自然语言处理系统 结果结果 四四 库库 系系 统统求解资源求解资源智能智能DSSDSS的

10、结构的结构 问题处理系统问题处理系统15回答知识请求回答知识请求回答知识库维护请求回答知识库维护请求知识库知识库知识库知识库管理系统管理系统推理机推理机知识库包含事实库和规知识库包含事实库和规则库两部分则库两部分从已知事实从已知事实推出新事实推出新事实智能智能DSSDSS的结构的结构 知识库子系统知识库子系统 知识库子系统：知识库子系统：获取、解释、表示、推理及管理与维护知识获取、解释、表示、推理及管理与维护知识 16知识的获取知识的获取知识的表示是知识的符号化过程知识的表示是知识的符号化过程常见的知识表示形式有：常见的知识表示形式有：产生式规则产生式规则语义网络表示语义网络表示知识的框架表示

11、知识的框架表示脚本表示脚本表示过程表示过程表示Petri网表示网表示面向对象表示面向对象表示智能智能DSSDSS的结构的结构 知识库子系统知识库子系统17 规则：规则：标准形式：标准形式：如果如果 则则 ;A-B实例：实例：如果（植物正在枯萎）而且并非（叶子有黄斑）如果（植物正在枯萎）而且并非（叶子有黄斑）则（植物缺少足够的水）则（植物缺少足够的水）产生式规则产生式规则18a)推理：是指从已知事实推出新事实推理：是指从已知事实推出新事实(结论结论)的的过程。过程。b)推理机：是一组程序，它针对用户问题去处推理机：是一组程序，它针对用户问题去处理知识库理知识库(规则和事实规则和事实)。例：例：规

12、则规则 拖债达拖债达3 3级及以上的客户信用低级及以上的客户信用低 事实事实 该客户拖债达该客户拖债达4 4级级 结论结论 该客户信用低该客户信用低例：例：规则规则 与信用低的客户做交易要谨慎与信用低的客户做交易要谨慎 事实事实 该客户信用低该客户信用低 结论结论 与该客户做交易要谨慎与该客户做交易要谨慎智能智能DSSDSS的结构的结构 推理机推理机19c)推理原理如下：推理原理如下：若事实若事实M M为真，且有一规则为真，且有一规则“TF M THEN N”“TF M THEN N”存在，则存在，则N N为真。为真。事实事实“任务任务A A是紧急订货是紧急订货”为真，且有一规则为真，且有一规

13、则“IF“IF任任务务i i是紧急订货是紧急订货THENTHEN任务任务i i按优先安排计划按优先安排计划”存在，则任务存在，则任务A A就应优先安排计划。就应优先安排计划。根据推理方向的不同：根据推理方向的不同：正向推理、反向推理正向推理、反向推理智能智能DSSDSS的结构的结构 推理机推理机20两库的初始状态两库的初始状态 1.AB-G 2.CD-A 3.E-D产生式规则库产生式规则库B,C,E事实库事实库B,C,E,D,A,G事实库的最后状态事实库的最后状态21人工智能（人工智能（AI）人人工工智智能能是是计计算算机机科科学学的的一一个个分分支支，是是一一门门研研究究机机器器智智能能的的

14、学学科科，即即用用人人工工的的方方法法和和技技术术，研研制制智智能能机机器器或或智智能能系系统统来来模模仿仿、延延伸伸和和扩扩展展人人的的智智能能，实实现现智智能能行行为为。（符号、连接和行为）（符号、连接和行为）22人工智能的历史背景人工智能的历史背景人工智能在中国的历史渊源人工智能在中国的历史渊源:司辰、击鼓、司辰、击鼓、报时的报时的“机关人机关人”会跳舞的会跳舞的“人形舞姬人形舞姬”，西周周穆王偃师，西周周穆王偃师能捕鼠的木制能捕鼠的木制“钟馗钟馗”会化缘的会化缘的“木僧人木僧人”，等等，等等.国际方面：国际方面：英国科学家图灵于英国科学家图灵于1936 年提出年提出“理论计算机理论计算

15、机”模型，被称之为模型，被称之为“图灵机图灵机”(Turing Machine)，创立了，创立了“自动机理论自动机理论”。1950 年，图灵发表了著名论文年，图灵发表了著名论文 计算机能思维吗？计算机能思维吗？，明确地提，明确地提出了出了“机器能思维机器能思维”的观点。的观点。1943 年，美国科学家麦卡洛克（年，美国科学家麦卡洛克（W.S.McCulloch）、匹茨（）、匹茨（W.H.Pitts）研制出世界上第一个人工神经细胞模型，被称之为）研制出世界上第一个人工神经细胞模型，被称之为“MP模型模型”。从仿生学观点，以结构模拟方法，探讨人工智能的途径。从仿生学观点，以结构模拟方法，探讨人工智

16、能的途径。1948年，美国科学家维纳等创立了年，美国科学家维纳等创立了“控制论控制论”（Cybernetics）,研究动物与机器中的控制和通讯的共同规律，在生物科学与工程技研究动物与机器中的控制和通讯的共同规律，在生物科学与工程技术之间架起了学术桥梁，开拓了从行为模拟观点研究人工智能的园术之间架起了学术桥梁，开拓了从行为模拟观点研究人工智能的园地。地。23类人行为：图灵测试类人行为：图灵测试(1950)图灵建议：不是问“机器能否思考”，而是问“机器能否通过关于行为的智能测试”Alan Turing24AI成功的例子成功的例子博弈：博弈：IBM公司的公司的“深蓝深蓝”成为第一个在国际成为第一个在

17、国际象棋比赛中战胜世界冠军的计算机程序象棋比赛中战胜世界冠军的计算机程序1997年，一次公开赛中年，一次公开赛中3.5/2.5比分战胜卡斯帕比分战胜卡斯帕罗夫，他说从棋盘对面感到了罗夫，他说从棋盘对面感到了“一种新智能一种新智能”25AI成功的例子成功的例子后勤规划：后勤规划：1991年海湾战争中美国军队配备了年海湾战争中美国军队配备了一个动态分析和重规划工具一个动态分析和重规划工具DART,用于自动后用于自动后勤规划与运输调度勤规划与运输调度该系统同时涉及该系统同时涉及50000个车辆、货物和人，个车辆、货物和人，而且要考虑起点、目的地、路径，解决所有而且要考虑起点、目的地、路径，解决所有参

18、数之间的冲突。使用参数之间的冲突。使用AI技术使规划在几小技术使规划在几小时内完成，而传统方法需要几个星期时内完成，而传统方法需要几个星期DARPA称就此一项投资足以补偿称就此一项投资足以补偿DARPA在在AI方面方面30年的投资年的投资26搜索技术搜索技术基本搜索法基本搜索法：广度和深度优先搜索法广度和深度优先搜索法生成测试法生成测试法爬山法爬山法启发式搜索启发式搜索博弈算法博弈算法27282930生成测试法生成测试法生成一个可能状态节点生成一个可能状态节点测试该状态是否为目标状态测试该状态是否为目标状态若是，则结束；否则回到第一步若是，则结束；否则回到第一步在搜索过程中，如果总是利用旧状态

19、生成在搜索过程中，如果总是利用旧状态生成所有可能的新状态，而且状态节点以从旧所有可能的新状态，而且状态节点以从旧到新的顺序逐个生成，这种生成测试法就到新的顺序逐个生成，这种生成测试法就是？如果总是利用刚生成的状态来生成新是？如果总是利用刚生成的状态来生成新状态，则是？状态，则是？31爬山法爬山法开始状态作为一个可能状态开始状态作为一个可能状态从一个可能状态，应用规则生成所有新的可能状从一个可能状态，应用规则生成所有新的可能状态集态集对该状态集中的每一个状态，进行以下操作：对该状态集中的每一个状态，进行以下操作：对该状态进行测试，检查是否为目标，是则停止对该状态进行测试，检查是否为目标，是则停止

20、计算该状态的好坏，或者比较各状态的好坏计算该状态的好坏，或者比较各状态的好坏取状态集中的最好状态，作为下一个可能状态取状态集中的最好状态，作为下一个可能状态循环第二步循环第二步32启发式搜索启发式搜索是对每个在搜索过程中遇到的新状态，用一个估是对每个在搜索过程中遇到的新状态，用一个估计函数（启发式函数）并计算其值得大小，确定计函数（启发式函数）并计算其值得大小，确定下一步将从哪个状态开始继续前进下一步将从哪个状态开始继续前进一般以估计值小者为较优的状态，以此实行最优一般以估计值小者为较优的状态，以此实行最优搜索搜索33和人工智能相关的社会伦理问题和人工智能相关的社会伦理问题人们可能由于自动化而

21、失业人们可能由于自动化而失业人们可能拥有过多或过少的闲暇时间人们可能拥有过多或过少的闲暇时间人们可能会失去作为人的独一无二的感觉人们可能会失去作为人的独一无二的感觉人们可能会失去一些个人隐私权人们可能会失去一些个人隐私权人工智能系统的应用可能会导致责任感的丧失人工智能系统的应用可能会导致责任感的丧失人工智能的成功可能意味着人类种族的终结人工智能的成功可能意味着人类种族的终结人工智能及其在决策系统中的应用人工智能及其在决策系统中的应用蔡自兴蔡自兴 姚莉姚莉 国防科技大学出版社国防科技大学出版社34专家系统专家系统专家系统是一种计算机程序，它使用知识专家系统是一种计算机程序，它使用知识及推理机制去

22、解决需要专家才能解决的复及推理机制去解决需要专家才能解决的复杂问题。杂问题。稀缺资源，让专家的知识得到长期保存和稀缺资源，让专家的知识得到长期保存和被更多的用户所使用被更多的用户所使用35专家系统专家系统特点：特点：运用专家知识运用专家知识知识转换为系统的内部表示知识转换为系统的内部表示使用符号推理方法使用符号推理方法运用启发式规则运用启发式规则36具代表性的有医药专家系统具代表性的有医药专家系统MYCIN、探矿专家系、探矿专家系统统PROSPECTOR等。等。20世纪世纪80年代，专家系统年代，专家系统的开发趋于商品化，创造了巨大的经济效益。的开发趋于商品化，创造了巨大的经济效益。20世纪世

23、纪80年代以来，在知识工程的推动下，涌现年代以来，在知识工程的推动下，涌现出了不少专家系统开发工具，例如出了不少专家系统开发工具，例如EMYCIN、CLIPS(OPS5,OPS83)、G2、KEE、OKPS等。等。37第一个专家系统第一个专家系统DENDRAL是化学分析专家系统，由美国是化学分析专家系统，由美国科学家费根鲍姆（科学家费根鲍姆（E.A.Feigennbaum）于）于1965 年提出，年提出，1968年研制成功的。年研制成功的。医疗专家系统医疗专家系统MYCIN 是由斯坦福大学（是由斯坦福大学（Stanford University）肖特利夫）肖特利夫(E.H.Shortliffe

24、）等人于）等人于1971年年开始研制，开始研制，1974 年基本完成，年基本完成，1976年发表的，具有类似年发表的，具有类似于内科医生的知识和经验，可用于血液感染病的诊断、治于内科医生的知识和经验，可用于血液感染病的诊断、治疗和咨询服务。疗和咨询服务。地质勘探专家系统（地质勘探专家系统（PROSPECTOR）。它是由斯坦福研）。它是由斯坦福研究所（究所（SRI）的杜达（）的杜达（R.O.Duda）等研制的，可用于地）等研制的，可用于地质勘测数据分析，探查矿床的类型、蕴藏量、分布。从质勘测数据分析，探查矿床的类型、蕴藏量、分布。从1976 年开始研制，年开始研制，1981 年基本完成，其特点是

25、具有多专年基本完成，其特点是具有多专家、多专业的知识和经验。家、多专业的知识和经验。38国内应用国内应用早在早在1977年，中国科学院自动化研究所就基于关幼波先年，中国科学院自动化研究所就基于关幼波先生的经验，研制成功了我国第一个生的经验，研制成功了我国第一个“中医肝病诊治专家系中医肝病诊治专家系统统”。1985年年10月中科院合肥智能所熊范纶建成月中科院合肥智能所熊范纶建成“砂姜黑土小砂姜黑土小麦施肥专家咨询系统麦施肥专家咨询系统”，这是我国第一个农业专家系统。这是我国第一个农业专家系统。中科院计算所史忠植与东海水产研究所等合作，研制了东中科院计算所史忠植与东海水产研究所等合作，研制了东海渔

26、场预报专家系统。海渔场预报专家系统。在专家系统开发工具方面，中科院数学研究所研制了专家在专家系统开发工具方面，中科院数学研究所研制了专家系统开发环境系统开发环境“天马天马”，中科院合肥智能所研制了农业专，中科院合肥智能所研制了农业专家系统开发工具家系统开发工具“雄风雄风”，中科院计算所研制了面向对象，中科院计算所研制了面向对象专家系统开发工具专家系统开发工具“OKPS”。39专家系统的类型专家系统的类型解释专家系统解释专家系统预测专家系统预测专家系统诊断专家系统诊断专家系统设计专家系统设计专家系统规划专家系统规划专家系统监视专家系统监视专家系统控制专家系统控制专家系统调试专家系统调试专家系统教

27、学专家系统教学专家系统修理专家系统修理专家系统40Questions1能根据学生的特点、弱点和基础知识，以最适当的教案和教学方法对学生进能根据学生的特点、弱点和基础知识，以最适当的教案和教学方法对学生进行教学和辅导的专家系统是：行教学和辅导的专家系统是：A解释专家系统解释专家系统B调试专家系统调试专家系统C监视专家系统监视专家系统D教学专家系统教学专家系统2用于寻找出某个能够达到给定目标的动作序列或步骤的专家系统是：用于寻找出某个能够达到给定目标的动作序列或步骤的专家系统是：A设计专家系统设计专家系统B诊断专家系统诊断专家系统C预测专家系统预测专家系统D规划专家系统规划专家系统3能对发生故障的

28、对象（系统或设备）进行处理，使其恢复正常工作的专家系统是：能对发生故障的对象（系统或设备）进行处理，使其恢复正常工作的专家系统是：A修理专家系统修理专家系统B诊断专家系统诊断专家系统C调试专家系统调试专家系统D规划专家系统规划专家系统4能通过对过去和现在已知状况的分析，推断未来可能发生的情况的专家系统是：能通过对过去和现在已知状况的分析，推断未来可能发生的情况的专家系统是：A修理专家系统修理专家系统B预测专家系统预测专家系统C调试专家系统调试专家系统D规划专家系统规划专家系统4142知识库知识库是问题求解所需要的是问题求解所需要的领域知识领域知识的集合，包括基本事的集合，包括基本事实、规则和其

29、他有关信息。知识库中知识的质量和数量决实、规则和其他有关信息。知识库中知识的质量和数量决定着专家系统的质量水平。用户可以通过改变、完善知识定着专家系统的质量水平。用户可以通过改变、完善知识库中的知识内容来提高专家系统的性能。库中的知识内容来提高专家系统的性能。推理机推理机是实施问题求解的核心执行机构。推理机的程序与是实施问题求解的核心执行机构。推理机的程序与知识库的具体内容无关，即推理机和知识库是分离的，这知识库的具体内容无关，即推理机和知识库是分离的，这是专家系统的重要特征。是专家系统的重要特征。知识获取知识获取负责建立、修改和扩充知识库，是专家系统中把负责建立、修改和扩充知识库，是专家系统

30、中把问题求解的各种专门知识从人类专家的头脑中或其他知识问题求解的各种专门知识从人类专家的头脑中或其他知识源那里转换到知识库中的一个重要机构。源那里转换到知识库中的一个重要机构。人机界面人机界面是系统与用户进行交流时的界面。通过该界面，是系统与用户进行交流时的界面。通过该界面，用户输入基本信息、回答系统提出的相关问题。系统输出用户输入基本信息、回答系统提出的相关问题。系统输出推理结果及相关的解释也是通过人机交互界面。推理结果及相关的解释也是通过人机交互界面。43综合数据库综合数据库也称为动态库或工作存储器，是反映当前问题也称为动态库或工作存储器，是反映当前问题求解状态的集合，用于存放系统运行过程

31、中所产生的所有求解状态的集合，用于存放系统运行过程中所产生的所有信息，以及所需要的原始数据，包括用户输入的信息、推信息，以及所需要的原始数据，包括用户输入的信息、推理的中间结果、推理过程的记录等。理的中间结果、推理过程的记录等。解释器解释器用于对求解过程做出说明，并回答用户的提问。两用于对求解过程做出说明，并回答用户的提问。两个最基本的问题是个最基本的问题是“why”“why”和和“how”“how”。解释机制涉及程序。解释机制涉及程序的透明性，它让用户理解程序正在做什么和为什么这样做，的透明性，它让用户理解程序正在做什么和为什么这样做，向用户提供了关于系统的一个认识窗口。在很多情况下，向用户

32、提供了关于系统的一个认识窗口。在很多情况下，解释机制是非常重要的。为了回答解释机制是非常重要的。为了回答“为什么为什么”得到某个结得到某个结论的询问，系统通常需要反向跟踪动态库中保存的推理路论的询问，系统通常需要反向跟踪动态库中保存的推理路径，并把它翻译成用户能接受的自然语言表达方式。径，并把它翻译成用户能接受的自然语言表达方式。44专家系统的开发方式专家系统的开发方式（1）直接买成品的专家系统）直接买成品的专家系统（2）买外壳，由用户输入知识。）买外壳，由用户输入知识。EMYCIN（3）自己建造：）自己建造：C+，LISP联合国工资计算专家系统联合国工资计算专家系统基本工资基本工资+“资格资

33、格”IntelliCorp 公司的公司的 PowerModel工具工具45神经科学：大脑是如何处理信息的？神经科学：大脑是如何处理信息的？大脑的神经元大脑的神经元4647输出输出W1W1W4W4W2W2W3W3X1 X2 X3 X4X1 X2 X3 X4输入输入加权加权传递传递加权和加权和Y Y处理处理单元单元输入层输入层隐蔽层隐蔽层输出层输出层 神经元和神经网络模型神经元和神经网络模型48NN研究方面研究方面神经网络的基本理论研究神经网络的基本理论研究神经网络模型的研究神经网络模型的研究学习算法研究学习算法研究计算机模拟及硬件实现计算机模拟及硬件实现应用研究应用研究49神经网络模型神经网络模

34、型前向网络模型前向网络模型:感知机感知机反馈网络模型反馈网络模型:Hopfield网络网络,双向联想记忆网络双向联想记忆网络随机网络模型随机网络模型:Boltzmann机机自组织网络模型：自组织网络模型：ART(自适应共振理论自适应共振理论)50成熟算法成熟算法BP算法算法模拟退火算法模拟退火算法竞争学习与相互激励学习算法竞争学习与相互激励学习算法51Neural networkA neural network is a set of connected input/output units where each connection has a weight associated with

35、it.During the learning phase,the network learns by adjusting the weights so as to be able to predict the correct class label of the input samples.Also called connectionist learning.52BP网络网络53各种作用函数各种作用函数0,1阶梯函数阶梯函数 f(x)=1,(x0)f(x)=0,(x=0)-1,1阶梯函数阶梯函数(-1,1)S型函数型函数(0,1)S型函数型函数54BP网络网络55InputlayerHidde

36、n layerOutput layer56Steps of backpropagation1.Initialize the weights:each unit has a bias associated with it.The weights and biases are initialized to small random numbers.Each training sample X is processed by the following steps:572.the net input and output of each unit in the hidden and output l

37、ayers are computed.unit j in the input layer:Oj=Ij Given a unit j in a hidden or output layer,the net input Ij is:58A hidden or output layer unit joutputX0X1XnfActivationfunctionWeightedsumweightsInputs(outputsfrom previous layer)bias593.Backpropagation the error:the error is propagated backwards by

38、 updating the weights and biases to reflect the error of the networks prediction.For a unit j in the output layer,the error Errj:The error of a hidden layer unit j is:Tj is the true outputErrk is the error of unit k in the next higher layer60The weights and biases are updated to reflect the propagat

39、ed errors:614.Terminating condition:training stops whenall in the previous epoch were so small as to be below some specified threshold,orthe percentage of samples misclassified in the previous epoch is below some threshold,ora prespecified number of epochs has expired.62123456Sample calculations for

40、 learning by the backpropagation algorithmX=1,0,1,class label=1,l=0.963Initial input,weight,and bias values64The net input and output calculationsUnit j Net input,Ij Output,Oj40.2+0-0.5-0.4=-0.71/(1+e0.7)=0.3325-0.3+0+0.2+0.2=0.11/(1+e-0.1)=0.5256(-0.3)(0.332)-(0.2)(0.525)+0.1=-0.1051/(1+e0.105)=0.4

41、7465Calculation of the error at each nodeUnit jErrj6(0.474)(1-0.474)(1-0.474)=0.13115(0.525)(1-0.525)(0.1311)(-0.2)=-0.00654(0.332)(1-0.332)(0.1311)(-0.3)=-0.008766Calculations for weight and bias updating67commentsDisadvantages:Involve long training timesRequire a number of parameters that are typi

42、cally best determined empirically.Poor interpretabilityAdvantages:High tolerance to noisy dataAbility to classify patterns on which they have not been trained68遗传算法（遗传算法（Genetic Algorithms）物竞天择，适者生存物竞天择，适者生存遗传算法（遗传算法（GA）根据适者生存，优胜劣汰）根据适者生存，优胜劣汰等自然进化规则来进行搜索计算和问题求等自然进化规则来进行搜索计算和问题求解。解。全局优化算法，适合于具有很大搜索空

43、间全局优化算法，适合于具有很大搜索空间的优化问题的优化问题69遗传算法的搜索机制遗传算法的搜索机制 遗传算法模拟自然选择和自然遗传过程中发生遗传算法模拟自然选择和自然遗传过程中发生的繁殖、交叉和基因突变现象，在每次迭代中都的繁殖、交叉和基因突变现象，在每次迭代中都保留一组候选解，并按某种指标从解群中选取较保留一组候选解，并按某种指标从解群中选取较优的个体，利用遗传算子优的个体，利用遗传算子(选择、交叉和变异选择、交叉和变异)对对这些个体进行组合，产生新一代的候选解群，重这些个体进行组合，产生新一代的候选解群，重复此过程，直到满足某种收敛指标为止。复此过程，直到满足某种收敛指标为止。70基本概念

44、基本概念染色体：染色体：由基因构成的位串，由基因构成的位串，是个体是个体(Individual)的形式的形式编码：编码：把解表示为位串的过程，编码后的每个位串就表示一个个体，把解表示为位串的过程，编码后的每个位串就表示一个个体，即问题的一个解即问题的一个解种群：种群：包含一组个体的群体，也是问题的解的集合。种群中个体的数包含一组个体的群体，也是问题的解的集合。种群中个体的数量称为量称为群体大小（群体大小（N）。基因：基因：串中的元素。例：串串中的元素。例：串S=1001，有四个基因，有四个基因1、0、0、1适应度适应度：评价群体中个体适应能力的指标，解的好坏，由评价函数：评价群体中个体适应能力

45、的指标，解的好坏，由评价函数F计算得到计算得到遗传算子遗传算子：产生新个体的操作：产生新个体的操作选择：选择：将个体直接复制到下一代群体中，个体适应度。将个体直接复制到下一代群体中，个体适应度。交叉：交叉：把两个串的部分基因交换，产生两个新串作为下一代的个体，把两个串的部分基因交换，产生两个新串作为下一代的个体，交叉概率交叉概率Pc决定两个个体进行交叉操作的可能性决定两个个体进行交叉操作的可能性变异：变异：随机地改变染色体的部分基因，随机地改变染色体的部分基因，Pm决定个体发生变异的可能决定个体发生变异的可能性性71几个术语几个术语 基因型：基因型：10101000111 编码解码个体（染色体

46、）基因72选择选择(selection)(selection)算子算子 GA使用选择运算来实现对群体中的个体进行优使用选择运算来实现对群体中的个体进行优胜劣汰操作：适应度高的个体被遗传到下一代群胜劣汰操作：适应度高的个体被遗传到下一代群体中的概率大；适应度低的个体，被遗传到下一体中的概率大；适应度低的个体，被遗传到下一代群体中的概率小。代群体中的概率小。选择操作的任务就是按某种方法从父代群体中选选择操作的任务就是按某种方法从父代群体中选取一些个体，遗传到下一代群体。取一些个体，遗传到下一代群体。73选择选择选择是用来确定重组或交叉个体，以及被选个体选择是用来确定重组或交叉个体，以及被选个体将产

47、生多少个子代个体首先计算适应度：将产生多少个子代个体首先计算适应度：按比例的适应度计算按比例的适应度计算基于排序的适应度计算等基于排序的适应度计算等实际的选择：实际的选择：轮盘赌选择轮盘赌选择随机遍历抽样随机遍历抽样局部选择局部选择截断选择截断选择锦标赛选择等锦标赛选择等74适应值比例法适应值比例法 轮盘赌选择又称比例选择算子，它的基本思轮盘赌选择又称比例选择算子，它的基本思想是：各个个体被选中的概率与其适应度函数值想是：各个个体被选中的概率与其适应度函数值大小成正比。设群体大小为大小成正比。设群体大小为n，个体，个体i 的适应度为的适应度为 Fi，则个体，则个体i 被选中遗传到下一代群体的概

48、率为：被选中遗传到下一代群体的概率为：75轮盘赌选择76期望值方法期望值方法计算群体中每个个体在下一代生存的期望数目计算群体中每个个体在下一代生存的期望数目：若某个个体被选中并要参与配对和交叉，则它在若某个个体被选中并要参与配对和交叉，则它在下一代中的生存的期望数目减去下一代中的生存的期望数目减去0.5；若不参与，；若不参与，则该个体的生存的期望数目减去则该个体的生存的期望数目减去1在上面两种情况中，若一个个体的期望值小于在上面两种情况中，若一个个体的期望值小于0时，则该个体不参与选择时，则该个体不参与选择77交叉交叉(crossover)算子算子 所谓交叉运算，是指对两个相互配对的染色体依所

49、谓交叉运算，是指对两个相互配对的染色体依据交叉概率据交叉概率 Pc 按某种方式相互交换其部分基因，按某种方式相互交换其部分基因，从而形成两个新的个体。从而形成两个新的个体。交叉运算是遗传算法区别于其他进化算法的重要交叉运算是遗传算法区别于其他进化算法的重要特征，它在遗传算法中起关键作用，是产生新个特征，它在遗传算法中起关键作用，是产生新个体的主要方法。体的主要方法。78交叉或基因重组交叉或基因重组基因重组是结合来自父代交配种群中的信息产生新的个体基因重组是结合来自父代交配种群中的信息产生新的个体依据个体编码表示方法不同：依据个体编码表示方法不同：实值重组实值重组离散重组离散重组中间重组中间重组

50、线性重组线性重组扩展线性重组扩展线性重组二进制交叉二进制交叉单点交叉单点交叉多点交叉多点交叉均匀交叉均匀交叉洗牌交叉洗牌交叉缩小代理交叉缩小代理交叉79一点交叉一点交叉 交叉前：交叉前：00000|01110011100|000001交叉后：交叉后：00000|00000111100|011100交叉点交叉点80二点交叉二点交叉个体个体A:10|110|11个体个体B:00|010|00新个体新个体A:10|010|11新个体新个体B:00|110|00交叉点交叉点1交叉点交叉点281变异变异(mutation)算子算子 变异运算，是指依据变异概率变异运算，是指依据变异概率 Pm 将个体编码串

51、将个体编码串中的某些基因值用其它基因值来替换，从而形中的某些基因值用其它基因值来替换，从而形成一个新的个体。成一个新的个体。遗传算法中的变异运算是产生新个体的辅助方遗传算法中的变异运算是产生新个体的辅助方法，它决定了遗传算法的局部搜索能力，同时法，它决定了遗传算法的局部搜索能力，同时保持种群的多样性。保持种群的多样性。82二进制变异二进制变异变异前：变异前：11000000变异后：变异后：11000100变异点变异点83基本遗传算法的组成基本遗传算法的组成 （1 1）编码（产生初始种群）编码（产生初始种群）（2 2）适应度函数）适应度函数（3 3）遗传算子（选择、交叉、变）遗传算子（选择、交叉

52、、变异）异）（4 4）运行迭代）运行迭代84产生初始群体产生初始群体是是输出结果并结束输出结果并结束计算个体适应度值计算个体适应度值选择选择交叉交叉变异变异否否产生新一代群体产生新一代群体遗传算子遗传算子满意吗满意吗？目标映射为适应值目标映射为适应值85例子例子问题：求解问题：求解f(X)=Xf(X)=X2 2在在00，3131上的最大值上的最大值1 1 初始种群初始种群（1 1）编码：用）编码：用5 5位二进制表示位二进制表示X X，有，有 X=00000 X=00000，X=11111 X=11111（2 2）初始种群）初始种群 随机产生随机产生4 4个个体：个个体：1313，2424，8

53、 8，1919（二进制）（二进制）（3 3）适应值）适应值f fi i直接用目标函数：直接用目标函数：f(X)=X f(X)=X2 2 86(4)选择率和期望值选择率和期望值(5)实选值实选值 期望值取整数期望值取整数87882 遗传一代（初始种群遗传过程）遗传一代（初始种群遗传过程）893 遗传二代（新种群参数计算）遗传二代（新种群参数计算）9091最优值最优值：31（11111）必须变异，第三位的必须变异，第三位的0 变变192TSP(旅行商旅行商)问题问题 设设存存在在N个个城城市市，Dij表表示示城城i与与城城j之之间间的的距距离离，Dij=Dji，现现在在要要求求一一条条遍遍历历所所

54、有有N个个城城市市，且且不不走走重重复复路路的的最最短短路路径径（最最短短哈哈密密尔顿圈）。尔顿圈）。93我我们们先先采采用用十十进进制制编编码码，每每个个染染色色体体由由按按一一定定顺顺序序排排列列的的N N个个城城市市的的序序号号组组成成，表表示示一一条条可可能能的的旅旅行行路路径径。适适应应度度为为一一条条旅旅行行路路径径对对应应的的距距离，路径越短的染色体适应度越高。例如，取离，路径越短的染色体适应度越高。例如，取N=10N=10，城市代号为，城市代号为1 1至至1010。例如种群中的染色体：例如种群中的染色体：2 8 4 10 5 1 7 3 6 92 8 4 10 5 1 7 3

55、6 9 表示一条旅行路径表示一条旅行路径2 28 84 410105 51 17 73 36 69 92 2 其总路径长其总路径长 我我们们可可以以采采用用非非负负变变换换，把把最最小小化化优优化化目目标标函函数数变变换换为为以以最最大大值值为为目标的适应度函数，可以如下定义：目标的适应度函数，可以如下定义：94GA的应用领域的应用领域近年近年,GA在各应用领域中得到极大重视在各应用领域中得到极大重视,并并广泛应用于各领域的优化、搜索、问题求广泛应用于各领域的优化、搜索、问题求解中解中其它应用领域：如函数优化、生产调度、其它应用领域：如函数优化、生产调度、模式识别、模式识别、NN、图像处理、机

56、器学习、工、图像处理、机器学习、工业优化控制、自适应控制、生物科学、社业优化控制、自适应控制、生物科学、社会科学等方面会科学等方面.95遗传算法的改进研究方向遗传算法的改进研究方向参数的选择参数的选择(N=30-100,Pc=0.6-0.95,Pm=0.001-0.1)编码方法编码方法各种算子各种算子和其它算法的融合和其它算法的融合96免疫遗传算法免疫遗传算法传统遗传算法中，交叉、变异等是按一定传统遗传算法中，交叉、变异等是按一定概率随机地、无指导的进行概率随机地、无指导的进行引入免疫系统的工作原理：将问题的最优引入免疫系统的工作原理：将问题的最优解抽象为抗原，候选解抽象为抗体，将某解抽象为抗

57、原，候选解抽象为抗体，将某些较好的路径片断作为疫苗些较好的路径片断作为疫苗9798蚁群优化算法蚁群优化算法昆虫群体，可以看成一个分布式系统。系统中个昆虫群体，可以看成一个分布式系统。系统中个体非常简单，但整个系统呈现出一种高度结构化体非常简单，但整个系统呈现出一种高度结构化的群体结构，得以完成远超出单只蚂蚁个体能力的群体结构，得以完成远超出单只蚂蚁个体能力负荷的复杂工作。负荷的复杂工作。计算蚂蚁的不同行为，已有若干种蚂蚁算法：计算蚂蚁的不同行为，已有若干种蚂蚁算法：觅觅食、孵化分类、劳动分配、协作运输食、孵化分类、劳动分配、协作运输99实验中的蚂蚁依靠信实验中的蚂蚁依靠信息素来传递信息息素来传

58、递信息信息素越浓的路径被信息素越浓的路径被蚂蚁选择的概率越大蚂蚁选择的概率越大信息素随着时间的推信息素随着时间的推移而移而“挥发挥发”100网络资源网络资源Dorigo的网站：的网站：TSPLIB库：库：集智俱乐部：集智俱乐部：101102规则推理和遗传神经网络结合的电厂规则推理和遗传神经网络结合的电厂事故自动诊断事故自动诊断电力生产是各项工作的基础电力生产是各项工作的基础,一旦发生事故涉及一旦发生事故涉及面广面广,影响大影响大.快速快速,准确的找出故障点准确的找出故障点,分析故分析故障类型障类型,采取紧急处理措施采取紧急处理措施,恢复电厂的正常运行恢复电厂的正常运行是目前火电厂急需解决的问题

59、是目前火电厂急需解决的问题传统的事故诊断方法是依靠有经验的专业人员在传统的事故诊断方法是依靠有经验的专业人员在紧急状态下迅速判断故障性质紧急状态下迅速判断故障性质,但受心理和生理但受心理和生理的限制的限制,对比较复杂的故障对比较复杂的故障,面对大量报警信息面对大量报警信息,专业分析人员也难于即刻判断故障性质专业分析人员也难于即刻判断故障性质,迅速采迅速采取措施取措施.103事故诊断方法事故诊断方法基于数学模型的方法基于数学模型的方法:基于人工智能的方法基于人工智能的方法:基于专家系统的诊断基于专家系统的诊断基于人工神经网络的诊断基于人工神经网络的诊断基于案例推理的诊断基于案例推理的诊断基于模糊

60、数学的诊断基于模糊数学的诊断基于故障树的诊断基于故障树的诊断.104基于人工神经网络的诊断基于人工神经网络的诊断缺陷缺陷:忽视领域专家的经验知识忽视领域专家的经验知识,而故障诊断有时是而故障诊断有时是一项经验性技术一项经验性技术权重形式的知识表达方式难以理解权重形式的知识表达方式难以理解,整个诊断整个诊断过程是一个过程是一个”黑箱黑箱”梯度下降的网络搜索算法梯度下降的网络搜索算法,使网络收敛速度慢使网络收敛速度慢且易陷入局部最小且易陷入局部最小105解决方案解决方案将规则推理和神经网络相结合将规则推理和神经网络相结合,集成式诊断方集成式诊断方法结合了领域专家的知识和神经网络学习的优法结合了领域

61、专家的知识和神经网络学习的优点点,克服单一故障诊断方法的缺陷克服单一故障诊断方法的缺陷,提高事故诊提高事故诊断的速度和精度断的速度和精度.实证分析能够达到预期的诊实证分析能够达到预期的诊断效果断效果.神经网络学习过程中采用遗传算法对网络权值神经网络学习过程中采用遗传算法对网络权值进行全局优化进行全局优化,加快网络的收敛速度加快网络的收敛速度,并避免网并避免网络陷入局部极小点络陷入局部极小点106规则推理诊断模型规则推理诊断模型全局全局数据库数据库推理机推理机规则规则库库规则规则调用匹配调用匹配事实数据事实数据产生产生/修改数据修改数据规则解释规则解释规则输出规则输出107事故诊断的规则推理过程

62、事故诊断的规则推理过程:将事故的各种征兆作为初始条件将事故的各种征兆作为初始条件,输入到综合数据库中输入到综合数据库中搜索事故诊断规则库搜索事故诊断规则库,与综合数据库中的条件比较与综合数据库中的条件比较,如如果规则的前提条件和数据库中的值匹配果规则的前提条件和数据库中的值匹配,则该产生式规则该产生式规则被激活则被激活计算被激活规则的可信度计算被激活规则的可信度,选择可信度大于给定阈值的选择可信度大于给定阈值的规则规则,从而获得某个结论从而获得某个结论,同时把结论存入数据库中备同时把结论存入数据库中备用用规则搜索完毕或没有与条件匹配的规则规则搜索完毕或没有与条件匹配的规则,算法结束算法结束10

63、8电厂事故集成诊断模型电厂事故集成诊断模型遗传算法优化神经网络初值遗传算法优化神经网络初值:参数设置参数设置:确定种群大小确定种群大小N,遗传算法的终止迭代次数遗传算法的终止迭代次数T,交叉概率和变异概率交叉概率和变异概率染色体编码染色体编码:随机产生初始权重种群随机产生初始权重种群P,种群中的每一条种群中的每一条染色体由权重向量和阈值向量组成染色体由权重向量和阈值向量组成适应度函数评价适应度函数评价:网络优化的目的是网络学习能够达到网络优化的目的是网络学习能够达到给定的精度给定的精度,可以网络的全局误差作为适应度函数设计可以网络的全局误差作为适应度函数设计的基础的基础,某个体的适应度值为某个

64、体的适应度值为:选择选择 交叉交叉 变异变异如果网络的精度达到要求或达到一定的迭代次数如果网络的精度达到要求或达到一定的迭代次数,则迭则迭代停止代停止109电厂事故集成诊断模型电厂事故集成诊断模型规则推理诊断规则推理诊断设定网络精度设定网络精度,遗传迭代次数遗传迭代次数T初始化权重初始化权重计算适应度函数值计算适应度函数值ET是是选择交叉变异选择交叉变异否否将个体解码将个体解码为网络权为网络权值值调用调用BP网络网络诊断诊断事故类型输出事故类型输出110实例分析实例分析凝汽器是汽轮机的一个重要设备凝汽器是汽轮机的一个重要设备,也是一个薄弱环节也是一个薄弱环节,事故事故发生率较高发生率较高,对其

65、进行事故诊断对于提高机组性能具有重对其进行事故诊断对于提高机组性能具有重要的现实意义要的现实意义.凝汽器的典型事故类型凝汽器的典型事故类型:水泵严重故障水泵严重故障y1,供汽中断供汽中断y2,管管路破裂路破裂,真空系统不严密等真空系统不严密等11种类型种类型判断事故类型的征兆运行参数有判断事故类型的征兆运行参数有:排汽压力排汽压力x1,电机电流电机电流x2,出口压力出口压力x3,温差等温差等13个指标个指标,这些参数指标可以从电这些参数指标可以从电厂的数据采集和监控系统中直接提取厂的数据采集和监控系统中直接提取.选择选择30种典型事故数据集构成网络训练样本种典型事故数据集构成网络训练样本111

66、112网络的输入层取网络的输入层取13个节点个节点,隐含层取隐含层取10个节点个节点,输输出层取出层取11个节点个节点,E=0.05,学习率学习率=0.5遗传种群大小遗传种群大小N=10,交叉概率交叉概率Pc=0.5,变异概率变异概率Pm=0.001,经过经过1532次满足精度要求次满足精度要求,网络稳定网络稳定,得相应的权值和阈值得相应的权值和阈值.取取5组实际数据进行测试组实际数据进行测试,数据预处理后数据预处理后,输入模输入模型型,输出诊断结果输出诊断结果,与实际进行对比与实际进行对比113114机器学习机器学习 按照按照AI大师大师Simon的观点的观点,学习学习就是系统在就是系统在不断重复的工作中对本身能力的增强或者不断重复的工作中对本身能力的增强或者改进改进,使得系统在下一次执行同样或相类似使得系统在下一次执行同样或相类似的任务时的任务时,会比现在做得更好或效率更高会比现在做得更好或效率更高.115人类学习的特点人类学习的特点过程缓慢过程缓慢会会“忘记忘记”知识传授困难知识传授困难不断地修改知识，变的聪明不断地修改知识，变的聪明116机器学习机器学习机器学习正是解决知识获取