智能系统总结

《智能系统总结》由会员分享，可在线阅读，更多相关《智能系统总结（2页珍藏版）》请在装配图网上搜索。

1、P(T), !.个性知识。专家经验知识和启发性知识。3.按知识的层次分类(分三层)零级知识。常识性和原理性的知识。一级知识。指启发性知识。利用可提高求解问题的效率。目录第一章绪论1第二章知识表示技术2第三章问题求解技术3第四章专家系统4第五章神经网络5 神经网络(Neural-NetworksNN)概述一、神经网络构成的基本原理 1.定义：人工神经网络是由大量简单的基本单元一一人工神经元 (Neuron)相互连接而成的自适应非线性动态系统。系统模型的实现软件描述(数学方程、算法、程序) 硬件实现(半导体器件、光学器件、分子器件)2. PDP模型人工神经网络能够根据环境情况总结规律， 完成识别和

2、控制过程。因此，它是一种非程序化的自适应信息处理机(或非算法计算机)，是一个并 行分布处理系统，称为 PDP 系统(parallel distributed processsing)。神经网络构成的基本原理1iw()tNeti()tia ()tOi树突(引入信息)细胞核轴突(输出信息)并与下一个神经元相连3.特征由一组给定的处理单元构成NN对单元的激活。是指在给定的时间 指定的单元所处的状态。一般，激活规则： 神经网络构成的基本原理 各单元的输出函数；将激活状态映射为各单元的输出()()()tftOiia =f激活函数单元的连接模式。单元特定的连结规律决定了网络的功能特征。如：单方向头尾相连前

3、馈网络尾反馈到头部反馈式NN传播规则各单元综合与之相连的输入信号就 得到单元的净输入netj(t)，描述此作用的规则称为传播规则。传播规则常用加权和的方式()Z=niiijjOwtNet1回到神经网络神经网络构成的基本原理学习规则：改变单元间的相互连接强度可改变系统的知识结构。它是通过改变权值来实现的，描述 调整权值的规则就是学习规则。-Hebb规则)(0 )( 10)()(jijixxwMssjsiij=尹切=-=越大，说明两神经元间的 连接越强。ijw()()()(1MjMiijijxxtwtw+=+回到神经网络用于反馈式NN误差修正法(或规则)()()()jiiijijxydtwtw-+

4、=+a1yi实际输出di期 望输出用于前馈NN5NN的基本功能二、NN的基本功能1分类功能(classifier)-分类功能：依据由某个输入矢量产生的输出来判断属于哪 一类。假设有M类可区分(或可分类)的客体若表征客体特征的是一个N维的矢量，分类方案：当时, 令网络的第j个输出端等于1,其他输出端等于0。网络模型：输入设有N个元素，与对应输出设有M个 元素，与类别对应 Y X )1 1 0( -.= Mjcj，+110 ,，-.= NXXXXNN的基本功能用数学表达式描述的分类关系为：对于，则反过来：若表明：当输入矢量与某标准样本相匹配时即可 归类，完成分类功能。2.联想记忆(Associat

5、ive Memory AM)-联想：由输入信息唤起与之有关联 的其他信息，我们说两者间有联想关系。-联想记忆：由一个特定的输入矢量联想出特定的输出矢量的 功能。可用输入一一输出的映射关系描述:为(输入则NN的基本功能联想记忆类型(两种)自联想(Auto-AM)：使信号复原。设ANN系统有M个样本，若有一输入(一 个噪声)，要求输出实际上，自联想的输入、输出是相同的矢量。异联想：实现样本映射和信号的 复原。ANN系统的M个样本的输入和输出是两组不同的矢量，而且存在对应关系，即。当NN的输入 时，输出。回到神经网络实际中，当具有少量变异或缺损时，仍能将偏差去除，满足映射关系。NN 的基本功能3.

6、优化计算(优化决策)将问题所涉及的优化约束信息表达成目标函数的形式，并存储于ANN的 连接权值之中。同时，将网络的工作状态以动态系统方程式描述。随机给定一组初始状态，当系 统的状态通过迭代演变到趋于稳定时，网络方程的稳定解就可作为优化结果。前向多层人工神经网络一、前向NN的模型结构1.单个神经元的模型形式一般地，前向NN的神经元均采用简化的形式，输 入矢量是一个N维的矢量，其中每一分量都是实连续变量。权重值也构成一个矢量。与取内积，再减 去阈值(或门限值)变量8，就得到神经元的净输入，对进行某种函数运算前向多层人工神经网络2. 多层NN的模型结构将单个神经元作适当的组合就可构成多层神经网络。前

7、向多层NN如图所示。输入输出i+1层i层i-1层回到神经网络特点每一层都包含若干个神经元。同一层中的神经元无相互连接。层间信息传递 只沿一个方向(底层一高层)传递。输入神经元无计算能力，只表达输入矢量各元素值；其它各层 神经元有计算能力。采用硬限幅函数时单个神经元的分类功能二、采用硬限幅函数神经元的分类学习算法1.算法：最终的目的是寻找、。用已知类别的样本去训练 网络或调整取值，使最终确定的权值具有识别分类能力。设输入矢量为；网络权值和阀值矢量为已知 样本：输入矢量 w e 1 110，-.=NxxxX +e-.=- 110,，NwwwW回到神经网络dX-期望输出值处于学习阶段时，对于每个样本

8、，其，必须调使调整可用误 采用硬限幅函数时单个神经元的分类功能2. 流程图求目标值与实际值的偏差调整权值和阈值满足要求求神经网络的输出结束初始化e、w给 定样本的输入、输出向量iMi,2 ,1 =kyi& ig w全部满足NN 采用硬限幅函数时单个神经元的分类功能3. 证明(二维、两类、分割线通过原点)通过原点.(阀值为0门限)，从三维退化为二维矢量，。 在每一个学习阶段，都有一个通过原点的假设到第部时，得到的分割线为，上的点必满足方程式： 采用硬限幅函数时单个神经元的分类功能当样本矢量属于类，而且时，有但理想值，此时调权值从而确定出一条新的分割线，比更接近于实际 分割线()1+kl()kll

9、*只要足够小，每经过一步学习，或等同于，或较趋于大所以只要有足够多的训练样 本，可使趋于最佳分割线*另外还有多层网络的，采用硬限幅函数及采用线性函数进行分类的分析。a ()1+kl()kl()kll()kll采用S形函数的前向多层神经网络及其递推方法三、采用S形函数的前向多层神经网络及其递推方法采用S形函数的前向NN模型及特点从前面的前向多层NN模型结构图可知，网络分为输入层、隐含层、输出层。隐含层可以是一层或多 层。当每个神经元的激活函数采用S形函数时，NN可具有以下特点： 激活函数采用S形函数可以有更好的仿生效果； 每个Neuron能够实现最小二乘(LMS)学习算法； 从系统的观点看，是一

10、从输入一一输出的高度静态非线性映射，具有高度复杂的非线性处理能力； 是一个强有力的学习系统。采用S形函数的前向多层神经网络及其递推方法BP学习算法BP算法的基本依据是最优化计算中的梯度法。BP算法的目的是确定网络权值使其 能量函数(目标函数)取最小值。设目标函数取，若有了极小值的某一近似点，可从出发找到更接近 于的一个点，所以在点将展为Taylor级数并取一次项，采用S形函数的前向多层神经网络及其递推方法算法：它是一个有导师的学习法，须通过给定的样本训练网络，使样本所具有的信息存储于NN的 权值中。设对于训练样本p，一一第(l-1)层第i个节点的输出一一第(l)层第j个节点输出一一第(l-1)

11、 层第i个节点到第(l)层第j个节点的连接权一一输出层第j个节点的实际输出和期望输出回到神经网络 为求上的最小值，按照梯度法推导出的权值修正量为采用S形函数的前向多层神经网络及其递推方法 采用S形函数的前向多层神经网络及其递推方法采用S形函数的前向多层神经网络及其递推方法流程图求目标值与实际值的偏差修正权值和阈值满足误差要求求隐含层、输出层各单元的输出结束 初始化给定输入和目标输出向量ig ig w YN计算隐含层、输出层单元的输出求误差梯度 采用S形函数的前向多层神经网络及其递推方法(四)讨论当将BP模型的NN应用实际时，对其算法均有不同程度、不同角度、不同方面的改进。 一般从以下几方面考虑

12、：变学习步长。加入惯性调整量。将时序tk的系数调整量与tk-1的相联 系，造成一种惯性效应。初值的正确设置。主要是为了保证网络学习以及摆脱收敛到局部最小点。 一般设为随机值。离散的 Hopfield NN二、离散Hopfield NN的算法(实现自联想记忆功能)1步骤Step1：利用Hebb学习规则和训练样本， 求，Step2：未知样本初始化。，Step3:运算，迭代直到收敛，即不再改变。最终的输出描述了未知输 入与原型样本的最佳匹配。离散的Hopfield(2)(3)对于并行模式(自行证明)n个神经元的状态同时更新，此时有+,1nxxxA.A=A，则称对应的状态 为定理1：每个能量函数E的严

13、格极小点都是相应网络的吸引子。当样本状态在一定范围内逃离吸收 子之后，应有能力自动恢复到原状态。那个允许偏离的范围称为吸引域。定义2：设V是吸引子，若 存在路径可以从X演变到V，则称X吸引到V。若有一条路径，则是弱吸引的；若每条路径均可到V， 则是强吸引的；若，则v是K-吸引子。该系统的吸引子。KVXdXH=),(:三、讨论1.吸引子、吸引域的 .稳定性规律分析 给定一组样本，训练后网络将有一组稳定状态。但除此之外还有可能出现其他的稳定状态，称为伪 稳定状态。 并非任何一组给定的样本，经训练都可构成一组稳定状态。 给定一个偏离样本的初始状态，最终不一定收敛到与其汉明距离最近的样本上。离散的 H

14、opfield NN_双向联想记忆(Bidirectional Associative MemoryBAM) NN可存储两组矢量，一组是由输入神经元构成的矢量，另一组是由输出神经元构成矢量，P+Q=n (总的神经元数目)。每一组矢量对构成一个样本， 经训练后的网络应具有双向联想性。),双向联想记忆离散Hopfield NN BAM NN的模型对于Hopfield NN，可将自联想模型结构作一变换。回到反馈式Hopfield NN变换方式将n个神经元分成两类，一类是输入，一类是输出输出神经元的输出只 反馈到输入神经元，权值为输入神经元的输出只反馈到输出神经元，权值为双向联想记忆离散Hopfiel

15、d NN 学习规则、权值矩阵、能量函数对应自联想Hopfield NN，假设由M个样本组成的原型矢量，由原 来的X扩展成，根据Hebb规则，原来的权值矩阵扩展成当样本之间满足正交性时，能够被记忆。回到反馈式双向联想记忆离散Hopfield NN但不完全正交的也不一定不能记忆回到反馈式Hopfield NN若神经元函数的阈值等于0，则为齐次BAM-NN，其能量函数表达式为双向联想记忆离散Hopfield NN 回到反馈式*若神经元激活函数采用限幅sgn，则演化过程为双向联想记忆离散Hopfield NN回到反馈式Hopfield NN*若神经元激活函数采用限幅sgn，则演化过程为稳定性BAM_N

16、N与自联想 记忆网络一样，也具有稳定性。而且一一 minEBAM的稳定点(称为稳定吸引子)对应讨论模型的 双向联想特性具有应用广泛性。在电力系统应用：故障区域估计、故障识别、故障诊断等。连续的 Hopfield NN连续Hopfield NN的模型结构与离散型相同，只是神经元的构成上有所不同。它既考虑了神经元的输 入、输出的关系，更正要的是考虑了输入与输出间的延迟作用，将神经元的动态特征，连续性反应出 来。因此，利用模拟电子线路构造了连续Hopfield。一、单个神经元的模型用具有正(反相)输出 的运算放大器模仿神经元的非线性函数关系。输出 Vi与输入ui间的特征通常取S形函数 uiiieuf

17、v-+=11)(放大器的输入电容和输入电阻模拟神经元的时间常数，产生输出与输入间的延迟作 用。iRiC连续的 Hopfield NNiIiuiViViciRijijwR1=jV回到反馈式Hopfield NN连续的Hopfield NNRij电阻支模拟了神经元的突触作用，建立了由Vj产生第i个神经元输入的联系。 外加偏差电流Ii模拟神经元的阈值8。二、连续Hopfield NN的方程描述连续Hopfield NN的动态特 性可由一个非线性微分方程组来表示。在每个神经元的输入结点处，按连续的 Hopfield NN其中，()式就是描述连续Hopfield NN的运动方程。当给定一组初值，可求出(

18、)微分方程的解， 此解就是NN的稳定状态。三、稳定性分析),2,能量函数下面证明，且达稳态时minEE=0WdtdE 连续的Hopfield NN0=dtdVi0=dtdE另外，当时，有说明随着时间的演变，NN总是朝能量函数E减小的 方向运动，且NN达到稳态时，E取最小值。四、连续Hopfield NN的应用求解TSP (旅行商最优路径 问题Travellingsalesman problem) (1)问题：假设有n个城市A，B，C，它们之间的距离分别为dAB, dAC,dBC,.。问题是寻找一条闭合路径，其历经每个城市仅一次返回起始城市，要求此路径 长度最短。分析 若有n个城市，可能存在的闭

19、合路径连续的Hopfield NN为寻找dmin路径，可采用穷举法，把全部可能的组合一一比较判断。但穷举法对于简单的问题，是 可取的，而对于n较大的情况，其工作量是急剧上升的。实际上，TSP问题求解的结果往往不需要得到严格的优解，而是接近最优解答即可。Hopfield NN在 解决优化问题中充分体现了与人脑类似的特征，所以，用hopfieldNN来解TSP问题是一较好的途径。 求解方法连续的 Hopfield NN回到反馈式Hopfield NN矩阵的各行(或各列)为“1 ”者表示城市在整个路径的顺序。每个城市在整 个路径中只经过一次，因此该置换矩阵有以下特点： 每行只有一个“ 1”，其余均为

20、“0”每列只有 一个“1”，其余均为“0”全部元素中“ 1”的数目总和为n (=城市数)ii. Hopfield NN模型结构置换矩阵表示了旅行路径的各城市顺序，最优解与某置换矩阵相对应的。因 此，求解TSP问题可以转换为确定置换矩阵的各元素。模型：将各元素值与Hopfield NN的稳定状态 相对应，则Hopfield NN应由nXn个神经元构成，模型结构为连续的Hopfield连续的 Hopfield NN回到反馈式Hopfield NNiii. 权值矩阵的确定对于一个优化问题，网络权值矩阵是依靠能量函数E来确定的。即对应着E的 最小(大)值。因此，关键是建立能量函数E。建立E应满足要求:

21、在最低能量状态，神经元输出符 合置换矩阵的形式。在最低能量状态，置换矩阵对应最短路径。建立E的过程：设各神经元输出电 压V表示成双下标形式：Vxi城市名顺序号放大器的输入电压uxi连续的 Hopfield NNA系数项：矩阵中所有各行每行内各元素两两相乘(不包含自乘)的所有组合。若每行中只有一个“1”， 则A项结果为0,即在E中A项达最低值；B系数项：矩阵中所有各列每列内各元素两两相乘(不包 含自乘)的所有组合，若每列中只有一个“ 1”，则A项结果为0，即在E中A项达最低值；C系数项： 矩阵中全部元素取和的情况，当全部元素取和等于n (只有n个元素为“1”)，C项为0，即在E中C 项达最低值；

22、回到反馈式Hopfield NN连续的Hopfield NND系数项：表示距离信息的约束。当Vxi=1，Vy,i+1和Vy,i-1只有一个为1时，说明 X,Y的路径邻接。当Vxi=1，Vy,i+1和Vy,i-1全为0时，此项消失为0。所以全部邻接dxy取和之后得到 某路径的组合，对应最短路径的在E中D系数项取最低值。可见，E表达式反映了问题的要求，E最 低值对应问题的最优解iv. Hopfield NN微分方程的确定权值矩阵是利用E的表达式与标准HopfieldNN表达式的对应关系来确定。标准E的表达式式就是TSP问题的Hopfield NN的表达式，即n*n非线性一阶微分方程。该微分方程的解

23、就是TSP的 优化结果。注：方程中的参数可选择：A=B=500，C=200，D=500，n=10，7 连续的 Hopfield NN讨论求解存在不唯一性。起始状态的不同选择可能导致不同的最终状态。用Hopfield NN求解TSP 可得到接近最优的结果。利用求解TSP的思想可以解决其他优化问题，如电力系统规划问题、机组 最优组合，等。自组织特征映射神经网络回到神经网络讨论：单神经元输出多层感知器反馈式hopfieldNN (有导师(监督)学习算法)Kohonen 自组织特征映射网络(无导师(无监督)学习算法)二维阵列输出一、单神经元自组织特征映射神经 网络及学习方法1.网络的模型结构设：单神经

24、元的输出为y，输入是一个(N+1)维矢量加权矢量也 是一个(N+1)维矢量单神经元自组织特征映射神经网络及学习方法单神经元自组织特征映射神经网络及学习方法有监督学习：当输入矢量属于不同类别时，要求输出 具有不同的定值，而且这些确定的输出值是人为事先规定好的。其目标是实现严格分类功能。-无监督 学习：不能事先规定输入属于某类时输出所应具有的确定值。其目标是要求输出值能够反映输入矢量 的特征。例1：输入矢量X在矢量空间中的分布有一个变化最大的方向。那么输入矢量X的“特征” 可以是指该矢量在此方向上的“投影”。若用y来反映这一特征时，应该是使X越趋向箭头方向时，y 的值越大。W 2.加权矢量的自适应

25、变化规则 单神经元自组织特征映射神经网络及学习方法其中和是y的线性或非线性非负函数。第项为“学习项”：它使W的方向趋向于与各输入量X 一致。 第项为“遗忘项”：W中某个分量的绝对值越大，遗忘越快，最后使复归于一个零矢量。例2.输入 矢量X空间中各有自己的“聚类区”。若用y来反映输入矢量的特征，应该是当X属于不同类聚区时， 相应输出y会有明显的差异。所谓自学习，就是使W随X的不断输入进行自适应变化，所以W取决 于X、y、W自身。自组织学习通常按下列公式来计算W的变化(*)具确定“侧反馈”特征时多神经元阵列自组织特征映射可以定量证明：当2)(,)(yyyyp 丫 a中=时，W 将收敛于一个稳态解。

26、当二、具有确定“侧反馈”特征时多神经元阵列自组织特征映射1、模型若要 通过自组织学习得以反映输入矢量集的许多细致和复杂的特征，就必须有许多神经元协同动作才能实 现。这些神经元可排列成一维(直线)阵列或二维(平面)阵列。用阵列中各神经元配合活动产生的 输出来反映输入矢量集的特征。具确定“侧反馈”特征时多神经元阵列自组织特征映射侧反馈一维阵列具确定“侧反馈”特征时多神经元阵列自组织特征映射2、“侧反馈”作用自组织NN中每个输出神经 元不仅接受输入信息，而且还接受本区域(输出区)其他神经元送来的信息，称为“侧反馈”信息。 实验研究：假设反馈系数是固定不变的，只取决于接受反馈信号的神经元与发出信号神经

27、元之间的距 离。实验结果：以发出信号的神经元为圆心，对于半径为50mm100mm的圆以内的神经元具有兴 奋性侧反馈；对于半径为200nm500nm的圆构成的环带区中的神经元具有抑制性反馈；对于更远的 神经元又具有较弱的兴奋性反馈。“侧反馈”强度随侧向距离的变化大致如图示，像一顶“墨西哥草 帽”，称为“墨西哥草帽型，侧反馈。侧反馈强度侧向距离回到神经网络3、聚类区侧反馈作用会使自组织特征映射网络在自组织学习中形成聚类区，而且聚类区的出现具有 一定的规律，以利于学习算法的形成。下面作一分析，侧反馈函数简化为如图所示a=4, b=0.06, c=-0.04 一维阵列包含了 50个神经元，传输函数取近

28、似的s形输入矢量为A为正实数A=10 (或1)具确定“ 则用(b)式可算出t=1，2, 3诸时刻的值，示于图中。具确定“侧反馈”特征时多神经元阵列自组 织特征映射输出矢量的净输入第i神经元输出若规定i=049取K=13 (b) (a)随t增加，在Ii(0)的曲线最大值附近形成了一个逐渐升高的“气泡”。在t9时，这一气泡最大值达到 饱和值A=10。气泡区以外的神经元输出被抑制到0,从而形成一个具有陡峭边缘的“聚类区”，而且 这个聚类区出现在净输入最大处(Ii(0)最大处)具确定“侧反馈”特征时多神经元阵列自组织特征映 射具确定“侧反馈”特征时多神经元阵列自组织特征映射4、自组织映射学习算法自适应

29、学习算法调整 权值w网络具有有序特征映射的特性有序特征映射：如果输入矢量集合内的各个矢量是按照某种特 征的相似度排序的，就是说相似度越高的矢量在集合序列中排得越邻近。具确定“侧反馈”特征时多神经元阵列自组织特征映射如果网络对于从集合中随机选取的矢量在无教师监督下进行了充分的学习后，具有下列的运行特性： (当输入时，具有最大输出的神经元编号为i1)(当输入时，具有最大输出的神经元编号为i2)称 该网络完成了从N维输入空间到M个分量的一维阵列的自组织特征映射。具确定“侧反馈”特征时多神经元阵列自组织特征映射T10,NxxxX=算法思想：(1)从网络学习的 目的是使网络具有特征映射，即不同输入模式输

30、出有一个最大输出，即该神经元处出现了一个气泡(聚 类区)。(2)从“侧反馈”和“聚类区”形成知道，当输入矢量至输出的加权和为最大时，该输出形成 气泡，有最大值输出。学习算法Step1 :权值初始化，并选定领域的大小NcStep2：输入一个样本矢量 具确定“侧反馈”特征时多神经元阵列自组织特征映射 XWxwINjijiji Z =0TiVNciNciyyii$e Ul = 当当,0,1神经元i的输入用加权和计算Step3:选择Ii中的最大者Ic，即Ic=maxIiStep4:利用侧反馈 运行机制，在C附近形成一个气泡。设气泡所占区域为Nc，这样阵列中各神经元的输出为(c)Step5： 权值调整。

31、具确定“侧反馈”特征时多神经元阵列自组织特征映射()ijijiijwyxyw2-=Aa .将(c)代入(d)，得NciNc四 e(e)RBF网络一、RBF网络模型结构及特点RBF (Radial Basis Function,RBF )网络由三层组成，其结构如图示。RBF网络其中uj:隐层节点的输出；(在0,1 之间)；：输入样本；Cj:高斯函数的中心值；：标准化常数；Nh:隐层节 点数。),2，输入层节点只是传递输入信号到隐含层；隐层节点由辐射状作用函数组成，所以称为RBF 节点。一般常用的是高斯核函数 RBF网络输入样本愈靠近节点的中心，输出值越大。(局部感应场网络)输出层节点为隐层节点输

32、出的线性组 合。i=1，2,.,m其中二、学习算法Step1输入所有的样本集合(Xk,Yk) k=1,2,.,pStep2用各种聚类法将 输入样本聚类，Mj是第j类的样本数。Step3根据聚类情况确定隐层节点数(隐层节点数=分类数) 和隐层各节点的高斯核函数的中心值Cj和标准化常数假设:已将输入样本聚类，代表第j组的所有样 本(空间)，j。jeRBF网络则根据最小二乘原则，即利用LMS算法求出输出层的权值W。(可以直接利用BP算法调整 输出层权值的思路)Step4确定隐层节点到输出层的权值WP个输入样本计算P个输出形成P个从隐 层一输出样本)RBF网络三、聚类法(分群算法)简介两点考虑：样本数

33、目较多时，所需要网络隐含层节点数目较多，训练 时间较长，不利于收敛。对于因变量(输出)数值较分散(最大值和最小值相差较大)，难以达到 高训练精度。1、基本分群算法Step1输入所有的样本集合；Step2对输入变量的标准化处理；不同 的自变量，取值范围和单位都不尽相同。为了在无量纲的情况下应用，一般对自变量进行标准化处理。RBF 网络 jjijijxxZa/)(-=NxxNiijjZ=1)1()(122-Z-=NxxNijijja 设自变量个数为 m 个，样本数为 N 个。对于 自变量数据xij，其标准化处理过程为：Step3根据特征值对输入样本排序，分群并存储各群的 PI (Performan

34、ce Index， PI)指标的上下限值。i=1,2,.,Nj=1,2,.,mRBF网络一般地，对应用对象用影响特征参数定义一个性能指标。每个样本的PI值可为：Qj：第j个 特征参数的权重。一般取为应用被控对象随第j个特征参数变化关系的斜率。当找不到规律时可取为1。按各个样本的PI值的大小排序，并将PI值接近的分为一群，并将各群内样本的PI值上限、下限 值存贮，以便对未知样本归类。j=1,2,.,mRBF网络其他的聚类方法模糊K-Means分群算法LBG算法(取名Linde,Buzo,Gray三人名字的开头英文字母) 课程：智能系统原理及应用第一章绪论人工智能的定义1人工智能的研究核心2人工智

35、能的研究领域3本课程的研究内容4一、人工智能的定义人工智能(Artificial Intelligence-AI)交叉和前沿性的学科，当代高科技的核心之一。关键：如何理解“智能”？表面意思为：采集、汇集、并由此进行选择、认识、领悟。而现今“智能”指由思维活动和脑力劳动 所体现的能力。人工智能：用机器自主表示和执行各种拟人任务，模仿与人类的某些智力有关的复杂功能的能力。 如判断、推理、证明、识别、理解、设计、问题求解等思维活动。二、人工智能的研究核心立足不同的学科基点，对其研究核心本质上有不同的观点。两大学派：功能派或心理学派结构派或仿生学派功能派或心理学派功能派或心理学派：把人类思维活动通过计

36、算机进行智能功能模拟，构成形式模型。研究目标：模拟人类的思维活动过程。代表人物：艾伦.纽厄尔(Allen.Newell)和赫伯特塞蒙(Herbert.Simon)代表著作：人类问题求解(Human Problem Solving)思想：研究出通用问题求解程序。 将人的思维活动中的形式逻辑符号化、数字化，建立通用的、万能的符号逻辑运算体系来求解人类的 一切问题。结果：存在局限性，具体问题具体分析。知识(理论知识、经验知识)作为AI的研究核 心。回到人工智能的研究核心 功能派或心理学派知识工程(Knowledge Engineering-KE)专家系统(Expert System-ES)费根鲍姆(

37、Feigenbaum)” 专家系统和知识工程之父” DENDRAL ES分析有机化合物分子结构MYCIN ES一抗生素药物治疗其他 著名ES： PROSPECTOR地质勘探ES,MACSYMA符号积分定理证明ES，等。ES适合解决的问题：诊断、 预测、规划、设计、监视、控制等。结构派或仿生学派结构派或仿生学派：研究人脑的生理结构，建立一种模仿人脑的复杂网络模型。研究目标：研究人脑模型的硬件结构。思想：它主要试图解决计算机不善于解决的问题。构造 接近人脑功能的新一代计算机模型。神经网络(Neural Network-NN)代表人物F.Rosenblatt代表著 作：“感知机”。特点：首次把NN从

38、理论探索付诸于工程实践。应用：应用于文字识别、声音识别、 声纳信号识别，等。结构派或仿生学派代表人物Widrow代表著作：自适应线性元件网络(Adaline)应用：雷达天线控制、自适应均衡、回 波抵消，等。代表人物Hopfield代表著作：Hopfield NN模型。特点：首次引入了 “能量函数的概念”， 给出了网络稳定性的判据。应用：旅行商最优路径，等优化问题。代表人物Rumelhart和Mcclelland 代表著作：Back-Propagation-BP模型。特点：多层网络反复传播学习模型。应用：模式识别、分类、 联想，等。其他著名NN： Boltzmann Machine(波耳兹曼机)

39、、Kohonen模型(自组织特征映射)、ART(自 适应谐波)，等。三、AI的研究领域模式识别问题求解人工智能方法(专家系统、人工神经网络)机器人语言理解定理证明自动 程序设计智能数据检索智能控制AI的研究领域包括：1、模式识别(Pattern Recognition)研究方面 图形识别：研究各种图形的分类。如：文字、图象、汽车牌照、指纹的识别。 语音识别：研究各种语音信号的分类。如：1952年美国贝尔实验室的戴维斯(Davis)成功研究了 090 个数字的语音识别。定义模式(Pattern):是指完美无缺的供模仿的一些标本。模式识别：是指识别出给定物体所模仿的标本。模式识别(在人工智能领域)

40、：用计算机代替人类来模拟人类通过接受外界信息来识别理解周围环境 的感知能力。是一种计算机模式识别系统。1、模式识别(Pattern Recognition)回到AI的研究领域识别方法 统计法：把模式看作是多维空间的一些点(或矢量)，利用这些点在空间所占比例进行识别。 结构法：把模式分解成若干简单的元素，用文法规则描述这些元素之间的结构关系。2、问题求解(Problem Solving)定义问题求解：搜索为解决问题的解答空间，寻找最优的解答。应用主要成功解决博弈问题。著名的博弈程序有：塞缪尔的跳棋程序(Checkers)，格林布赖特等人设计 的国际象棋程序(Chess)，十五子棋等。在这些程序中

41、将下棋的基本规则，正确棋步，下棋的经验， 分解困难局面的知识和技术变成为搜索和问题归约这样的AI基本技术。数学公式符号运算。1993年美国出版了一个名叫MACSYMA软件。3、专家系统(Expert System)专家系统：一个基于专家经验知识和推理方向的计算机智能程序系统。特点：包含大量解决问题领 域的专门知识、专家经验知识、方法和策略。能模拟人类专家的决策过程，经推理和判断解决需要专 家决定的复杂问题。讨论关键是如何表达和运用专家知识。ES的研究成果大都集中在医疗诊断系 统方面。在电力系统领域，主要是利用ES进行电气设备的故障诊断，电网、发电厂、变电站的故障 诊断，电网调度的警报信息处理、

42、正常的倒闸操作票，等。 缺点：知识组合爆炸推理的“死循 环”。4、人工神经网络( Artificial Neural Network )人工神经网络：模拟人脑的生理结构，处理非数值计算的直觉和形象思维等问题。特点传统的计算机，不具备学习能力，适于处理能建立较清楚的理论框架的问题； 神经网络，具备学习能力，能够处理视觉理解、形象思维等人类智能活动的问题。 讨论关键研究网络模型学习算法硬件实现在电力系统领域，主要是利用NN进行电力系统故障诊断，机组最优组合，等。5、机器人(Robots)机器人：是一种可再编程的多功能的操作装置。关键：实现机器人目标的动作序列的规划方法 操作机器人装置程序的研究。类

43、型遥控机器人：不依靠事先编好的程序，完全靠远距离外的人的实 时操纵。程序机器人：其动作完全由事先编好的程序控制，对外界无感知能力。示教-再现机器人： 记忆人的全部示范操作，并再现这些操作。智能机器人：机器人具有各种智能，如感知能力、推理 能力、规划能力和说话能力，等。四、本课程的研究内容知识表示技术( Knowledge RepresentationKR)构造AI系统时，其智能活动过程主要是一个应用知识的过程。因此应把有关问题领域的各种知识用 最合适的型式进行组织，用计算机可接受的形式表达，以配合AI系统的智能活动过程对知识的运用。 知识表示方法：状态空间法、产生式表示法、框架表示法、特征表表

44、示法、语义网络表示法、谓词逻 辑法、问题归约法、过程性知识表示法，等。问题求解技术(Problem SolvingPS)对存储于机器中的知识进行相应的处理，以求解问题的解答。求解的过程就是搜索的过程。四、本课的研究内容搜索技术：宽度优先搜索，深度优先搜索，启发式搜索，等。推理技术：正向推理，反向推理，正、反向混合推理。网络模型及算法人工神经元的结构以及神经元间的连接所构成的网络模型要适合求解的问题。针对不同的模型，相应 的学习算法应能快速收敛、正确给出稳定解。第二章知识表示技术概述1基于图的表示法2其他的各种知识表示法3概述一、知识表示的基本概念知识表示：就是关于如何描述事物的一组约定。将获取

45、的问题领域有 关知识，变换成机器内部的知识模型；形式化的知识在知识处理中被准确、方便、有效地运用。对知识表示方法的研究主要对存储各种领域知识的数据结构设计。二、评估知识表示的基本原则任何 问题都有多种等价的表示方法，但它们在求解问题的过程中所表现的能力是不同的。把对知识控制运 用的要求作为衡量知识表示适用度的评估原则。从以下4方面考虑：概述 有效性。可用一种或多种知识表示模式。方法：问题域的所有类型知识用相应准确的知识形式表示 出来，使问题求解更为简易、方便。 可扩展性。知识库中的知识应容易修改、增加、删除。方法：采用模块化结构型式，模块之间的知 识具有相对独立性，知识的扩充可局限在相关的模块

46、。 可理解性。对问题域知识的描述是否自然，知识表达是否易于被常人理解。方法：采用模块化或分 层分布式的知识结构。 清晰性。问题域涉及的有用知识完备描述，形成的知识库结构简单明了。因此在确定问题域知识表示方法时，应兼顾这四个方面。三、知识分类对用于求解问题的知识，采用什么方式表达以及在整个AI系统放在哪个模块中，都是以对知识分类 要求为依据的。1. 按知识性质分类(分三类)叙述性知识。对客观事物的概念、状态、属性、特征等知识的描述。如：311开关在断开位置。电路中任意节点的电流代数和等于0。过程性知识。对事物状态变化、数据演变等操作知识的描述。如：若母线上所有开关在断开位置，则母线处于备用状态。

47、控制知识。经比较、判断而得的决策性知识，它控制着推理的方向。如：P( )：_!.P(H|T):_P1(H),概述2. 按知识源分类(分两类)共性知识。指已被人们视为真理，绝对正确的定义、定理、概念等。二级知识。对零级和一级知识起指导作用的控制性知识。基于图的表示法状态空间法(StateSpace)问题归约法(亦称与/或图表示法)(Problem Reduction) 语义网络表示法(Semantic network)一、状.态空间法(StateSpace)1. 定义状态空间法：基于解答空间的问题表示和求解方法。它是以状态和算符为基础来表示和求解问 题的。2.状态空间的描述状态(state)：为

48、描述某类不同事物之间的差异而引入的一组最少变量的 有序集合(或组合)。向量表示形式为Q=q0, q1, ,qnT算符或操作符(operator):使问题从一种状态变化为另一种状态的手段。它可以是机械性的步骤、过程、规划、逻辑符号，等。状态空间： 表示问题的全部可能状态及其相互关系的图。一般是一个赋值有向图。状态空间常记为三元状态S:初始状态集合F:操作符集合G:目标状态集合回到基于图的表示法一、状态空间法(StateSpace)3. 状态空间法实质：是一种在状态图中寻找从初始状态Qs出发到达目标状态Qg的路径问题。若把 Qs变换成Qg的有限操作序列a =f1, f2,fn，则有Qg= fn (

49、 -(f2( f1(Qs) -)4.例子例1：设有3枚 钱币，处于“反、正、反”的状态，每次只允许翻动一枚钱币。问：连续翻3次后是否可出现“反、 反、反”或“正、正、正”的状态？一、状态空间法(StateSpace)解法1 问题形式化描述设钱币的正面为“ 0”，反面为“1”。状态：可由一个三元数组表示Q=(q0, q1, q2)，共8组状态操作符：翻动每枚钱币可抽象成改变状态的算符，共3个a:把第一枚钱币q0翻转 -次b:把第二枚钱币q1翻转一次c:把第三枚钱币q2翻转一次状态空间图(见下页)状态空间可 表示成 一、状态空间法(StateSpace)一、状态空间法(StateSpace)解法2

50、问题形式化描述时，若在状态描述中引入代表翻转次数的分量，这样状态空间图可表示如下一、状态空间法(StateSpace)例2:推销员旅行问题。推销员在5个城市作推销工作，从A城市出发，经其他城市后又回到A城市。 求推销员最短距离的旅行。分析：这是一个最优化问题。在找到所有的路径后，按照城市之间的距离数值计算，给出距离最短的 旅行路径。一、状态空间法(StateSpace)状态(a,b) aA 片所在位置 bB 片所在位置状态共有 9 种(1,1), (1,2), (1,3), (2,1), (2,2), (2,3), (3,1), (3,2), (3,3)操作符 R(i,j)表示将金片 R 从

51、i 移到。共有 12 个算符 A(1,2), A(1,3), A(2,1), A(2,3), A(3,1), A(3,2)B(1,2), B(1,3), B(2,1), B(2,3), B(3,1), B(3,2) 状态空间图(自画)对于 64 个金片，状态有 364=3.4*1030个，操作符有2*3*64=384种状态空间图巨大，无法实现。二、问题归约法(Problem Reduction)1. 定义问题归约：应用操作算符把原始问题的描述变换为子问题的描述。复杂问题若干简单子问题 2. 问题归约描述问题归约可由三部分组成3.等价方式(两类)某复杂问题可等价成另一个较为简单的 问题。或(OR

52、)树有多个解解决某一节点所代表的问题等于解决树根所代表的问题。二、问题归约法( Problem Reduction)某复杂问题可转化等价成一组子问题。与(AND)树只有一个解只有当树叶对应的子问题都解决了， 树根代表的问题才能解决。实际上，对一个问题等价，既有与逻辑又有或逻辑。含有与、或两种节点 等价成的树图叫与/或图。4.问题归约与状态空间法的区别(三个方面)状态空间法问题归约法节点 含义状态问题是否存在与节点不含与节点含与节点推理方向正向推理反向推理二、问题归约法(Problem Reduction回到基于图的表示法5. 问题归约的实质：把状态空间搜索问题最终归约为一个平凡的本原问题(已知

53、状态、确定性状态) 集合。6. 问题归约的机理若用三元状态(S, F, G)表示一个状态空间搜索问题，若能识别某适当的“路标”状态序列g1, g2,gn,， 则可把原始问题归约为由三元状态(S,F,g1), (g1,F,g2 ), (gn,F,G)规定问题集合，其中gi是一个集 合。进一步解答这些问题就等价于解答初始问题。7. 讨论(关键算符的选取)许多问题的求解，常根据从初始到目标必须经过的某些关键状态或操作来分解原始问题的。这种对状 态空间的搜索具有决定性作用的关键算符可被用作辨别问题归约过程中的路标。二、问题归约法( Problem Reduction)8. 例子(梵塔问题)简化问题：金

54、片3个，从第1根针上移到第3根针上。状态空间法，状态空间 图包含33=27个状态，2*3*3=18种操作；(对于64个金片，有364=3.4*1030个状态，2*3*64=384种 操作)问题归约法(1)分析：将问题归约为3个简单子问题把金片A、B移至第2根针上(双金片 问题)把金片C移至第3根针上(单金片问题，关键操作)把金片A、B移至第3根针上(双金片问 题)这样，3阶梵塔问题=2阶梵塔问题+单步操作。(2)问题描述：用包含两个数列的表来描述，每 个数列有3个数，按照顺序分别表示金片A、B、C所在的针的位置。二、问题归约法( Problem Reduction)(3)问题归约图类似地，高阶

55、梵塔问题也可以通过降阶来处理。三、语义网络表示法(Semantic network)回到基于图的表示法 car vehicleisawheelshaspart1. 定义语义网络:用语言学的符号和表达式描述 对象之间的关系。它是知识的一种图解表示，由节点以及连接节点的弧(链)组成。节点-表示实体、 概念和情况弧-表示节点间的关系(语义关系)2.二元语义网络的表示表示形式:节点一一弧一一节 点(一根链)_三、语义网络表示法(Semantic network)节点特殊选择节点不应只局限于表示概念、实体、还可表示动作。语义基元的选择在知识表示中， 通常对有关一个物体或概念，或一组有关的物体或概念的知识

56、用一个语义网络表示出来，否则会造成 过多的网络使问题求解变得更复杂。回到基于图的表示法三、语义网络表示法(Semantic network)解决方法：寻找与此相关的基本概念或基本弧，即选择语义基元问题，基元描述基本知识。这种方式 可用简单的知识表达更多复杂的知识。3.多元语义网络的表示若用语义网络表示多元关系的事实， 扩大语义网络表达知识的能力，须在语义网络中研究出相应的表达多元关系复杂知识的方法。1977 年Hendix提出分块化技术。它是把一个多元关系转化为一组二元关系的组合(或二元关系的合取)。 R(X1，X2，Xn)R1(X11，X12) R2(X21，X22) Rn(Xn1，Xn2)

57、例如：“两个学校篮球队在某方进行了一 场比赛，比分88比74”其语义网络表示为三、语义网络表示法(Semantic network)4. 语义网络的推理过程(两种)语义网络知识表达方法，没有形式语义，即对给定的表达结构表示什么 语义没有统一的表示法，赋予网络结构的含义完全决定于管理这个网络过程的特性。三、语义网络表示法(Semantic network(1) 继承继承一一把对事物的描述从概念节点或类节点传递到实例节点。特点：这种推理过程类似于人的思维过程。一旦知道了某事物的性质特征以后可以联想起很多关于 这类事物的一般描述。继承过程种类(三种) “值”继承。通过is-a链直接的表示出类的成员关

58、系以及子类和类之间的关系，提供了一种把知识 从某一层传递到另一层的途径。 “如果需要”继承。当不知道槽值时，可利用已知信息和if-needed侧面来计算。三、语义网络表示法(Semantic network例如：brick12的weight槽值原来是空的。通过is-a、AKO链找到一个过程brick12bricktoy bricks， 再利用toy bricks的(if-needed)侧面中存储的计算weight的程序，根据brick12的volume和density信 息，计算出weight并存入brick12的weight槽值中。”默认“继承。我们把这种具有相当程度的真 实性，但又不能十分

59、肯定的值称为”默认“值。这种类型的值被放入槽的default (默认)侧面中。 三、语义网络表示法(Semantic network(2) 匹配匹配一一对由几部分组成的事物，解决不同部分节点间的关系。区别继承：同一部分中 类和实例节点间的关系匹配：不同部分节点之间的关系例如：有两个结构相同的玩具房，房中有两个 部件，brick和wedge。一旦在两个玩具房之间放上is-a链，就可以进行部件的匹配，知道brick1支撑 wedge18。三、语义网络表示法(Semantic network5. 语义网络表示法的特点 自然性强。表达直观，继承性符合人类自然推理方式。 联想性强。将与实体相关的事实、属

60、性和关系通过相应节点的弧线推导出来，体现出以联想方式实 现对系统的解释。 推理效率高。对等同事物采用结构化表示，易于受访，搜索效率高。 有效性差。语义解释依赖推理过程而没有结构的约定，因而推理的有效性不高 清晰性差。语义网络中节点的联系可能是线状的、树状的、网状的、递归状的，导致检索的过程变 得复杂。其他的各种知识表示法谓词逻辑表示法(Predicate Logic)产生式规则表示法(Production Rule)框架表示法(Frame)过程性表示法不确定性知识表示法四、谓词逻辑表示法( Predicate Logic)1.命题逻辑(预备知识)命题：是一个具有真、假意义的断言、陈述句。用大写

61、英文字母表示，如P、Q。例如：“月亮是行星”(用P表示)，“31”(用Q表示)，等。命题逻辑：研究命题及其间关系的符号逻辑。命题为“真”时，用“T”表示，为“假”时，用乍” 表示。常用联结词“”：否定联结词。P表示非P“”：合取联结词。如P Q表示“P与Q”“”：析取联结词。如P Q表示“P或Q”“一”条件联结词。如P -Q读作“若P,则Q”双条件联结词。P OQ读作“P当且仅当Q”。P,Q互为条件。合式公式：能用字符书写的公式(如:原子命题或复合命题)。四、谓词逻辑表示法(Predicate Logic)回到其他的表示法蕴含：若合式公式为条件式P -Q,且值恒为真时，则称P蕴含Q。用P Q表

62、示等价：P OQ恒为真时，P与Q等价，示为PQ2.谓词逻辑命题逻辑的处理方法只对研究命题间的 关系是合适的，而对深入研究命题内部的成分、结构和逻辑特征时，命题逻辑就暴露出局限性。于是 发展了基于命题中的谓词分析的一种逻辑。定义：基于命题中的谓词分析的一种逻辑叫谓词逻辑。 结构一般格式：(谓词)(个体一常量符号，变量符号，函数符号).谓词一一用来刻画个体的性质 或关系。用大写字母开头；个体一一是指可以独立存在的事物。用小写字母开头；四、谓词逻辑表示法(Predicate Logic)(3) 用谓词逻辑表示知识表示问题状态的事实，可用一个或若干个合式谓词公式的合取描述。求解 问题推理用规则，用含有

63、量词的复合谓词公式表示。全称量词“xp(x)为T”表示“对于个体域中所有个体x，谓词p(x)均为真。”存在量词“xp(x)为T”表示“在个体域中存在某个体使谓词p(x)为真。” 例1 Line( “房北线”，房山，北郊,500KV).例2 Line_cb( “房北线”，“5311” ). 一组谓词公式的合 取 CB_property( “5311”，“断开”，“5311-2”，“5311-4”).或表示成 Line_cb(“房北线”，“5311”). 八CB_property(“5311”，“断开” ,“5311-2”，“5311-4”).例3描述一条规则：任意断开的断路器处于备 用状态。x E(x，线路开关)AyMatch(y,“断开”)八State(x,y) Backup(x) 四、谓词逻辑表示法( Predicate Logic) 回到其他的表示法知识单元为了提高推理效率，常把有关某一事物的各种知识都集中起来，组成一个复杂的结构，称为知识单元 (Knowledge Units)。例如：Give(liming，wangli，present)Occupation