《反馈神经网络》ppt.ppt

反馈神经网络,5反馈神经网络,Hopfield网络分为离散型和连续型两种网络模型，分别记作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)，本章重点讨论前一种类型。,根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关。,美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络，后来人们将这种反馈网络称作Hopfield网。,5.1.1网络的结构与工作方式,离散型反馈网络的拓扑结构,5.1离散型Hopfield神经网络,(1)网络的状态DHNN网中的每个神经元都有相同的功能，其输出称为状态，用xj表示。,j=1,2,n,所有神经元状态的集合就构成反馈网络的状态X=x1,x2,xnT,反馈网络的输入就是网络的状态初始值，表示为X(0)=x1(0),x2(0),xn(0)T,反馈网络在外界输入激发下，从初始状态进入动态演变过程，变化规律为,j=1,2,n(5.1),DHNN网的转移函数常采用符号函数,式中净输入为,j=1,2,n(5.2),对于DHNN网，一般有wii=0，wij=wji。,反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出，表示为,(2)网络的异步工作方式,(5.3),(3)网络的同步工作方式网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即,j=1,2,n(5.4),网络运行时每次只有一个神经元j进行状态的调整计算，其它神经元的状态均保持不变，即,5.1.2.1网络的稳定性,DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，若能经有限次递归后，其状态不再发生变化，即X(t+1)X(t)，则称该网络是稳定的。,如果网络是稳定的，它可以从任一初态收敛到一个稳态：,5.1.2网络的稳定性与吸引子,若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络。,如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌。,网络达到稳定时的状态X，称为网络的吸引子。,如果把问题的解编码为网络的吸引子，从初态向吸引子演变的过程便是求解计算的过程。,若把需记忆的样本信息存储于网络不同的吸引子，当输入含有部分记忆信息的样本时，网络的演变过程便是从部分信息寻找全部信息，即联想回忆的过程。,定义5.1若网络的状态X满足X=f(WX-T)则称X为网络的吸引子。,5.1.2.2吸引子与能量函数,定理5.1对于DHNN网，若按异步方式调整网络状态，且连接权矩阵W为对称阵，则对于任意初态，网络都最终收敛到一个吸引子。,定理5.1证明：,定义网络的能量函数为：,(5.5),令网络的能量改变量为E，状态改变量为X，有,(5.6),(5.7),5.1.2.2吸引子与能量函数,将式(5.4)、(5.6)代入(5.5)，则网络能量可进一步展开为,(5.8),将代入上式，并考虑到W为对称矩阵，有,(5.9),上式中可能出现的情况：,情况a：xj(t)=-1,xj(t+1)=1,由式(5.7)得xj(t)=2,由式(5.1)知，netj(t)0，代入式(5.9)，得E(t)0。,情况b：xj(t)=1,xj(t+1)=-1,所以xj(t)=-2,由式(5.1)知，netj(t)<0，代入式(5.9)，得E(t)P，则权值矩阵为记忆样本的外积和,(5.16),5.1.3网络的权值设计,若取wjj=0，上式应写为,(5.17),式中I为单位矩阵。上式写成分量元素形式，有,(5.18),下面检验所给样本能否称为吸引子。,因为P个样本Xp，p=1,2,P，x-1,1n是两两正交的，有,因为n>P，所以有,可见给定样本Xp，p=1,2,P是吸引子。,