数学建模神经网络算法学习教案

《数学建模神经网络算法学习教案》由会员分享，可在线阅读，更多相关《数学建模神经网络算法学习教案（203页珍藏版）》请在装配图网上搜索。

1、会计学1数学数学(shxu)建模神经网络算法建模神经网络算法第一页，共203页。第1页/共203页第二页，共203页。n应用案例（MATLAB计算）第2页/共203页第三页，共203页。络进行抽象，并建立某种简化络进行抽象，并建立某种简化模型，就称为人工神经网络模型，就称为人工神经网络（Artificial Neural Network，缩，缩写写 ANN）。）。n对人类大脑系统的一阶特性的对人类大脑系统的一阶特性的一种描述。一种描述。n（生理角度（生理角度(jiod)的模拟）的模拟）第3页/共203页第四页，共203页。出。出。第4页/共203页第五页，共203页。第5页/共203页第六页，

2、共203页。第6页/共203页第七页，共203页。对应的另一部分对应的另一部分第7页/共203页第八页，共203页。第8页/共203页第九页，共203页。输输 入入 样样 本本 神神 经经 网网 络络 输输 出出 样样 本本 自自 动动 提提 取取 非非 线线 性性 映映 射射 规规 则则（2）非线性映射）非线性映射(yngsh)功功能能第9页/共203页第十页，共203页。n可以作为多维非线性函数的通可以作为多维非线性函数的通用数学模型。该模型的表达是用数学模型。该模型的表达是非解析的，输入输出数据之间非解析的，输入输出数据之间的映射规则由神经网络在学习的映射规则由神经网络在学习阶段自动抽取

3、并分布式存储在阶段自动抽取并分布式存储在网络的所有连接中。网络的所有连接中。n具有非线性映射功能的神经网具有非线性映射功能的神经网络应用十分广阔，几乎涉及所络应用十分广阔，几乎涉及所有领域。有领域。第10页/共203页第十一页，共203页。（3）分类与识别）分类与识别(shbi)功能功能 传统分类能力传统分类能力 ANN 分类能力分类能力第11页/共203页第十二页，共203页。n但客观世界中许多事物（例如，但客观世界中许多事物（例如，不同的图象、声音、文字等等）不同的图象、声音、文字等等）在样本空间上的区域分割曲面在样本空间上的区域分割曲面是十分复杂的，相近的样本可是十分复杂的，相近的样本可

4、能能(knng)属于不同的类，而远属于不同的类，而远离的样本可能离的样本可能(knng)同属一类。同属一类。n神经网络可以很好地解决对非神经网络可以很好地解决对非线性曲面的逼近，因此比传统线性曲面的逼近，因此比传统的分类器具有更好的分类与识的分类器具有更好的分类与识别能力。别能力。第12页/共203页第十三页，共203页。（4）优化计算）优化计算(j sun)功能功能第13页/共203页第十四页，共203页。n这种优化计算不需要对目标函数求导，其这种优化计算不需要对目标函数求导，其结果是网络自动给出的。结果是网络自动给出的。第14页/共203页第十五页，共203页。 问问 题题 解解 答答 知

5、知 识识 分分 布布 式式 表表 示示 由由 同同 一一 知知 识识 获获 取取 、 知知 识识 库库 神神 经经 网网 平平 行行 推推 理理 络络 实实 现现 输输 入入 数数 据据 变变 量量 变变 换换 求求 解解 的的 问问 题题 神神 经经 网网 络络 专专 家家 系系 统统 的的 构构 成成（5）知识处理）知识处理(chl)功能功能第15页/共203页第十六页，共203页。n能够在没有任何先验知识的情能够在没有任何先验知识的情况下自动从输入数据中提取特况下自动从输入数据中提取特征，发现规律，并通过自组织征，发现规律，并通过自组织过程将自身构建成适合于表达过程将自身构建成适合于表达

6、所发现的规律。所发现的规律。n另一方面，人的先验知识可以另一方面，人的先验知识可以大大提高神经网络的知识处理大大提高神经网络的知识处理能力，两者相结合会使神经网能力，两者相结合会使神经网络智能得到进一步提升。络智能得到进一步提升。第16页/共203页第十七页，共203页。神经网络的发展历程经过了神经网络的发展历程经过了4个阶段。个阶段。（1） 启蒙期（启蒙期（1890-1969年）年）1890年，发表专著心理学，讨论了脑的结构和功能年，发表专著心理学，讨论了脑的结构和功能(gngnng)。1943年，心理学家和数学家提出了描述脑神经细胞动作的数学模型，即年，心理学家和数学家提出了描述脑神经细胞

7、动作的数学模型，即M-P模型（第一个神经网络模型）。模型（第一个神经网络模型）。1949年，心理学家年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。学习法则。1958年，提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（年，提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（Perceptron）。）。1962年，年，Widrow和和Hoff提出了自适应线性神经网络，即提出了自适应线性神经网络，即

8、Adaline网络，并提出了网络学习新知识的方法，即网络，并提出了网络学习新知识的方法，即Widrow和和Hoff学习规则（即学习规则（即学习规则），并用电路进行了硬件设计。学习规则），并用电路进行了硬件设计。3. 神经网络的发展(fzhn)历史第17页/共203页第十八页，共203页。1972KohonenSOM模型。模型。第18页/共203页第十九页，共203页。第19页/共203页第二十页，共203页。第20页/共203页第二十一页，共203页。第21页/共203页第二十二页，共203页。第22页/共203页第二十三页，共203页。（1）信息）信息(xnx)的产生的产生 神经元间信息的产

9、生、传递和处理是一种神经元间信息的产生、传递和处理是一种(y zhn)电化学活动。电化学活动。神经元状态神经元状态膜电位膜电位第23页/共203页第二十四页，共203页。第24页/共203页第二十五页，共203页。（2）信息的传递）信息的传递(chund)与接收与接收第25页/共203页第二十六页，共203页。（3）信息）信息(xnx)的整合的整合第26页/共203页第二十七页，共203页。节点本身的信息处理能力节点本身的信息处理能力(数学数学模型模型)节点与节点之间连接节点与节点之间连接(拓扑拓扑(tu p)结构结构)相互连接的强度相互连接的强度(通过学习来调通过学习来调整整)决定人工神经网

10、络整体决定人工神经网络整体(zhngt)性能的三大要素性能的三大要素第27页/共203页第二十八页，共203页。(1) (1) 每个神经元都是一个多输入单输出每个神经元都是一个多输入单输出(shch)(shch)的信息处理单元；的信息处理单元；(2) (2) 神经元输入神经元输入(shr)(shr)分兴奋性输入分兴奋性输入(shr)(shr)和抑制性输入和抑制性输入(shr)(shr)两种类型；两种类型；(6) (6) 神经元本身神经元本身(bnshn)(bnshn)是非时变的，即其突触时延和突触强度是非时变的，即其突触时延和突触强度 均为常数。均为常数。(3) (3) 神经元具有空间整合特性

11、和阈值特性；神经元具有空间整合特性和阈值特性；(4)(4)神经元输入与输出间有神经元输入与输出间有固定的时滞固定的时滞, , 主要取决于突触延搁；主要取决于突触延搁；(5) (5) 忽略忽略时间整合作用；时间整合作用；模型的六点假设：模型的六点假设：第28页/共203页第二十九页，共203页。第29页/共203页第三十页，共203页。第30页/共203页第三十一页，共203页。第31页/共203页第三十二页，共203页。第32页/共203页第三十三页，共203页。第33页/共203页第三十四页，共203页。第34页/共203页第三十五页，共203页。4.2.1 人工人工(rngng)神经元的数

12、学模型神经元的数学模型)()(jn1iijiijjTtxwftoij 输入输出间的突触时延；输入输出间的突触时延； Tj 神经元神经元j的阈值的阈值(y zh)； wij 神经元神经元i到到 j 的突触连接系数或称权重值；的突触连接系数或称权重值； f ( )神经元转移函数。神经元转移函数。(4. 1)第35页/共203页第三十六页，共203页。值”；n“输入总和”常称为神经元在t时刻的净输入，用下面的式子表示：)()(jn1iiijjTtxwf1to(4. 2)第36页/共203页第三十七页，共203页。n1iiijjtxwttne)()(4.3) netnetj j= =W Wj jT T

13、X X W Wj j=(=(w1 w2 wn) )T T X= X=( (x1 x2 xn) )T T 令令 x0=-1，w0=Tj 则有则有 -Tj=x0w0(4.4)第37页/共203页第三十八页，共203页。(2.3)(2.3)时，常将其中的时，常将其中的(t)(t)省略。省略。式式(2.3)(2.3)还可表示还可表示(biosh)(biosh)为为权重向量权重向量WjWj和输入向量和输入向量X X的点积的点积WTXWTX。其中。其中WjWj和和X X均为列向量，均为列向量，定义为定义为nWj=(w1 w2 wnWj=(w1 w2 wn）T T，X=(x1 X=(x1 x2 xn)Tx2

14、 xn)Tn如果令如果令x0=-1x0=-1，w0=Tjw0=Tj，则有，则有- -Tj=x0w0Tj=x0w0，因此净输入与阈值之，因此净输入与阈值之差可表达为差可表达为: :第38页/共203页第三十九页，共203页。XWTjn0iiijjjjxwnetTtne() oj=f(netj)=f (W Wj jT TX X)()综合以上综合以上(yshng)各式，神经元模型可简化为：各式，神经元模型可简化为：第39页/共203页第四十页，共203页。第40页/共203页第四十一页，共203页。(1)阈值(y zh)型转移函数 1 x0f(x)= (4.7) 0 x0 f (x) 1.0 x0单

15、位阶跃函数(hnsh)，也称为硬限幅函数(hnsh)第41页/共203页第四十二页，共203页。(2)非线性转移(zhuny)函数xe11f(x)xxxe1e11e12f(x) f (x) 1.0 0.5x0 f (x) 1.0 0 x-1.0第42页/共203页第四十三页，共203页。第43页/共203页第四十四页，共203页。(3)分段线性转移(zhuny)函数 0 x0f(x)= cx 0 0 xxc (4.9) 1 xc x f (x) 1.0 x0 xcl神经元的输入与输出在一定区间内满足线性关系，模拟了实际(shj)系统中的饱和特性l也称为伪线性函数第44页/共203页第四十五页，

16、共203页。(4)概率型转移(zhuny)函数x/Te11P(1)温度温度(wnd)参数参数采用概率型转移函数的神经元模型其输入与输出之间的关系是不确定的，需用一个随机函数来描述输出状态为采用概率型转移函数的神经元模型其输入与输出之间的关系是不确定的，需用一个随机函数来描述输出状态为1 1或为或为0 0的概率。的概率。上式中，上式中，T T称为温度参数。由于采用该转移函数的神经元输出状态分布与热力学中的玻尔兹曼（称为温度参数。由于采用该转移函数的神经元输出状态分布与热力学中的玻尔兹曼（BoltzmannBoltzmann）分布类似，因此这种神经元模型也称为热力学模型。）分布类似，因此这种神经元

17、模型也称为热力学模型。第45页/共203页第四十六页，共203页。点点第46页/共203页第四十七页，共203页。第47页/共203页第四十八页，共203页。第48页/共203页第四十九页，共203页。息经进一步处理后即完成一次信息处理，由输出层向外界输出信息处理结果。n层次型网络结构有3种典型的结合方式。第49页/共203页第五十页，共203页。 (1)(1)单纯单纯(dnchn)(dnchn)型层次网络结构型层次网络结构神经元分层排列，各层神经元接收神经元分层排列，各层神经元接收(jishu)前一层输入并输出到下一层；前一层输入并输出到下一层；层内神经元自身以及神经元之间不存在连接通路。层

18、内神经元自身以及神经元之间不存在连接通路。第50页/共203页第五十一页，共203页。 （2）输出）输出(shch)层到输入层有连接层到输入层有连接输入层神经元既可接收输入，也具有输入层神经元既可接收输入，也具有(jyu)信息处理功能信息处理功能第51页/共203页第五十二页，共203页。 层次层次(cngc)型模型型模型（3）层内有连接层次）层内有连接层次(cngc)型结构型结构同一层内神经元有互连；同一层内神经元有互连；特点是在同一层内引入神经元间的侧向作用特点是在同一层内引入神经元间的侧向作用(zuyng)，使得能同时激活的神经元个数可控，以实现各层神经元的自组织。，使得能同时激活的神经

19、元个数可控，以实现各层神经元的自组织。第52页/共203页第五十三页，共203页。 互联型网络结构互联型网络结构 网络中任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的互连程度将互连型网络结构细分为三种网络中任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的互连程度将互连型网络结构细分为三种(sn zhn)情况：情况：(1)(1)全互连型：网络中的每个节点全互连型：网络中的每个节点(ji din)(ji din)均与所均与所有其它节点有其它节点(ji din)(ji din)连接连接第53页/共203页第五十四页，共203页。 互联型网络结构互联型网络结构（2 2）局部）

20、局部(jb)(jb)互连型网络结构互连型网络结构网络中的每个节点只与其网络中的每个节点只与其(yq)(yq)邻近的节点有邻近的节点有 连接连接（3 3）稀疏连接型：）稀疏连接型：网络网络(wnglu)(wnglu)中的中的节点只与少数相距节点只与少数相距较远的节点相连较远的节点相连 第54页/共203页第五十五页，共203页。第55页/共203页第五十六页，共203页。x1x2xno1o2omwnmw11w1mw2mwn1输出输出层层输入层输入层第56页/共203页第五十七页，共203页。第57页/共203页第五十八页，共203页。输出输出层层x1o1w11w1mx2o2w2mxnomwn1输

21、入层输入层V第58页/共203页第五十九页，共203页。nO(t+1)=F(NET(t+1)O(t+1)=F(NET(t+1)nO O（0 0）=0=0第59页/共203页第六十页，共203页。输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn第60页/共203页第六十一页，共203页。输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn第61页/共203页第六十二页，共203页。输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn第62页/共203页第六十三页，共203页。输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)多

22、级网多级网第63页/共203页第六十四页，共203页。输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)第64页/共203页第六十五页，共203页。第65页/共203页第六十六页，共203页。x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn第66页/共203页第六十七页，共203页。n当变化最后消失时，网络达到了平衡状态。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不如果这种变化不能消失，则称该网络是不稳定的。稳定的。第67页/共203页第六十八页，共203页。第68页/共203页第六十九页，共203页。 （1）

23、前馈型网络）前馈型网络(wnglu)前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行(jnxng)而得名第69页/共203页第七十页，共203页。第70页/共203页第七十一页，共203页。第71页/共203页第七十二页，共203页。 （二）网络信息（二）网络信息(xnx)流向类型流向类型（2）反馈）反馈(fnku)型网络型网络在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入在反馈网络中所有节点都具有信息处理功能，而且每个节点既可以从外界接收输入(shr)，同时又可以向外界输出。，同时又可以向外界输出。第72页/共203页第七十三页，共203页。第73页/

24、共203页第七十四页，共203页。n改变权值的规则称为学习规则改变权值的规则称为学习规则或学习算法（亦称训练规则或或学习算法（亦称训练规则或训练算法）。训练算法）。n在单个处理单元层次，无论采在单个处理单元层次，无论采用哪种学习规则进行调整，其用哪种学习规则进行调整，其算法都十分简单。但当大量处算法都十分简单。但当大量处理单元集体进行权值调整时，理单元集体进行权值调整时，网络就呈现出网络就呈现出“智能智能”特性，其特性，其中有意义的信息就分布地存储中有意义的信息就分布地存储(cn ch)在调节后的权值矩阵在调节后的权值矩阵中。中。第74页/共203页第七十五页，共203页。第75页/共203页

25、第七十六页，共203页。第76页/共203页第七十七页，共203页。第77页/共203页第七十八页，共203页。 w0 j -1 w1 j x1 X wij j oj xj xn wn j Wj r (Wj , X ，dj) 学 习 信 号 X 生 成 器 dj )()()()(ttd,t,trjjjXXWW)()()()()()(ttd ,t,trt1tjjjjXXWWW第78页/共203页第七十九页，共203页。4.2.3 神经网络学习神经网络学习(xux)常 用 学 习 规 则 一 览 表 权 值 调 整 学 习 规 则 向 量 式 元 素 式 权 值 初 始 化 学 习 方 式 转 移

26、 函 数 Hebbian XXWW)(Tjjf i)(xfwTjijXW 0 无 导 师 任 意 Perceptron XXWW)(Tjjjsgn-d i)(xsgn-dwTjjijXW 任 意 有 导 师 二 进 制 Delta XW)()(jjjjnetf-od ijjjijxnetf-odw)()( 任 意 有 导 师 连 续 W idrow-Hoff XXWW)(Tjjj-d iTjjijx-dw)(XW 任 意 有 导 师 任 意 相 关 XWjjd ijijxdw 0 有 导 师 任 意 W inner-take-all )(mmWXW )(iimmwx W 随 机 、 归一 化

27、无 导 师 连 续 Outstar )(jjWdW )(kjkkjwdw 0 有 导 师 连 续 第79页/共203页第八十页，共203页。x2 w2 fo=f（net）xn wnnet=XWx1 w1输入：输入： X= X=（x1x1，x2x2，xnxn）联接联接(lin ji)(lin ji)权：权： W= W=（w1w1，w2w2，wnwn）T T网络输入：网络输入： net=xiwi=XW net=xiwi=XW 输出：输出： o=f o=f（netnet）第80页/共203页第八十一页，共203页。敛算法，并能从数学上严格证明，因而对神经网络研究起了重要推动作用。第81页/共203页

28、第八十二页，共203页。第82页/共203页第八十三页，共203页。感知器模型感知器模型(mxng) o1 oj om W1 Wj Wm x1 x2 xi xnl 最早也是最简单的一种神经网最早也是最简单的一种神经网络，它的神经元激发函数为阶跃络，它的神经元激发函数为阶跃函数，函数，l 主要主要(zhyo)用于分类用于分类感知器神经元感知器神经元第83页/共203页第八十四页，共203页。j=1,2,m Tni21,.,x,.x,xx)(XTmi21,.,o,.o,oo)(OTnjijj2j1j,.,w,.w,ww)(W第84页/共203页第八十五页，共203页。净输入净输入(shr)：输出输

29、出(shch)：n1iiijjxwnet)()()(XWTjn0iiijjjjsgnxwsgnTnetsgno 令令 x0=-1，w0=Tj 则有则有 -Tj=x0w0第85页/共203页第八十六页，共203页。(1)(1)设输入设输入(shr)(shr)向量向量X=(x1 ,x2)TX=(x1 ,x2)T0Txwxw10Txwxw1oj2j21j1j2j21j1j输出输出(shch)：则由方程则由方程 wijx1+w2jx2-Tj=0 确定确定(qudng)了二维平面上的一条分界线了二维平面上的一条分界线ojx1-1x2第86页/共203页第八十七页，共203页。 x1 * * * * O

30、* * O * * O O * O x2 * * O O O O第87页/共203页第八十八页，共203页。0TjXW0TjXW x1 * * * * O * * O * * O O * O x2 * * O O O O0TjXW0TjXW0TjXW0TjXW第88页/共203页第八十九页，共203页。 x1 * * * * O * * O * * O O * O x2 * * O O O Ol线上方的样本用*表示(biosh)，它们使netj0，从而使输出为1；线下方的样本用o表示(biosh)，它们使netj0，从而使输出为1；线下方的样本用o表示，它们使netj0，从而使输出为-1。l显

31、然，由感知器权值和阈值确定的直线方程规定了分界(fn ji)平面在样本空间的位置，从而也确定了如何将输入样本分为两类。l假如分界(fn ji)平面的初始位置不能将*类样本同o类样本正确分开，改变权值和阈值，分界(fn ji)平面也会随之改变，因此总可以将其调整到正确分类的位置。第92页/共203页第九十三页，共203页。(3) (3) 设输入设输入(shr)(shr)向量向量X=(x1X=(x1，x2,x2,，xn)Txn)T则由方程则由方程 wijx1+w2jx2+wnj Tj=0 确定确定(qudng)了了n维空间上的一个分界平面维空间上的一个分界平面(超平面），该平面可以将输入样本分为两

32、类超平面），该平面可以将输入样本分为两类输出输出：wijx1+w2jx2+wnj Tj=0 第93页/共203页第九十四页，共203页。一个最简单的单计算节点感知器具有分类功一个最简单的单计算节点感知器具有分类功能。能。其分类原理是将分类知识存储于感知器的权其分类原理是将分类知识存储于感知器的权向量（包含了阈值）中，由权向量确定的分向量（包含了阈值）中，由权向量确定的分类判决界面将输入类判决界面将输入(shr)(shr)模式分为两类。模式分为两类。第94页/共203页第九十五页，共203页。x1x2y000010100111逻辑逻辑“与与”真值表真值表从真值表中可以看出，4个样本的输出(shc

33、h)有两种情况，一种使输出(shch)为0，另一种使输出(shch)为1，因此属于分类问题。第95页/共203页第九十六页，共203页。例一例一 用感知器实现逻辑用感知器实现逻辑(lu (lu j)“j)“与与”功能功能感知器结构感知器结构(jigu)和训练结果和训练结果 x1 0.5 0.5 y x2 0.75 -1wix1+w2x2 -T=0 12-0.75=0用单计算节点感知器实现，用感知器学习规则进行(jnxng)训练，得到的连接权值如右图第96页/共203页第九十七页，共203页。x1x2y000011101111逻辑逻辑“或或”真值表真值表第97页/共203页第九十八页，共203页

34、。例二 用感知器实现(shxin)逻辑“或”功能感知器结构感知器结构 x1 1 1 y x2 0.5 -1wix1+w2x2 -T=0 x1+x2=0第98页/共203页第九十九页，共203页。0TjXW第99页/共203页第一百页，共203页。问题：能否问题：能否(nn fu)用感知器实现用感知器实现“异或异或”功功能？能？“异或异或”的真值表的真值表x1x2y000011101110 x1 O O x24个样本也分为两类，但任何直线也不可能把两类样本分开；如果两类样本可以用直线、平面或超平面分开，称为线性可分，否则为线性不可分；由感知器分类(fn li)的几何意义可知，由于净输入为零确定的

35、分类(fn li)判决方程是线性方程，因而它只能解决线性可分问题而不可能解决线性不可分问题。由此可知，单计算层感知器的局限性是仅对线性可分问题具有分类(fn li)能力。第100页/共203页第一百零一页，共203页。0TjXW第101页/共203页第一百零二页，共203页。式中，当实际输出与期望值相同时，权值不需要式中，当实际输出与期望值相同时，权值不需要(xyo)调整。感知器学习规则代表一种有导师学习。调整。感知器学习规则代表一种有导师学习。第102页/共203页第一百零三页，共203页。感知器学习感知器学习(xux)规则的训练步骤：规则的训练步骤：(1) 对各权值对各权值w0j(0),w

36、1j(0),wnj(0)，j=1, 2,m （m为计算层的节点为计算层的节点(ji din)数）赋予较小的非零随机数；数）赋予较小的非零随机数；(2) 输入输入(shr)样本对样本对Xp,dp，其中，其中Xp=(-1,x1p,x2p,xnp)， dp为期望的输出向量（教师信号），上标为期望的输出向量（教师信号），上标p代表代表 样本对的模式序号，设样本集中的样本总数为样本对的模式序号，设样本集中的样本总数为P， 则则p=1,2,P；第103页/共203页第一百零四页，共203页。感知器学习感知器学习(xux)规则的训练步骤：规则的训练步骤：(3)计算各节点计算各节点(ji din)的实际输出的

37、实际输出ojp(t)=sgnWjT(t)Xp, j=1,2,.,m；(4)调整各节点对应的权值，调整各节点对应的权值，Wj(t+1)= Wj(t)+djp-ojp(t)Xp, j=1, 2,m, 其中其中为学习率，用于控制调整速度，太大会影响训练为学习率，用于控制调整速度，太大会影响训练(xnlin)的稳定性，太小则使训练的稳定性，太小则使训练(xnlin)的收敛速度变慢，的收敛速度变慢， 一般取一般取01；(5)返回到步骤返回到步骤(2)输入下一对样本，周而复始直到对所有输入下一对样本，周而复始直到对所有 样本，感知器的实际输出与期望输出相等。样本，感知器的实际输出与期望输出相等。感知器的学

38、习算法感知器的学习算法第104页/共203页第一百零五页，共203页。第105页/共203页第一百零六页，共203页。例三例三 单计算节点感知器，单计算节点感知器，3 3个输入。给定个输入。给定3 3对训练样本对如下：对训练样本对如下：X1 = (-1，1，-2，0)T d1 = 1X2 = (-1，0，1.5，-0.5)T d2 = 1X3 = (-1，-1，1，0.5)T d3 =1 设初始设初始(ch sh)权向量权向量W(0)=(0.5,1,-1,0)T，。，。注意：输入向量中第一个分量注意：输入向量中第一个分量x0恒等于恒等于-1，权向量中第一个分量为阈值，权向量中第一个分量为阈值试

39、根据以上学习规则训练该感知器。试根据以上学习规则训练该感知器。感知器的学习感知器的学习(xux)算法算法第106页/共203页第一百零七页，共203页。解：第一步解：第一步 输入输入(shr)X1(shr)X1，得，得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T o1(0)=sgn()=1 o1(0)=sgn()=1 W(1)= W(0)+d1- o1(0) X1 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T =(0.7,0.8,-0.6,0)T感知器的学习感知器的学习(xux)

40、算法算法第107页/共203页第一百零八页，共203页。第二步第二步 输入输入(shr)X2(shr)X2，得，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T o2(1)=sgn()=-1 o2(1)=sgn()=-1 W(2)= W(1)+d2- o2(1) X2 =(0.7,0.8,-0.6,0)T+0.1-1-(-1)(-1,0,1.5,-0.5)T =(0.7,0.8,-0.6,0)T由于由于(yuy)d2= o2(1)，所以，所以W(2)= W(1)。感知器的学习感

41、知器的学习(xux)算法算法第108页/共203页第一百零九页，共203页。第三步第三步 输入输入(shr)X3(shr)X3，得，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T O3(2)=sgn(-2.1=-1 O3(2)=sgn(-2.1=-1W(3)= W(2)+d3- o3(2) X3 =(0.7,0.8,-0.6,0)T+0.11-(-1)(-1,-1,1,0.5)T =(0.5,0.6,-0.4,0.1)T第四步第四步 返回到第一步，继续训练返回到第一步，继续训练(xn

42、lin)(xnlin)直到直到dp- op=0dp- op=0，p=1,2,3p=1,2,3。感知器的学习感知器的学习(xux)算法算法第109页/共203页第一百一十页，共203页。 x1 O O x2第110页/共203页第一百一十一页，共203页。n只能解决线性可分问题(wnt)“异或异或”的真值表的真值表x1x2y000011101110第111页/共203页第一百一十二页，共203页。第112页/共203页第一百一十三页，共203页。 o T3 y1 y2-1 w1 1 w2 1 w2 2 T1 T2 w12-1 x1 x2 双层感知器双层感知器 x1 S1 O S2 O x2“异或

43、异或”问题分类问题分类例四例四 用两计算层感知器解决用两计算层感知器解决(jiju)“(jiju)“异或异或”问题。问题。“异或异或”的真值表的真值表x1 x2y1 y2 o 0 01 1 00 11 011 00 111 11 1 0具有单隐层的感知器，其中隐层的两个节点相当于两个独立(dl)的符号单元（单计算节点感知器）两个符号单元可分别(fnbi)在x1、x2平面上确定两条分界直线S1和S2，从而构成上图所示的开放式凸域第113页/共203页第一百一十四页，共203页。第114页/共203页第一百一十五页，共203页。第115页/共203页第一百一十六页，共203页。n通过训练调整凸域的

44、形状，可将两类线性不可分样本分为域内和域外。输出层节点负责将域内外的两类样本进行分类。n单隐层节点数量增加可以使多边形凸域的边数增加，从而在输出层构建出任意形状的凸域。如果在此基础上再增加第二个隐层，则该层的每个节点确定一个凸域，各种凸域经输出层节点组合后成为任意形状。第116页/共203页第一百一十七页，共203页。 (a)开域 (b)闭域 如图，由凸域组合成任意形状后，意味着双隐层的分类能力比单隐层大大提高。分类问题越复杂(fz)，不同类别样本在样本空间的布局越趋于犬牙交错，因而隐层需要的神经元节点数也越多。Kolmogorov理论指出：双隐层感知器足以解决任何复杂(fz)的分类问题。该结

45、论已经过严格的数学证明。第117页/共203页第一百一十八页，共203页。 感知器结构 异或问题 复杂问题 判决域形状 判决域 无隐层 半平面 单隐层 凸 域 双隐层 任意复杂 形状域具有不同具有不同(b tn)隐层数的感知器的分类能力对比隐层数的感知器的分类能力对比第118页/共203页第一百一十九页，共203页。第119页/共203页第一百二十页，共203页。第120页/共203页第一百二十一页，共203页。第121页/共203页第一百二十二页，共203页。（1 1）基于）基于BPBP算法算法(sun f)(sun f)的多层前馈网络模型的多层前馈网络模型 o1 ok ol W1 Wk W

46、l y1 y2 yj ym V1 Vm x1 x2 xi xn-1 xn第122页/共203页第一百二十三页，共203页。第123页/共203页第一百二十四页，共203页。)(kknetfo输出层输出层：k=1,2,l (3.4.1)m0jjjkkywnetk=1,2,l (3.4.2)隐层隐层：j=1,2,m (3.4.3)j=1,2,m (3.4.4)(jjnetfyn0iiijjxvnet基于(jy)BP算法的多层前馈网络模型第124页/共203页第一百二十五页，共203页。双极性双极性SigmoidSigmoid函数函数(hnsh)(hnsh)：xxe1e1xf)(单极性单极性Sigm

47、oidSigmoid函数函数(hnsh)(hnsh)：xe11xf)(基于BP算法(sun f)的多层前馈网络模型第125页/共203页第一百二十六页，共203页。一、网络一、网络(wnglu)误差与权值误差与权值调整调整输出误差输出误差(wch)E定义：定义：221E)(Od l1k2kkod21)(将以上误差将以上误差(wch)定义式展开至隐层：定义式展开至隐层：l1k2kknetfd21E)(l1k2m0jjjkkywfd21)(第126页/共203页第一百二十七页，共203页。一、网络误差一、网络误差(wch)与权值调整（续）与权值调整（续）进一步展开进一步展开(zhn ki)至输入层

48、：至输入层：l1k2m0jjjkknetfwfd21E)(l1k2m0jn0iiijjkkxvfwfd21)(由上式可以看出，网络输入误差是各层权值由上式可以看出，网络输入误差是各层权值w wjkjk、v vijij的函数，因此调整权值可改变误差的函数，因此调整权值可改变误差E E。第127页/共203页第一百二十八页，共203页。jkjkwEwj=0,1,2,m; k=1,2,lijijvEvi=0,1,2,n; j=1,2,m式中负号表示梯度式中负号表示梯度(t d)下降，常数下降，常数(0,1)表示比例系数，在训练中反映学习速率。表示比例系数，在训练中反映学习速率。在全部在全部(qunb

49、)推导过程中，对输出层有推导过程中，对输出层有j=0,1,2,m; k=1,2,l 对隐层有对隐层有 i=0,1,2,n; j=1,2,m调整权值的原则显然是使误差不断地减小，因此应使权值的调整量与误差的梯度下降成正比调整权值的原则显然是使误差不断地减小，因此应使权值的调整量与误差的梯度下降成正比第128页/共203页第一百二十九页，共203页。二、二、BPBP算法算法(sun f)(sun f)推导推导对于对于(duy)(duy)输出层，有输出层，有jkkkjkjkwnetnetEwEw对隐层，有对隐层，有ijjjijijvnetnetEvEv对输出层和隐层各定义对输出层和隐层各定义(dng

50、y)(dngy)一个误差信号，令一个误差信号，令 koknetEjyjnetE第129页/共203页第一百三十页，共203页。综上，可将权值调整综上，可将权值调整(tiozhng)(tiozhng)式改写为式改写为同理，隐层的权值调整同理，隐层的权值调整(tiozhng)(tiozhng)式可改写为式可改写为jokjkywiyjijxv可以看出，只要计算出误差信号可以看出，只要计算出误差信号(xnho)(xnho)o o和和y y，权值调整量的计算推导即可完成。下面继续推导如何求误差信号，权值调整量的计算推导即可完成。下面继续推导如何求误差信号(xnho)(xnho)o o和和y y 。第13

51、0页/共203页第一百三十一页，共203页。对于输出对于输出(shch)(shch)层，层， o o可展开为可展开为对于对于(duy)(duy)隐层，隐层， y y可展开为可展开为下面求网络下面求网络(wnglu)(wnglu)误差对各层输出的偏导。误差对各层输出的偏导。)( kkkkkkoknetfoEnetooEnetE)( jjjjjjyjnetfyEnetyyEnetE第131页/共203页第一百三十二页，共203页。对于对于(duy)(duy)输出层，利用式输出层，利用式对于对于(duy)(duy)隐层，利用式隐层，利用式l1k2kkod21E)()(kkkodoE可得：可得：l1k

52、jkkkkjwnetfodyE)()(可得：可得：l1k2m0jjjkkywfd21E)(第132页/共203页第一百三十三页，共203页。将以上结果将以上结果(ji gu)代入，并应用式代入，并应用式xe11xf)()()(kkkkoko1ood得到得到(d do)：)()()(jl1kjkkkkyjnetfwnetfod)()(jjl1kjkok-y1yw第133页/共203页第一百三十四页，共203页。将上述结果代入，得到三层前馈网的将上述结果代入，得到三层前馈网的BPBP学习学习(xux)(xux)算法权值调整计算公式为：算法权值调整计算公式为：jkkkkjokjkyo1oodyw)(

53、)(ijjl1kjkokiyjijxy1ywxv)()(可以看出，BP学习算法中，各层权值调整公式形式上都是一样的，均由3个因素决定，即：学习率、本层输出的误差信号、本层输入信号Y(或X)输出层误差信号与网络的期望输出和实际(shj)输出之差有关，直接反映了输出误差各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。第134页/共203页第一百三十五页，共203页。)(kknetfom0jjjkkywnet)(jjnetfyn0iiijjxvnetxe11xf)(l1k2kkod21E)(l1k2kknetfd21)(l1k2m0jjjkkywfd21)(l1k2m0jj

54、jkknetfwfd21)(l1k2m0jn0iiijjkkxvfwfd21)(koknetEjkkkjkjkwnetnetEwEwijjjijijvnetnetEvEvjyjnetEjokjkywiyjijxv第135页/共203页第一百三十六页，共203页。x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn增加增加(zngji)(zngji)隐藏层数和隐藏层神经元个数不一定总能提高网络精度和表达能力，所以，隐藏层数和隐藏层神经元个数不一定总能提高网络精度和表达能力，所以，BPBP网一般都选用二级网络网一般都选用二级网络第136页/共203页第一百三十七页，共203页。netene

55、tfo11)()1 ()()1 (1)(22ooooeenetfnetnet第137页/共203页第一百三十八页，共203页。第138页/共203页第一百三十九页，共203页。n学习(xux)的过程：n信号的正向传播误差的反向传播将误差将误差(wch)分摊给各层分摊给各层的所有单元的所有单元各层单元各层单元的误差的误差(wch)信号信号修正各单元权修正各单元权值值第139页/共203页第一百四十页，共203页。的权值n网络输出的误差减少到可接受的程度n进行到预先设定的学习次数为止第140页/共203页第一百四十一页，共203页。(2)W(L)(2)W(L)第141页/共203页第一百四十二页，

56、共203页。mjpjpjpoyE1221（4 4） 网络关于整个样本集的误差网络关于整个样本集的误差(wch)(wch)测度：测度：ppEE第142页/共203页第一百四十三页，共203页。1 1、输出、输出(shch)(shch)层权的调整层权的调整wpq= wpq+wpqwpq=qop=fn (netq)(yq-oq)op =oq(1-oq) (yq-oq)op wpqANpANq第第L-1层层第第L层层wpq第143页/共203页第一百四十四页，共203页。2 2、隐藏、隐藏(yncng)(yncng)层权的调整层权的调整ANpANqANhvhppk-11kwp1wpqqkwpmmk第第

57、k-2层层第第k层层第第k-1层层第144页/共203页第一百四十五页，共203页。pk-1的值和的值和1k，2k，mk 有关有关(yugun)不妨认为不妨认为pk-1通过权通过权wp1对对1k做出贡献，通过权做出贡献，通过权wp2对对2k做出贡献，做出贡献， ，通过权，通过权wpm对对mk做出贡献。做出贡献。pk-1 = fk-1(netp) (wp11k+ wp22k+ wpmm k) vhp = vhp+vhp vhp = pk-1ohk-2 =fk-1 (netp)( wp11k+ wp22k+ wpmmk)ohk-2 =opk-1(1-opk-1)( wp11k+ wp22k+ wp

58、mmk)ohk-22 2、隐藏、隐藏(yncng)(yncng)层权的调整层权的调整第145页/共203页第一百四十六页，共203页。接前导层的误差，再用输出层前接前导层的误差，再用输出层前导层误差估计更前一层的误差。导层误差估计更前一层的误差。如此获得所有其它各层的误差估如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵计，并用这些估计实现对权矩阵的修改。形成将输出端表现出的的修改。形成将输出端表现出的误差沿着与输入信号相反的方向误差沿着与输入信号相反的方向逐级向输入端传递的过程逐级向输入端传递的过程第146页/共203页第一百四十七页，共203页。第147页/共203页第一百四十八页

59、，共203页。初始化 V、W、Emin,、q=1，p=1,E=0输入样本，计算各层输出：m21jfyTjj,.,),(XVl21kfoTjk,.,),(YW计算误差： P1pl1k2kkod21E)(计算各层误差信号：l21koo1odkkkk,.,)(okm21jyy1wjjl1kjkokyj,.,)(调整各层权值：m10jl21kjyokjkwjkw,.,.,n10 xm21jxvviyjijij,.,., Y p 增 1,q 增 1 pP？ N N E=0,p=1 EEmin Y 结束BP算法算法(sun f)的程序实的程序实现现(1)初始化； PppPRMEEE11(4)计算各层误差(

60、wch)信号； (5)调整(tiozhng)各层权值； (6)检查是否对所有样本完成一次轮训； (7)检查网络总误差是否达到精度要求。 (2)输入训练样本对X Xp、d dp，计算各层输出；(3)计算网络输出误差；第148页/共203页第一百四十九页，共203页。BP算法算法(sun f)的程序实现的程序实现初始化 V、W计数器 q=1，p=1输入第一对样本计算各层输出计算误差：P1pl1k2kkod21E)( Y p 增 1 pP？ N用 E 计算各层误差信号 调整各层权值 q 增 1 N Erms1 21 net 0第166页/共203页第一百六十七页，共203页。 o 1 =1 1 21

61、 net 0第167页/共203页第一百六十八页，共203页。第168页/共203页第一百六十九页，共203页。第169页/共203页第一百七十页，共203页。n各输入变量之间互不相关或相关性很小1. 1. 输出输出(shch)(shch)、输入量的选择、输入量的选择第170页/共203页第一百七十一页，共203页。第171页/共203页第一百七十二页，共203页。XC=(111100111)T XI=(010010010)T XT=(111010010)T(1)(1)文字符号文字符号(fho)(fho)输入输入第172页/共203页第一百七十三页，共203页。x(t) xn x1 t 0 1

62、 2 3 4 5 n（2）曲线）曲线(qxin)输入输入TpnpipppxxxxX),.,.,(21p=1,2,P第173页/共203页第一百七十四页，共203页。第174页/共203页第一百七十五页，共203页。(1)“(1)“n n中取中取1 1”表示法表示法 “n中取中取1”是令输出向量的分量数等于类别数，输入样本被判为哪一类是令输出向量的分量数等于类别数，输入样本被判为哪一类(y li)，对应的输出分量取，对应的输出分量取1，其余，其余 n-1 个分量全取个分量全取0。 例如，用例如，用0001、0010、0100和和1000可分别表示优、良、中、差可分别表示优、良、中、差4个类别。个

63、类别。(2)“n-1”表示法表示法 如果用n-1个全为0的输出向量表示某个类别，则可以节省一个输出节点(ji din)。例如，用000、001、010和100也可表示优、良、中、差4个类别。(3)(3)数值表示法数值表示法 对于渐进式的分类，可以将语言值转化为二值之间的数值表示对于渐进式的分类，可以将语言值转化为二值之间的数值表示。数值的选择要注意保持由小到大的渐进关系，并要根据实际意。数值的选择要注意保持由小到大的渐进关系，并要根据实际意义拉开距离。义拉开距离。第175页/共203页第一百七十六页，共203页。 归一化也称为或标准化，是指通过变换处理将网络的输入、输出数据限制在0，1或-1，

64、1区间内。归一化的原因：网络的各个输入数据常常具有不同的物理意义和不同的量纲，归一化给各输入分量以同等重要的地位；BP网的神经元均采用Sigmoid转移函数，变换后可防止因净输入的绝对值过大而使神经元输出饱和，继而使权值调整进入误差(wch)曲面的平坦区；Sigmoid转移函数的输出在0-1或-1-1之间。教师信号如不进行归一化处理，势必使数值大的输出分量绝对误差(wch)大，数值小的输出分量绝对误差(wch)小。第176页/共203页第一百七十七页，共203页。将输入输出数据变换为将输入输出数据变换为00，11区间的值常用以下变换式区间的值常用以下变换式minmaxminxxxxxii其中，

65、xI代表输入或输出数据，xmin代表数据变化的最小值，xman代表数据的最大值。将输入输出数据变换为将输入输出数据变换为-1-1，11区间的值常用以下变换式区间的值常用以下变换式2minmaxxxxmid)(minmax21xxxxxmidii其中，xmid代表数据变化范围的中间值。第177页/共203页第一百七十八页，共203页。网络的性能网络的性能(xngnng)好坏主要看其是否具有很好的泛化能力，对泛化能力的测试不能用训练集的数据进行，而要用训练集以外的测试数据来进行检验。好坏主要看其是否具有很好的泛化能力，对泛化能力的测试不能用训练集的数据进行，而要用训练集以外的测试数据来进行检验。

66、x2 * * * * * * * x1第178页/共203页第一百七十九页，共203页。在隐节点数一定的情况在隐节点数一定的情况(qngkung)下，为获得好的泛化能力，存在着一个最佳训练次数。下，为获得好的泛化能力，存在着一个最佳训练次数。 均 方 误差 测 试 数 据 训 练 数 据 训 练 次 数第179页/共203页第一百八十页，共203页。19811981年生物学家格若根（年生物学家格若根（W W Grogan Grogan）和维什（）和维什（W WWirthWirth）发现了两类蚊子）发现了两类蚊子(wn zi)(wn zi)(或飞蠓或飞蠓midges)midges)他们测量了这两类蚊子他们测量了这两类蚊子(wn zi)(wn zi)每个个体的翼长和触角长，数据如下：每个个体的翼长和触角长，数据如下：翼长 触角(chjio)长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼长 触角长 类别1.78 1.14 Apf1.96 1.18