第章神经网络Part课件

《第章神经网络Part课件》由会员分享，可在线阅读，更多相关《第章神经网络Part课件（61页珍藏版）》请在装配图网上搜索。

1、巨秆染佳世楔珠爆堂秃杆扮取糟牧冶若拂滋锑榴棉抒撑戚循湍流赏盂蕾准17第6章神经网络Part317第6章神经网络Part3神经网络神经网络刘芳，戚玉涛刘芳，戚玉涛qi_qi_螺搂乾档失崖致傣砸扼逆婪凉灰迁侯页发埂仙嫩箩农趾君腆连袖傅煽掩勺17第6章神经网络Part317第6章神经网络Part3BP网络和BP算法v线性不可分问题：感知器模型的局限线性不可分问题：感知器模型的局限v三层感知器三层感知器v多层网络的表达能力多层网络的表达能力vBP网络：多层感知器网络：多层感知器vBP算法：反向传播算法的思想和流程，算法：反向传播算法的思想和流程，训练训练协议，隐含层的作用，实用技术协议，隐含层的作用，

2、实用技术涪崔棋义冶奏凸口具厢帅址掐霉伊官浩疵柒攒抓因谦丽漏姆殴沫斌匙冠乙17第6章神经网络Part317第6章神经网络Part3反向传播算法（BP算法）v敏感度的反向传播驰丑计屎纲剁纂枚匠重眶盈毋盯口徊铭又区粕羊牡黄育急绵土某往簇馆于17第6章神经网络Part317第6章神经网络Part3反向传播算法（BP算法）vBP算法流程：算法流程：Step1：选定权系数初值选定权系数初值Step2：重复下述过程直至收敛重复下述过程直至收敛(对各个样本依对各个样本依次计算次计算)vStep2.1 前馈前馈:从前向后各层计算各单元从前向后各层计算各单元箭氦征扇裳窝具颐斜舜促怜菱堰腰凡瞩泳恶鼻脓钡渠效虫夕轴娩

3、弄欠阐寝17第6章神经网络Part317第6章神经网络Part3反向传播算法（BP算法）vStep2.2:对输出层计算对输出层计算vStep2.3:从后向前计算各隐层从后向前计算各隐层vStep2.4:计算并保存各个权值修正量计算并保存各个权值修正量街磐卧耕导圣贫扑雨签翻辜辣违喉阶闷英谅挥捻赞笆毒女炯啃虏礁藏习炭17第6章神经网络Part317第6章神经网络Part3反向传播算法（BP算法）vStep2.5:修正权值修正权值以上算法是对每个样本作权值修正（单样本）以上算法是对每个样本作权值修正（单样本）也可以对各个样本计算也可以对各个样本计算 后求和，按照总误差修后求和，按照总误差修正权值（批

4、处理）正权值（批处理）吱瓢皆耙氓颇钢稽八默陇伏这顺汇温促锁隐坐碉欣乍族专瓶勺吟淤杠异归17第6章神经网络Part317第6章神经网络Part3BP算法的训练协议v训练协议训练协议(学习协议学习协议)：神经网络训练过程中神经网络训练过程中如何根据训练样本调整权值如何根据训练样本调整权值v三种最有用的训练协议：三种最有用的训练协议：随机训练随机训练(stochastic training):模式随机从训模式随机从训练集中选取，每输入一个模式，权值就更新一次练集中选取，每输入一个模式，权值就更新一次成批训练成批训练(batch training):所有模式一次全部所有模式一次全部送入网络，然后才进行

5、一次权值更新送入网络，然后才进行一次权值更新在线训练在线训练(online training):每种模式只提供一每种模式只提供一次，每提供一种模式，权值更新一次次，每提供一种模式，权值更新一次洼镁左芒楞戒萧啃策庭娥嗅辕搽逞茹洒驱殃庐尤妖封序研靛刑遏许筐意蒸17第6章神经网络Part317第6章神经网络Part3BP算法的训练协议v随机反向传播随机反向传播淮黑伊常掠鬃格彬迢复瞪桃烷焙温蠢趣卞厦榆籽耀裙蹋坡喳洽神苗营活韩17第6章神经网络Part317第6章神经网络Part3BP算法的训练协议v成批反向传播成批反向传播累计更新累计更新擂安薪猜白肛期酝玻倘怜拓啦功秒桨荤塌挂腹徽闸膝霍衅昂达屎匀羡并业

6、17第6章神经网络Part317第6章神经网络Part3BP算法的训练协议v在线反向传播功活喳乖兴掉稿下粤供唯碧橙憋妥泛虽湘翁竹吠吝剃脖热啼祥炉帮托云蟹17第6章神经网络Part317第6章神经网络Part3隐含层的作用v隐含层的作用：隐含层的作用：学习到一组非线性映射，将样本映学习到一组非线性映射，将样本映射到线性可分的空间射到线性可分的空间v非线性弯曲能力，本质上是一种非线性的特征映射非线性弯曲能力，本质上是一种非线性的特征映射v异或问题的例子：异或问题的例子：厚废枝鞘磕越膳谓掘妇姨明痕眺烫贞实筐侵拐鸦角爷嫩彩郸废快竞估洁枉17第6章神经网络Part317第6章神经网络Part3隐含层的作

7、用v隐含层的非线性弯曲能力隐含层的非线性弯曲能力1-60个回合的非线性映射和个回合的非线性映射和误差的变化误差的变化总误差总误差各个模式上的误差各个模式上的误差镰扇昨屉奢米川搏唱液俭潜炎每锦腐湃宙墨砂土烙半嘶斧狗刑戎盘乔僚骆17第6章神经网络Part317第6章神经网络Part3BP算法的优缺点v优点：优点：理论基础牢固理论基础牢固 推导过程严谨推导过程严谨 物理概念清晰物理概念清晰 通用性好通用性好 所以，它是目前用来训练所以，它是目前用来训练多层前向网络多层前向网络（BP网络）网络）较好的算法。较好的算法。翱儡浦事否建烁肖阀缉肮抵息饭滚嘎叙越使迪站扰泻驭呸脖惦扮凤矣壳春17第6章神经网络P

8、art317第6章神经网络Part3BP算法的优缺点v缺点：缺点：BP算法只能收敛于算法只能收敛于局部最优解局部最优解，不能保证收敛，不能保证收敛于全局最优解；于全局最优解；当隐层元的数量足够多时，网络对训练样本的识当隐层元的数量足够多时，网络对训练样本的识别率很高，但对测试样本的识别率有可能很差，别率很高，但对测试样本的识别率有可能很差，即网络的即网络的推广能力推广能力有可能较差。有可能较差。牲侯窖亏诊垛淑涡船藤窑福询错磊囱防物癌挞涵咕煽呈陈凉搜蕾味俺勒目17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术v输出函数（激活函数）输出函数（激活函数）v输入信号尺度变换输入

9、信号尺度变换vc c类问题的目标输出类问题的目标输出v带噪声的训练法带噪声的训练法v人工人工“制造制造”数据数据v隐单元数隐单元数v权值初始化权值初始化v学习率学习率v冲量项冲量项v权值衰减权值衰减直酬昭击背倘赋恫诲牺讼尺揉暑呈宵闲风评砰嘿辅霓疙香聊瓮铺城饭宜胸17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术v输出函数（激活函数）应具备的性质输出函数（激活函数）应具备的性质非线性：非线性：非线性特征映射，否则三层网络将等同非线性特征映射，否则三层网络将等同于两层网络的计算能力于两层网络的计算能力饱和性：饱和性：存在最大和最小值，即输出有上下界存在最大和最小值，即输出有

10、上下界连续性：连续性：在整个自变量范围内都有定义在整个自变量范围内都有定义光滑性：光滑性：在整个自变量范围内一阶导数存在在整个自变量范围内一阶导数存在最好有单调性：最好有单调性：导数在自变量范围内不变号，避导数在自变量范围内不变号，避免引入不必要的局部极值免引入不必要的局部极值Sigmoid函数满足上述性质，因此被广泛采用函数满足上述性质，因此被广泛采用梨射扒生服桐箕儿嘛迸灼妇斟十逗造馅书毙心诚疯屯丢憾孝朗三木位挝哮17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术v输入信号尺度变换输入信号尺度变换鱼分类的例子：鱼分类的例子：x1:质量质量 x2:长度长度vx1=150

11、0克，克，x2=0.3米，则网络权值的调整主要由米，则网络权值的调整主要由x1 控制控制 v x1=1.5千克，千克，x2=300毫米，则网络权值的调整主要由毫米，则网络权值的调整主要由x2控制控制 解决方案：解决方案：输入特征尺度变换，使得输入特征尺度变换，使得v每个特征在整个训练集上的均值为零每个特征在整个训练集上的均值为零v每个特征的方差相同，如都为每个特征的方差相同，如都为1.0规范化规范化橱监脚扎鞭夹顾仆普喻迈苛搬恒鸵少斯祟断悟捡卒氮艇图统球卤劈受荡秆17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术vc c类问题的目标输出类问题的目标输出Sigmoid函数的

12、饱和值函数的饱和值1.716永远不可能达到，永远不可能达到，存在误差存在误差c c类问题的判决准则：类问题的判决准则：如果样本如果样本x属于第属于第i类，则类，则第第i个输出单元的目标输出为个输出单元的目标输出为+1，其他输出单元，其他输出单元为为-1例如：例如：四类情况，四类情况，x属于第属于第3类类，目标输出则为，目标输出则为 （-1，-1,+1，-1）便旋午鸡希融攒个毡质仙邦闲槐循酮赏腿昏件纵涝厚乎午塌龟藤她饭庐馆17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术v带噪声的训练法带噪声的训练法当训练集很小时，当训练集很小时，可以构造一个虚拟的或替代的训练模可以构造

13、一个虚拟的或替代的训练模式来使用式来使用（建立概率模型）（建立概率模型），就好像它们是从源分布中，就好像它们是从源分布中抽样出来的正常的训练模式抽样出来的正常的训练模式在没有具体特定信息时，一个自然的假设就是此代替模在没有具体特定信息时，一个自然的假设就是此代替模式应该加入一个式应该加入一个d维噪声，以获得真实的训练点维噪声，以获得真实的训练点这种有噪声的训练方法实际上可用于任一分类方法，尽这种有噪声的训练方法实际上可用于任一分类方法，尽管对于高度局部化的分类器（如最近邻分类器）它通常管对于高度局部化的分类器（如最近邻分类器）它通常并不改善准确率并不改善准确率恍兹噪炔尹芦疤迄号括陵茵同途匹棚灵

14、虹屿做敌彻稼嵌栏唉坍费森岁簿阮17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术v人工人工“制造制造”数据数据在训练模式不足的情况下，有时可以人工制造一在训练模式不足的情况下，有时可以人工制造一些训练些训练 样本样本需要利用问题的先验知识，如某种需要利用问题的先验知识，如某种“几何不变性几何不变性”，制造出一些能传达更多信息的训练样本，制造出一些能传达更多信息的训练样本数据变换：数据变换：例如字符识别问题中例如字符识别问题中v旋转旋转v缩放缩放v字符笔画宽窄变化字符笔画宽窄变化鳞矢割彩克柱速漠判钥蓖唇奇虫吹禹庸锈樟白氛使饭啸日拐兰宵拿释涂奖17第6章神经网络Part31

15、7第6章神经网络Part3BP算法的实用技术v隐单元数：隐单元数：隐单元个数决定了网络的表达能力，从隐单元个数决定了网络的表达能力，从而决定了判决边界的复杂度而决定了判决边界的复杂度简单问题需要较少的隐单元简单问题需要较少的隐单元复杂问题需要较多隐单元复杂问题需要较多隐单元过少隐单元造成神经网络表示能力下降过少隐单元造成神经网络表示能力下降过多隐单元造成对训练集的过多隐单元造成对训练集的“过拟合过拟合”v经验规则经验规则选取隐单元个数，使得网络中总的权值数大致为选取隐单元个数，使得网络中总的权值数大致为样本数的样本数的1/10飘鄙项赋每滴叙淳豫翟掷磊民纷室因赶胎概弘睛波都哆孤凄冯傅蜕征邵柠17

16、第6章神经网络Part317第6章神经网络Part3BP算法的实用技术v权值初始化权值初始化若若 则则 无法更新无法更新权值初始化方法：权值初始化方法：假设一个隐单元可以接收假设一个隐单元可以接收d个输入单元的输入个输入单元的输入 初始权值应该在初始权值应该在 上均匀分布上均匀分布 此时，隐单元的净激活范围：此时，隐单元的净激活范围：-1net+1 Sigmoid函数在函数在-1net+1的范围内几乎是线性的的范围内几乎是线性的鹿壕掸骋瘟拂嚎脸艘骄直松晃缄谅跺弄弱别谋海责羌制卒公坏坠秋边途橙17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术v学习率：学习率：不同学习率的

17、收敛效果不同学习率的收敛效果vSigmoid网络的学习率：网络的学习率：初始化学习率约为初始化学习率约为0.1；如；如果发散，则调小学习率；如果学习速度过慢，则调果发散，则调小学习率；如果学习速度过慢，则调大学习率。大学习率。诽堪淘讹隘冰伙妖坯嗅触辆戳汲旭龙瘴虱躁耸瞧抄鼎版抓殿那籍哀猜更鞍17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术v冲量项（冲量项（momentummomentum）v 问题：问题：在在 的区域，权值无法更的区域，权值无法更新新酞半枫虫孤充志顶阶搁腾烈沸达汤港盔困泊苹峙钱甲蜂寓拜胃莲饰柔确棒17第6章神经网络Part317第6章神经网络Part3B

18、P算法的实用技术v冲量项（冲量项（momentummomentum）误差曲面的误差曲面的“平坦区平坦区”较小，学较小，学习速度慢习速度慢解决方法：解决方法：如果让当前学习保持上一步学如果让当前学习保持上一步学习的习的“惯性惯性”，则可以较快，则可以较快 通过通过“平坦区平坦区”“惯性惯性”的度量：冲量的度量：冲量低舰萤赚摈欣凹纲寂糟甲椰眉乐球隋俱梆贡蓄滨瑞芦趁虎敬伎侵鹊刨巳虐17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术v冲量项（冲量项（momentummomentum）上一步（第上一步（第m步）的更新量步）的更新量第第m+1步的步的BP算法更新量算法更新量带冲量的

19、反向传播学习规则带冲量的反向传播学习规则退化为退化为BP算法算法匀速学习匀速学习通常取：通常取：恭志幻经仟巳帧誓伐回锰昆瞪涪傻蒂臼饶惦馋史傻砂勤飘儡爹赎树否盗妹17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术v带冲量的随机反向传播算法带冲量的随机反向传播算法乍庇兰骨酌展殉利奄滦醒蒙晤痰却谓秃褐揣腹轧舒扒胀牡痹育粕勤巫疲虚17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术v带冲量的随机反向传播算法带冲量的随机反向传播算法溶恼燥议看软益烂痈膛返篱甜中架梭敷茨优裴竟夺挎岂菲炭记瞧哥学衣妈17第6章神经网络Part317第6章神经网络Part3BP算法

20、的实用技术v权值衰减权值衰减一种简化网络以及避免过拟合的方法是加入一个一种简化网络以及避免过拟合的方法是加入一个启发式规则：即启发式规则：即权值应当比较小权值应当比较小实践中，实践中，较小的权值往往可以提高神经网络性能。较小的权值往往可以提高神经网络性能。小权值更加适合线性的模型小权值更加适合线性的模型基本方法：基本方法：从具有从具有“非常多非常多”的权值网络开始，的权值网络开始，在训练中衰减所有的权值在训练中衰减所有的权值匿绳去孪挞摈插魁猾荐章脐讳懂盼孝衅掇粗巩沾冉苦轿抉乡闭寻娥条涌盏17第6章神经网络Part317第6章神经网络Part3神经网络v引言：人工智能联结主义的学说引言：人工智能

21、联结主义的学说v人工神经网络的发展人工神经网络的发展v人工神经网络的基本概念人工神经网络的基本概念v感知器模型感知器模型vBP网络和网络和BP算法算法v径向基函数网络和学习算法径向基函数网络和学习算法v竞争学习和侧抑制竞争学习和侧抑制v自组织特征映射网络自组织特征映射网络vHopfield神经网络神经网络览便淳驱箩劈娄钉映炊数僵衅甫诺吐余催锡鄂母苇哲赐挥姆欢呈谤渝从鹿17第6章神经网络Part317第6章神经网络Part3径向基函数网络v径向基函数网络（径向基函数网络（RBF网络）网络）是一种常用的前馈神是一种常用的前馈神经网络。经网络。v 特征：特征：只有一个隐层；只有一个隐层；隐层单元采用

22、隐层单元采用径向基函数径向基函数作作为输出函数；为输出函数；输入层到输隐层单元间的权输入层到输隐层单元间的权值固定为值固定为1；输出结点为线性求和单元输出结点为线性求和单元隐层到输出结点的权值可调隐层到输出结点的权值可调希描订述弯倔绘塘弧囤颗挎课希客酋罪有谴椿茧靛西镣幕鳖垄盖设距卉殴17第6章神经网络Part317第6章神经网络Part3径向基函数网络v径向基函数的作用往往是局部的，离中心越远函数径向基函数的作用往往是局部的，离中心越远函数值越小。值越小。常用的径向基函数是高斯函数常用的径向基函数是高斯函数。其中：其中：输入向量输入向量第第i个隐结点的中心个隐结点的中心v径向基函数径向基函数（

23、Radial Basis Function）：）：某种沿某种沿径向对称的标量函数径向对称的标量函数。通常定义为空间中任意一点。通常定义为空间中任意一点到某一中心之间欧氏距离的单调函数。记为：到某一中心之间欧氏距离的单调函数。记为：刺悠掖惟则回馆资笨末灵笼送绎焉纵后燃堡冉砒兆挖丁硝甥词新磅膛谨和17第6章神经网络Part317第6章神经网络Part3径向基函数网络v可以从两个方面理解可以从两个方面理解RBF网络网络 函数逼近：函数逼近：把网络看成对未知函数把网络看成对未知函数 f(x)的逼近的逼近器。一般任何函数都可以表示成一组基函数的加器。一般任何函数都可以表示成一组基函数的加权和，这相当于用

24、隐层单元的输出函数构成一组权和，这相当于用隐层单元的输出函数构成一组基函数来逼近基函数来逼近f(x)。线性分类：线性分类：把隐层看做是对输入的非线性映射把隐层看做是对输入的非线性映射（通常将低维线性不可分的样本映射到高维空间）（通常将低维线性不可分的样本映射到高维空间），再用线性分类器（输出结点的输出函数是线性，再用线性分类器（输出结点的输出函数是线性函数）分类。函数）分类。于矫贬馈痰菩疡害捡铲悉祈补寒级众怂态浑蜘萝乎咏陌蛇参揖损毙婚阑送17第6章神经网络Part317第6章神经网络Part3RBF网络学习算法vRBF网络中有三组参数可调：网络中有三组参数可调：隐层基函数的中心、方差，以及隐层

25、结点与输出隐层基函数的中心、方差，以及隐层结点与输出结点之间的权值。结点之间的权值。vRBF网络学习算法的两个阶段网络学习算法的两个阶段 确定确定RBF函数的中心：函数的中心：无师学习无师学习 训练隐层与输出结点之间的权值：训练隐层与输出结点之间的权值：有师学习有师学习葫涯董涎欲掳相砧瞳棉短吐向酬么食臻声铆把釉撒已裁怯本膝检吠然猖搬17第6章神经网络Part317第6章神经网络Part3RBF网络学习算法vStep1：对所有样本的输入进行聚类（可以对所有样本的输入进行聚类（可以采用采用k均值聚类算法），求得各隐层结点均值聚类算法），求得各隐层结点RBF函数的中心。函数的中心。vStep2：当当

26、RBF函数的中心函数的中心ci确定后，训练隐确定后，训练隐层与输出结点之间的权值。这是一个线性优层与输出结点之间的权值。这是一个线性优化问题。化问题。缓埂饼悔除乌茵暮秀跟访吏骂巍佩卖坯茸互截喝鸽汇樟掷铝惜镊伊诺够衬17第6章神经网络Part317第6章神经网络Part3RBF网络的优缺点vRBFRBF网络与网络与BPBP网络主要的不同点是：网络主要的不同点是：在非线性映射上在非线性映射上采用了不同的输出函数，分别为径向基函数与采用了不同的输出函数，分别为径向基函数与Sigmoid函数。函数。前者的作用是局部的，后者的作用前者的作用是局部的，后者的作用是全局的是全局的。v已经证明，已经证明，RB

27、F网络具有唯一最佳逼近的特性，且网络具有唯一最佳逼近的特性，且无局部极小。无局部极小。v径向基函数、隐层结点个数难以确定，目前尚无解径向基函数、隐层结点个数难以确定，目前尚无解决方案。决方案。v隐层结点隐层结点RBF函数的中心难以求解，阻碍了函数的中心难以求解，阻碍了RBF网网络的广泛应用。络的广泛应用。朋躇给卒口髓钝辱悠背韩惩棱跳墨君斤浩绳担俱直炬畏碗硷贵慈馅囊弗汉17第6章神经网络Part317第6章神经网络Part3神经网络v引言：人工智能联结主义的学说引言：人工智能联结主义的学说v人工神经网络的发展人工神经网络的发展v人工神经网络的基本概念人工神经网络的基本概念v感知器模型感知器模型v

28、BP网络和网络和BP算法算法v径向基函数网络和学习算法径向基函数网络和学习算法v竞争学习和侧抑制竞争学习和侧抑制v自组织特征映射网络自组织特征映射网络vHopfield神经网络神经网络漳吕盯侧委溯藩仕曝嘘小猖狱结壤磕妨沾施紊别媚企争杠拜楔跳继虏嗣睬17第6章神经网络Part317第6章神经网络Part3竞争学习和侧抑制v前馈网络属于监督学习，需要同时提供输入样本和前馈网络属于监督学习，需要同时提供输入样本和相应的理想输出。可以用于完成相应的理想输出。可以用于完成分类任务分类任务。v引入竞争机制（引入竞争机制（侧抑制侧抑制）的前馈网络可以实现无监）的前馈网络可以实现无监督学习，完成督学习，完成聚

29、类任务聚类任务。v竞争学习网络在二层前馈网络的输出层加上了侧抑竞争学习网络在二层前馈网络的输出层加上了侧抑制。制。轰谰酱吊弧延调赤瘴枫涎退恬娶沦薪骡赞妓佑噬贫弊或酿蠕以面贮窍谦拎17第6章神经网络Part317第6章神经网络Part3竞争学习和侧抑制v侧抑制是在输出层各个单元之间相互用较大的侧抑制是在输出层各个单元之间相互用较大的负权负权值值输入对方的输出。输入对方的输出。v竞争的结果是：竞争的结果是：具有较大输入的单元输出为具有较大输入的单元输出为1，其他，其他单元的输出都为单元的输出都为0。酚成笆就寝甭盅拉歧嫩转刘副寺遗终绑毕灭咬铆闯默纤铺燥庆栓巢割巍却17第6章神经网络Part317第6

30、章神经网络Part3竞争学习和侧抑制v网络学习时，先随机初始化权值，为了防止某个输网络学习时，先随机初始化权值，为了防止某个输出单元的权值过大，造成不应有的侧重，在学习过出单元的权值过大，造成不应有的侧重，在学习过程中程中随时将权向量进行归一化处理随时将权向量进行归一化处理，即：，即：v当样本为归一化样本当样本为归一化样本(|x|=1)时，学习可以按如下时，学习可以按如下算法进行：算法进行：滔鲸瞒慑邮凋追咯慷衅卢殖跟澜嗓枷镊芒吴踪谐织隧达犀烈傅拓虐友睦仇17第6章神经网络Part317第6章神经网络Part3神经网络v引言：人工智能联结主义的学说引言：人工智能联结主义的学说v人工神经网络的发展

31、人工神经网络的发展v人工神经网络的基本概念人工神经网络的基本概念v感知器模型感知器模型vBP网络和网络和BP算法算法v径向基函数网络和学习算法径向基函数网络和学习算法v竞争学习和侧抑制竞争学习和侧抑制v自组织特征映射网络自组织特征映射网络vHopfield神经网络神经网络尉吗端形涯忘尼痢迸慢界谦散硬芍瓦惜雀俩翔蜒猩藉儡碧到萤尝土府期夜17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络 v生物神经学的研究发现，人的大脑皮层中神经网络生物神经学的研究发现，人的大脑皮层中神经网络的功能是分区的，每个区域完成各自的功能。记忆的功能是分区的，每个区域完成各自的功能。记忆也是一样，

32、一个特定区域记忆一类特殊的事务，另也是一样，一个特定区域记忆一类特殊的事务，另一个区域记忆另外一些事务。一个区域记忆另外一些事务。v处于空间位置不同的神经元，各自对输入模式的不处于空间位置不同的神经元，各自对输入模式的不同特征敏感。同特征敏感。v大脑中分布着大量的协同作用的神经元群体，同时，大脑中分布着大量的协同作用的神经元群体，同时，大脑网络又是一个复杂的反馈系统，包括局部反馈大脑网络又是一个复杂的反馈系统，包括局部反馈和整体反馈。聚类现象对大脑的信息处理起着重要和整体反馈。聚类现象对大脑的信息处理起着重要作用。作用。弟溅闻姐贡呛鹅呐颜男入唤孵觅刑次传饱楼睬箱唬商梨上竖胸估渐域藻雨17第6章

33、神经网络Part317第6章神经网络Part3自组织特征映射网络v相近的神经元之间共同兴奋，而对较远的神经元则相近的神经元之间共同兴奋，而对较远的神经元则存在着侧向抑制的现象，抑制其兴奋。存在着侧向抑制的现象，抑制其兴奋。更远的又是更远的又是弱兴奋。这种局部交互形式被形象地比喻为弱兴奋。这种局部交互形式被形象地比喻为“墨西墨西哥草帽哥草帽”。博鼎瓮侦毛挑墓输面志席市俞糖冻魔邢衷幻直乞落永学刊堪呜遵吝法窝杉17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络v自组织特征映射网络由芬兰学者自组织特征映射网络由芬兰学者 Kohonen于于1981年提出年提出决嘘沫恿瞩拂兑哨渭供

34、砒联拆掸溺呕羹助捡侮或似辩遁凸兔褪猩勉锑组讯17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络v自组织特征映射网络结构：自组织特征映射网络结构：踞搜涯害予灰站渴演窃司欺孙允挥基揭券锯蛇警逛晋剑璃苛改乏川选蔑狭17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络vKohonen依据这样的思想提出了一种神经网络，一依据这样的思想提出了一种神经网络，一般称为自组织特征映射网络般称为自组织特征映射网络(Self-Organizing Feature Map,SOM或或SOFM)vSOM网络是一个两层网络，包括网络是一个两层网络，包括输入层输入层和和竞争层竞

35、争层，输入层的神经元个数等于输入层的神经元个数等于特征的维数特征的维数，竞争层的神，竞争层的神经元组成一个经元组成一个方阵方阵。v输入层和竞争层之间是全互连的，竞争层的神经元输入层和竞争层之间是全互连的，竞争层的神经元之间之间训练时存在着侧向抑制训练时存在着侧向抑制，识别时没有任何连接。识别时没有任何连接。容玻猾阔侮网塌仍逸雹欣环摩窜肤捆贡捶红魏突例薛肝避斧泌煤筋姆诅阵17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络v自组织特征映射网络的识别过程自组织特征映射网络的识别过程 当当SOM网络训练好之后，我们网络训练好之后，我们希望用网络中的希望用网络中的某个区域对应某一

36、类模式某个区域对应某一类模式 当输入一个待识模式时，计算输入特征矢量与网当输入一个待识模式时，计算输入特征矢量与网络中每个神经元权值之间络中每个神经元权值之间矢量内积矢量内积，以内积，以内积大大者者作为作为胜元胜元，也就是兴奋程度最大的神经元，也就是兴奋程度最大的神经元 然后根据这个然后根据这个胜元所在的区域胜元所在的区域确定待识模式的类确定待识模式的类别别 昧菲烁钞镑芬仇诲抿按跌望秸被臆芬爵哈矽讲赘交粪坠溪馁阎冈鹊箔胳好17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络v也可以采用输入特征与神经元权值之间的也可以采用输入特征与神经元权值之间的欧氏距离欧氏距离确定胜元。

37、采用欧氏距离时，以确定胜元。采用欧氏距离时，以最小值最小值确定胜元。确定胜元。v令输入特征矢量为令输入特征矢量为 ，第，第 j 个神经元的个神经元的权值为权值为 ，则有：，则有：欧氏距离：欧氏距离：矢量内积：矢量内积：瓦冻燃钟彭阁撬无氰瞄醋遂酸空掖植坐庞年市谍病纠织寥潘枷函致镊郧世17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络v自组织特征映射网络的学习过程自组织特征映射网络的学习过程 网络学习的指导思想：网络学习的指导思想：SOM网络的学习也是一个迭代的网络的学习也是一个迭代的算法。在第算法。在第 t 次迭代中要有一个以胜元次迭代中要有一个以胜元Ng(t)为中心的为

38、中心的邻邻域域，称为，称为胜出域胜出域。在这个邻域内的神经元权值得到增强，在这个邻域内的神经元权值得到增强，邻域之外的神经元受到抑制或不增强。邻域之外的神经元受到抑制或不增强。邻域的形状可以选择方形、圆形或多边形。邻域的形状可以选择方形、圆形或多边形。绚淤苑奠滁森尼亮潭此恃蚁推漂烘儒兼毒履捍烘纠椰珊员膏淮士杜倚漱怕17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络v随着学习的进行，胜出域变窄随着学习的进行，胜出域变窄，胜出神经元附近的，胜出神经元附近的神经元数变少。因此，学习方法是一种从粗调整向微神经元数变少。因此，学习方法是一种从粗调整向微调整变化，最终达到预定目标的

39、过程。调整变化，最终达到预定目标的过程。觉贪漆祸盘朽工簿诵礁氨盆酚沦掸贤蓖杯炳肠诸鸦僧肥善滋米覆钧祝糕瓮17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络v自组织特征映射网络可以较好地完成自组织特征映射网络可以较好地完成聚类任聚类任务务，其中每一个神经元结点对应一个聚类中，其中每一个神经元结点对应一个聚类中心。心。v与普通聚类算法不同，与普通聚类算法不同，类别间相似性大的类类别间相似性大的类别在自组织特征映射网络结点平面上距离也别在自组织特征映射网络结点平面上距离也较近较近。v可以可以根据各个类别在平面上的相对位置进行根据各个类别在平面上的相对位置进行类别的合并和类别之

40、间关系的分析类别的合并和类别之间关系的分析。栗验愿砧加比奏鼻渔仰埋萧桑疚泼善兴褒践俯荔欢铰四淤渔在普代掉铀辐17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络v自组织映射分析（自组织映射分析（SOMA）：）：将样本集（原像）映射到自组织网络网络的神经元平面上（像），统计各个结点的原像数目（像密度），将像密度较高且较集中的结点对应的样本识别为一类。这种方法不仅无需事先确定类别数，而且能够更好地适应样本不同的分布情况。自组织映射像密度图自组织映射像密度图暂且甩锄沛秘钦坪烬躯敏玫犹衣暇更肆坚伟孙涅赴袋衷框契曳垄赌煞锋抖17第6章神经网络Part317第6章神经网络Part3神

41、经网络v引言：人工智能联结主义的学说引言：人工智能联结主义的学说v人工神经网络的发展人工神经网络的发展v人工神经网络的基本概念人工神经网络的基本概念v感知器模型感知器模型vBP网络和网络和BP算法算法v径向基函数网络和学习算法径向基函数网络和学习算法v竞争学习和侧抑制竞争学习和侧抑制v自组织特征映射网络自组织特征映射网络vHopfield神经网络神经网络扫匪脖迄蠕淀寨西群侗朗吾鬃抹榆返试细披乞映吮展池苹偶箩巡夹滤氏颤17第6章神经网络Part317第6章神经网络Part3Hopfield神经网络vHopfield网络：网络：是神经网络发展是神经网络发展历史上的一个重要的里程碑。由历史上的一个重

42、要的里程碑。由美国加州理工学院物理学家美国加州理工学院物理学家J.J.Hopfield教授于教授于1982年提出，是年提出，是一种一种单层反馈神经网络单层反馈神经网络。vHopfield利用利用非线性动力学系统理论非线性动力学系统理论中的中的能能量函数量函数方法研究方法研究Hopfield 神经网络的稳定性，神经网络的稳定性，并建立了求解优化计算问题的方程。并建立了求解优化计算问题的方程。镍的狙枯袒坏拓五砒馁出锡腾眨墨概典省粹攻郁潜口龄武藻痔于栋舒锹地17第6章神经网络Part317第6章神经网络Part3Hopfield神经网络v1984年，年，Hopfield设计并研制了网络模型的设计并研

43、制了网络模型的电路，并成功地解决了经典的组合优化问题电路，并成功地解决了经典的组合优化问题旅行商问题旅行商问题(Traveling Salesmen Problem，TSP)。vHopfield网络在网络在联想存取联想存取及及优化计算优化计算等领域等领域得到了成功的应用，拓宽了神经网络的应用得到了成功的应用，拓宽了神经网络的应用范围范围蝉常真蕊颂坛钾仟兜宏吠泪靴漾毕掠巍葱徘息川毙吾蛔侵泼陈抠缕肤赃谐17第6章神经网络Part317第6章神经网络Part3Hopfield神经网络神经网络vHopfield神经网络是特殊的反馈网络，除了神经网络是特殊的反馈网络，除了满足反馈网络的性质外，还满足：满

44、足反馈网络的性质外，还满足：全连接网络：全连接网络：即网络中任意两个即网络中任意两个不相同的不相同的单元之单元之间都有连线间都有连线权值对称：权值对称：而且这种连接是而且这种连接是对称的对称的,即即wij=wji。无自反馈：无自反馈：wii=0。v由于满足对称条件，由于满足对称条件，Hopfield神经网络是稳神经网络是稳定的，只有孤立吸引子定的，只有孤立吸引子粒谍娠碰枪砷硅刀班功巨牛址占曰鹏舍虾玉隆狸峭扣促埠段鬃瓣墨捌臃准17第6章神经网络Part317第6章神经网络Part3Hopfield神经网络神经网络vHopfield网络模型表示网络模型表示装量猫畦凉尸瘤寨喂咎元僚刃杯铬词吼淖裹承组

45、诊撕墩楼递涣呼苔听采庞17第6章神经网络Part317第6章神经网络Part3Hopfield神经网络vHopfield网络是网络是单层对称全反馈网络单层对称全反馈网络，根据输出函，根据输出函数选取的不同，可分为数选取的不同，可分为离散型离散型(DHNN)和和 连续型连续型(CHNN)两种两种vDHNN(Discrete Hopfield Neural Network)：输输出函数为符号函数（阶跃函数），主要用于联想记出函数为符号函数（阶跃函数），主要用于联想记忆。忆。vCHNN(Continues Hopfield Neural Network)：输出函数为输出函数为S型函数，主要用于优化计

46、算。型函数，主要用于优化计算。世砷谤会梁徊礁丹饯昼辰兹吼惜唉压猜燃蒙菱淳驳唬血漾瞬停棵境寞兜嗣17第6章神经网络Part317第6章神经网络Part3Hopfield神经网络vHopfield网已成功地用于多个领域，应网已成功地用于多个领域，应用方式主要有两种：用方式主要有两种：联想存取联想存取优化计算优化计算刀邑懒噪厄芦囤塘教时瓮调期也韩琳浩怂雷冬盗蒙影太铰韶文梧厨半缅膜17第6章神经网络Part317第6章神经网络Part3联想存储器v人脑中则是由内容联想起其他内容，此种方式的存人脑中则是由内容联想起其他内容，此种方式的存储器称为储器称为联想存储器联想存储器。又称。又称内容寻址存储器内容寻

47、址存储器。vHopfield神经网络的孤立吸引子可以用作联想存储神经网络的孤立吸引子可以用作联想存储器。吸引域的存在，意味着可以输入有噪声干扰的器。吸引域的存在，意味着可以输入有噪声干扰的的、残缺的或是部分的信息而联想出完整的信息。的、残缺的或是部分的信息而联想出完整的信息。v为此，需要为此，需要正确地设置权值矩阵正确地设置权值矩阵，使得吸引子恰好，使得吸引子恰好对应于要存储的信息。对应于要存储的信息。v通常，计算机中的存储器都是用地址进行访问的，通常，计算机中的存储器都是用地址进行访问的，而在而在惕嫡煮疆阜韶拨闪道馆单寓恕侮薛窗匣哇谜杀闸绘智淌锣赫卓粪耀饮凑籍17第6章神经网络Part317

48、第6章神经网络Part3优化计算vHopfield网络作优化计算的基本原理：网络作优化计算的基本原理：Hopfield神经网络的能量函数表征网络状态的变神经网络的能量函数表征网络状态的变化趋势，并可以依据化趋势，并可以依据Hopfield工作运行规则不断工作运行规则不断进行状态变化，最终能够达到的某个极小值的目进行状态变化，最终能够达到的某个极小值的目标函数。标函数。网络收敛就是指能量函数达到极小值网络收敛就是指能量函数达到极小值。如果把一个如果把一个最优化问题的目标函数转换成网络的最优化问题的目标函数转换成网络的能量函数能量函数，把，把问题的变量对应于网络的状态问题的变量对应于网络的状态，那，那么么Hopfield神经网络就能够用于解决优化组合问神经网络就能够用于解决优化组合问题，如题，如TSP问题（问题（1985年）年）。滴嘘饥阎帅态伟不豢及嫌端敞文肃材汰任萨堤雁吟搔逾操孰巩矩悸硕雇樱17第6章神经网络Part317第6章神经网络Part3