自组织神经网络概述

《自组织神经网络概述》由会员分享，可在线阅读，更多相关《自组织神经网络概述（70页珍藏版）》请在装配图网上搜索。

1、第四章第四章 自组织神经网络自组织神经网络4.14.1竞争学习的概念与原理竞争学习的概念与原理4.24.2自组织特征映射神经网络自组织特征映射神经网络自组织神经网络的典型结构自组织神经网络的典型结构 第四章第四章 自组织神经网络自组织神经网络竞争层竞争层输入层输入层第四章第四章 自组织神经网络自组织神经网络自组织学习自组织学习(self-organized learning)：通过自动寻找样本中的内在规律和本通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数质属性，自组织、自适应地改变网络参数与结构。与结构。自组织网络的自组织功能是通过竞争自组织网络的自组织功能是通过竞争学习

2、（学习（competitive learning）实现的。）实现的。4.14.1竞争学习的概念与原理竞争学习的概念与原理4.1.1 4.1.1 基本概念基本概念分类分类分类是在类别知识等导师信号的指分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的导下，将待识别的输入模式分配到各自的模式类中。模式类中。聚类聚类无导师指导的分类称为聚类，聚类无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而的目的是将相似的模式样本划归一类，而将不相似的分离开将不相似的分离开。相似性测量相似性测量欧式距离法欧式距离法)()(iTiiXXXXXX 类 1 类 2 类 1 类 2 T

3、T (a)基于欧式距离的相似性测量 (b)基于余弦法的相似性测量4.1.1 基本概念基本概念 相似性测量相似性测量余弦法余弦法4.1.1 基本概念基本概念iiTXXXXcos类 1 类 2 类 1 类 2 T T (a)基于欧式距离的相似性测量 (b)基于余弦法的相似性测量4.1.2 4.1.2 竞争学习原理竞争学习原理竞争学习规则竞争学习规则Winner-Take-All 网络的输出神经元之间相互竞争以求被网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜被激活。这个被激活的神经元称为竞争获胜神

4、经元，而其它神经元的状态被抑制，故称神经元，而其它神经元的状态被抑制，故称为为Winner Take All。竞争学习规则竞争学习规则Winner-Take-All1.1.向量归一化向量归一化 首先将当前输入模式向量首先将当前输入模式向量X X和竞争层中各神经元对应的内星向量和竞争层中各神经元对应的内星向量W Wj j 全部进行归一化处理；全部进行归一化处理；(j=1,2,(j=1,2,m),m)Tnjjnnjjxxxx12121.XXX向量归一化之向量归一化之 *向量归一化之向量归一化之 *竞争学习原理竞争学习原理竞争学习规则竞争学习规则Winner-Take-All2.2.寻找获胜神经元寻

5、找获胜神经元 当网络得到一个输入模式向量时，当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与其进行相竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神似性比较，并将最相似的内星权向量判为竞争获胜神经元。经元。欲使两单位向量最相似，须使其点积最大。即：欲使两单位向量最相似，须使其点积最大。即：)(max,.,2,1*XWXWTjmjTj 从上式可以看出，欲使两单位向量的欧式距离从上式可以看出，欲使两单位向量的欧式距离最小，须使两向量的点积最大。即：最小，须使两向量的点积最大。即：)(max,.,2,1*XWXWTjmjTjjmjjWX

6、WXmin,.,2,1*)()(*jTjjWXWXWXTjTjTjT*2WWXWXX)1(2*XWTj竞争学习规则竞争学习规则Winner-Take-All竞争学习规则竞争学习规则胜者为王胜者为王(Winner-Take-All)3.3.网络输出与权值调整网络输出与权值调整*01)1(jjjjtoj)()()()()1(*jjjjjttttWXWWWW)()1(ttjjWW j j j j*步骤步骤3 3完成后回到步骤完成后回到步骤1 1继续训练，直到学习率继续训练，直到学习率衰减到衰减到0 0。*竞争学习的几何意义竞争学习的几何意义竞争学习的几何意义竞争学习的几何意义 *1W *jW *)(

7、)()()(*ttttjpWXWh *)(*1tjW )(tpX jW mW *竞争学习游戏竞争学习游戏将一维样本空间的将一维样本空间的12个样本分为个样本分为3类类竞争学习游戏竞争学习游戏w1w2w3x训练样本集训练样本集o1o1o1例例4.1 4.1 用竞争学习算法将下列各模式分为用竞争学习算法将下列各模式分为2 2类：类：6.08.01X9848.01736.02X707.0707.03X9397.0342.04X8.06.05X解：为作图方便，将上述模式转换成极坐标形式解：为作图方便，将上述模式转换成极坐标形式 ：89.3611X8012X5.4413X7014X13.5315X竞争层

8、设两个权向量，随机初始化为单位向量：竞争层设两个权向量，随机初始化为单位向量：0101)0(1W180101)0(2W x5 x3 x1 w2 w1 x2 x4 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3

9、 4 4 3 3 4 4 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8

10、1 1 -8 8 1 1 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4

11、4 3 3 4 4 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1

12、 -8 8 1 1 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3

13、 3 4 4 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8

14、 8 1 1 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3

15、4 4 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8

16、1 1 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4

17、 4 4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1

18、 -8 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4

19、4 4 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8

20、 8 0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5 x3 x1 w2 x2 x4 w1 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4

21、 4 4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8

22、0 0.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5 x3 x1 x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4

23、4 4 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8 0 0

24、.5 5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5 x3 x1 x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4

25、 0 0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8 0 0.5

26、5 -8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5 x3 x1 x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0

27、0.5 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8 0 0.5 5 -

28、8 8 0 0.5 5 -7 7 5 5 -7 7 5 5 x5 x3 x1 x2 x4 w1 w2 训训 练练 次次 数数 W W1 1 W W2 2 1 1 2 2 3 3 4 4 5 5 6 6 7 7 8 8 9 9 1 1 0 0 1 1 1 1 1 1 2 2 1 1 3 3 1 1 4 4 1 1 5 5 1 1 6 6 1 1 7 7 1 1 8 8 1 1 9 9 2 2 0 0 1 1 8 8.4 4 3 3 -3 3 0 0.8 8 7 7 -3 3 2 2 1 1 1 1 2 2 4 4 2 2 4 4 3 3 4 4 3 3 4 4 4 4 4 4 4 4 0 0.5

29、 5 4 4 0 0.5 5 4 4 3 3 4 4 3 3 4 4 7 7.5 5 4 4 2 2 4 4 2 2 4 4 3 3.5 5 4 4 3 3.5 5 4 4 8 8.5 5 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 8 8 0 0 -1 1 3 3 0 0 -1 1 3 3 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -1 1 0 0 0 0 -9 9 0 0 -9 9 0 0 -8 8 1 1 -8 8 1 1 -8 8 1 1 -8 8 0 0.5 5 -8 8

30、 0 0.5 5 -7 7 5 5 -7 7 5 5 4.2自组织特征映射神经网络自组织特征映射神经网络（Self-Organizing feature Map）p 1981 1981年芬兰年芬兰HelsinkHelsink大学的大学的T.KohonenT.Kohonen教授教授提出一种自组织特征映射网，简称提出一种自组织特征映射网，简称SOMSOM网，又称网，又称KohonenKohonen网。网。p KohonenKohonen认为：一个神经网络接受外界输认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征

31、，而且这个过对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这程是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性一看法提出来的，其特点与人脑的自组织特性相类似。相类似。SOMSOM网的生物学基础网的生物学基础 生物学研究的事实表明，在人脑的感觉通道上，生物学研究的事实表明，在人脑的感觉通道上，神经元的组织原理是神经元的组织原理是有序排列有序排列。因此当人脑通过感官。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的接受外界的特定时空信息时，大脑皮层的特定特定区域区域兴兴奋奋，而且类似的外界信息在对应区域是，而且类似的外界信息在对应

32、区域是连续映象连续映象的。的。对于某一图形或某一频率的特定兴奋过程，神经对于某一图形或某一频率的特定兴奋过程，神经元的有序排列以及对外界信息的连续映象是自组织特元的有序排列以及对外界信息的连续映象是自组织特征映射网中竞争机制的生物学基础。征映射网中竞争机制的生物学基础。SOMSOM网的拓扑结构网的拓扑结构 SOMSOM网共有两层，输入层模拟感知外界输入信网共有两层，输入层模拟感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。息的视网膜，输出层模拟做出响应的大脑皮层。(a)一维线阵 (b)二维平面线阵SOMSOM网的权值调整域网的权值调整域 SOMSOM网的获胜神经元对其邻近神经元的网的获

33、胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种程度不同地调整权向量。这种调整可用三种函数表示：函数表示：SOMSOM网的权值调整域网的权值调整域 以获胜神经元为中心设定一个邻域半径，该以获胜神经元为中心设定一个邻域半径，该半径圈定的范围称为半径圈定的范围称为优胜邻域优胜邻域。在。在SOMSOM网学习算法网学习算法中，优胜邻域内的所有神经元均按其离开获胜神

34、中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。经元的距离远近不同程度地调整权值。优胜邻域开始定得很大，但其大小随着训练优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。次数的增加不断收缩，最终收缩到半径为零。SOMSOM网的运行原理网的运行原理p 训练阶段训练阶段 *W4 W1*W2 *W3*W5 *W1 W2 *W3*W5 *W4 w1 w2 w3 w4 w5 *W1 W2 *W3*W5 *W4 *W1 W2 *W3*W5 *W4SOM网的运行原理p 工作阶段工作阶段SOMSOM网的学习算法网的学习算法(1)(1)初始化初始化 对输出

35、层各权向量赋小随机数并进行归一化对输出层各权向量赋小随机数并进行归一化处理，得到处理，得到 ，j=1,2,m；建立初始优胜邻域建立初始优胜邻域Nj*(0)；学习率学习率h h 赋初始值。赋初始值。jW(2)接受输入接受输入 从训练集中随机选取一个输入模式并进行从训练集中随机选取一个输入模式并进行归一化处理，得到归一化处理，得到 ，p 1,2,P。pX(3)寻找获胜节点寻找获胜节点 计算计算 与与 的点积，的点积，j=1,2,m，从中选出点积最大的获胜节点从中选出点积最大的获胜节点j*。pXjW(4)定义优胜邻域定义优胜邻域Nj*(t)以以j*为中心确定为中心确定t 时刻的权值调整域，时刻的权值

36、调整域，一般初始邻域一般初始邻域Nj*(0)较大，训练过程中较大，训练过程中Nj*(t)随训练时间逐随训练时间逐渐收缩。渐收缩。Kohonen 学习算法学习算法KohonenKohonen学习算法学习算法 Nj*(0)Nj*(0)Nj*(1)Nj*(1)Nj*(2)Nj*(2)SOMSOM网的学习算法网的学习算法(5)(5)调整权值调整权值 对优胜邻域对优胜邻域N Nj j*(t t)内的所有节点调整权值：内的所有节点调整权值：i=1,2,i=1,2,n n j j N Nj j*(t t)式中，式中，是训练时间是训练时间t t 和邻域内第和邻域内第j j 个神经元与获个神经元与获胜神经元胜神

37、经元 j j*之间的拓扑距离之间的拓扑距离N N 的函数，该函数一般的函数，该函数一般有以下规律：有以下规律：)(),()()1(twxNttwtwijpiijijh),(NthhhNt,KohonenKohonen学习算法学习算法SOMSOM网的学习算法网的学习算法(5)(5)调整权值调整权值NetNt)(),(hhh(t)h(t)h(t)h(0)h(0)h(0)0 t 0 t 0 t(6)(6)结束检查结束检查 学习率是否衰减到零或某个预定的学习率是否衰减到零或某个预定的正小数？正小数？KohonenKohonen学习算法学习算法SOMSOM网的学习算法网的学习算法初始化、归一化权向量 W

38、：jW，j=1,2,m；建立初始优胜邻域 Nj*(0)学习率h(t)赋初始值输入归一化样本pX，p1,2,P计算点积pTjXW，j=1,2,m选出点积最大的获胜节点 j*定义优胜邻域 Nj*(t)对优胜邻域 Nj*(t)内节点调整权值：)()()()(twxN,ttw1twijpiijijhi=1,2,n jNj*(t)N)(thminh Y结束K o h o n e nK o h o n e n学习算法程序流程学习算法程序流程功功 能能 分分 析析(1)(1)保序映射保序映射将输入空间的样本模式类有序地映射在输出层上。将输入空间的样本模式类有序地映射在输出层上。例例1 1：动物属性特征映射。

39、：动物属性特征映射。动物 属性 鸽子 母鸡 鸭 鹅 猫头鹰 隼 鹰 狐狸 狗 狼 猫 虎 狮 马 斑马 牛 小 中 大 2只腿 4只腿 毛 蹄 鬃毛 羽毛 猎 跑 飞 泳 1 0 0 1 0 0 0 0 1 0 0 1 0 1 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 0 1 0 0 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 1 0 0 1 0 0 0 0 1 1 0 1 0 1 0 0 1 0 0 0 0 1 1 0 1 0 0 1 0 1 0 0 0 0 1 1 0 1 0 0 1 0 0 1 1 0 0 0 1 0 0 0 0 1 0

40、0 1 1 0 0 0 0 1 0 0 0 1 0 0 1 1 0 0 0 1 1 0 0 1 0 0 0 1 1 0 0 0 1 0 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 0 0 0 1 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 1 0 0 1 0 0 0 0 1 0 1 1 1 0 0 0 0 0 0 功能分析功能分析 鸭 马 牛 斑马 虎 鹅 狼 猫 隼 头 狮 鸽 鹰 狗 鹰 母鸡 狐 猫(2)(2)数据压缩数据压缩 将高维空间的样本在保持拓扑结构不变的条将高维空间的样本在保持拓扑结构不变的

41、条件下投影到低维空间。件下投影到低维空间。(3)(3)特征抽取特征抽取 高维空间的向量经过特征抽取后可以在低维高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达。特征空间更加清晰地表达。例例2 2：SOMSOM网用于字符排序。网用于字符排序。A BC D E FG H I GK L M NO P Q RS T U VW X Y Z1 2 3 45 6x01 2 3 4 5 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3x10 0 0 0 0 1 2 3 4 5 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3

42、3 3 3 3 3 3x20 0 0 0 0 0 0 0 0 0 1 2 3 4 5 6 7 8 3 3 3 3 6 6 6 6 6 6 6 6 6 6x30 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 2 3 4 1 2 3 4 2 2 2 2 2 2x40 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 2 3 4 5 6功能分析功能分析 A B C D E F G H K L M N O P Q R I S W J T X 1 2 3 4 5 6 U Y V Z B C D E Q R Y Z A P X

43、 F N O W 1 G M 2 H K L T U 3 I 4 J S V 5 6SOMSOM网在皮革配皮中的应用网在皮革配皮中的应用 要生产出优质皮衣，必须保证每件皮衣所用皮料在要生产出优质皮衣，必须保证每件皮衣所用皮料在颜色和纹理方面的相似性。在生产中，通常由有经验的颜色和纹理方面的相似性。在生产中，通常由有经验的工人根据皮料颜色、纹理的相近程度进行分类。这道称工人根据皮料颜色、纹理的相近程度进行分类。这道称为为“配皮配皮”的工序，因光照条件、工人经验不同以及情的工序，因光照条件、工人经验不同以及情绪、体力等因素变化的影响，质量难于保证。绪、体力等因素变化的影响，质量难于保证。计算机皮革

44、检测与分类系统可对成批皮革的颜色及计算机皮革检测与分类系统可对成批皮革的颜色及纹理进行在线检测、特征值提取及快速分类，从而代替纹理进行在线检测、特征值提取及快速分类，从而代替了传统的手工操作，取得了良好的效果。了传统的手工操作，取得了良好的效果。系统硬件组成系统硬件组成 CCD彩彩 色色摄像摄像机机解码器解码器（PAL)图图 像像采集卡采集卡及及帧帧 存存储储 器器计算机计算机486/66彩彩 色色监视器监视器打印机打印机标准灯箱标准灯箱 皮革皮革皮料传送带皮料传送带D65光源光源1.颜色纹理特征提取颜色纹理特征提取颜色参数颜色参数:CIE1996均匀颜色空间值均匀颜色空间值 l*,a*,b*

45、纹理参数纹理参数:梯度均值梯度均值2,梯度标差梯度标差 2,及梯度及梯度墒墒T8。皮革外观由维输入矢量皮革外观由维输入矢量 I=l*,a*,b*,2,2,T8描述描述 2.SOM 神经网络的设计神经网络的设计 网络结构网络结构:6输入输入1维线阵输出。维线阵输出。聚类时每批聚类时每批100张皮，平均每件皮衣需要张皮，平均每件皮衣需要56张皮，因此将输出层设置张皮，因此将输出层设置20个神经元。每个神经元。每个神经元代表一类外观效果相似的皮料，如个神经元代表一类外观效果相似的皮料，如果聚为一类的皮料不够做一件皮衣，可以和果聚为一类的皮料不够做一件皮衣，可以和相邻类归并使用。相邻类归并使用。)(t

46、h t tp tm 3.网络参数设计网络参数设计 N j*(t)优胜邻域在训练开始时覆盖整个输出线阵，以后训练优胜邻域在训练开始时覆盖整个输出线阵，以后训练次数每增加次数每增加t=tm/P，Nj*(t)邻域两端各收缩一个神经元直至邻域内邻域两端各收缩一个神经元直至邻域内只剩下获胜神经元。只剩下获胜神经元。对对(t)采用了以下模拟退火函数：采用了以下模拟退火函数：00.95 tm5000 tp1500 4.皮革纹理分类结果皮革纹理分类结果 频频 度度 节节 点点 SOM网用于物流中心城市分类评价网用于物流中心城市分类评价 (1)物流中心城市评价指标与数据样本物流中心城市评价指标与数据样本 简单选

47、取简单选取5个评价指标作为网络输入：个评价指标作为网络输入：x1人均人均GDP(元元)，x2工业总产值工业总产值(亿元亿元)，x3社会消费品零售总额社会消费品零售总额(亿元亿元)，x4批发零售贸易总额批发零售贸易总额(亿元亿元)，x5货运总量货运总量(万吨万吨)。城城市市 X1 X2 X3 X4 X5 城城市市 X1 X2 X3 X4 X5 北北京京 27527 2738.30 1494.83 3055.63 30500 青青岛岛 29682 1212.02 182.80 598.06 29068 天天津津 22073 2663.56 782.33 1465.65 28151 烟烟台台 210

48、17 298.73 92.71 227.39 8178 石石家家庄庄 25584 467.42 156.02 763.46 12415 郑郑州州 17330 261.80 215.63 402.98 7373 唐唐山山 19387 338.67 95.73 199.69 14522 武武汉汉 17882 1020.84 685.82 1452 16244 太太原原 13919 304.13 141.94 155.22 15170 长长沙沙 26327 241.76 269.93 369.83 7550 呼呼和和浩浩特特 13738 82.23 69.27 108.12 2415 衡衡阳阳 12

49、386 61.53 63.95 72.65 3004 沈沈阳阳 21736 729.04 590.26 1752.4 15156 广广州州 42828 2446.97 1166.10 3214.19 24500 大大连连 34659 1003.56 431.83 728.08 19736 深深圳圳 152099 3079.63 609.26 801.06 5167 长长春春 24799 900.26 309.75 173.99 10346 汕汕头头 19414 192.93 112.96 280.84 1443 哈哈尔尔滨滨 20737 402.73 360.38 762.94 8814 湛湛

50、江江 15290 228.45 99.08 149.16 5524 上上海海 40788 6935.57 1531.89 3921.2 49499 南南宁宁 17715 109.39 142.08 264.32 3371 南南京京 26697 1579.21 401.20 1253.73 14120 柳柳州州 17598 256.76 68.93 159.44 3397 徐徐州州 19727 295.73 108.17 187.39 7124 海海口口 24782 100.13 81.03 142.54 2018 连连云云港港 17869 112.18 47.94 134.89 4096 成成

51、都都 22956 412.23 400.56 754.07 23724 杭杭州州 31784 1615.63 373.28 1788.29 15841 重重庆庆 9778 870.82 389.60 823.72 29470 宁宁波波 46471 751.58 167.70 529.68 11182 贵贵阳阳 13176 207.95 108.93 285.27 4885 温温州州 29781 381.93 233.44 272.84 6292 昆昆明明 24554 303.78 227.44 428.64 12084 合合肥肥 19770 330.14 140.14 328.98 2903

52、西西安安 16002 449.14 323.37 558.27 7728 福福州州 33570 379.51 209.72 613.24 7280 兰兰州州 16629 354.30 163.97 374.9 5401 厦厦门门 42039 803.29 186.55 620.47 2547 西西宁宁 7261 38.00 48.95 91.14 1837 南南昌昌 19923 238.82 14.09 348.21 3246 银银川川 12779 77.74 41.22 53.16 1573 济济南南 25642 616.97 323.08 462.39 13057 乌乌鲁鲁木木齐齐 197

53、93 251.19 129.05 277.8 9283 44个物流中心城市分类评价样本个物流中心城市分类评价样本 SOM网用于物流中心城市分类评价网用于物流中心城市分类评价 (2)物流中心城市的分类和评价分析物流中心城市的分类和评价分析 物物流流中中心心城城市市 全国性物流中心城市全国性物流中心城市区域性物流中心城市区域性物流中心城市地区性物流中心城市地区性物流中心城市综合型综合型货运型货运型SOM网用于物流中心城市分类评价网用于物流中心城市分类评价 (2)物流中心城市的分类和评价分析物流中心城市的分类和评价分析 按照按照SOM算法步骤，取开始的算法步骤，取开始的1000次迭代为排序次迭代为排

54、序阶段，学习率阶段，学习率h h=0.9；其后为收敛阶段，学习率为其后为收敛阶段，学习率为h h=0.02。将将44个数据样本归一化，输入网络进行训练。经过个数据样本归一化，输入网络进行训练。经过试验比较，最终取试验比较，最终取类别数为类别数为8，得到如下表所示的分类，得到如下表所示的分类结果。结果。类类别别 城城 市市 x1均均值值 x 2均均值值 x 3均均值值 x4均均值值 x5均均值值 1 1 北北京京，上上海海，广广州州 37048 4040.3 1397.6 3397 34833 2 2 天天津津 22073 2663.6 782.33 1465.7 28151 沈沈阳阳，南南京京

55、，杭杭州州，武武汉汉 24525 1236.2 512.64 1561.6 15340 3 3 深深圳圳 152099 3079.63 609.26 801.06 5167 4 4 大大连连，青青岛岛，成成都都，重重庆庆 24269 874.66 351.19 726.98 25500 5 5 石石家家庄庄，唐唐山山，太太原原，宁宁波波，济济南南，昆昆明明 25926 463.76 185.32 423.18 13072 6 6 长长春春，哈哈尔尔滨滨，温温州州，福福州州，厦厦门门，郑郑州州，长长沙沙，西西安安 26323 477.55 263.6 471.82 7241.3 7 7 徐徐州州

56、，合合肥肥，烟烟台台，兰兰州州，乌乌鲁鲁木木齐齐 19387 306.02 126.81 8 8 呼呼和和浩浩特特，连连云云港港，南南昌昌，衡衡阳阳，汕汕头头，湛湛江江，南南宁宁，柳柳州州，海海口口，贵贵阳阳，西西宁宁，银银川川 15994 142.18 74.868 174.15 3067.4 物流中心城市分类结果物流中心城市分类结果 权值初始化后的输出平权值初始化后的输出平面面训练过程中的输出平面训练过程中的输出平面训练过程中的输出平面训练过程中的输出平面训练过程中的输出平面训练过程中的输出平面训练过程中的输出平面训练过程中的输出平面训训练练接接近近尾尾声声的的输输出出平平面面Sphere球面球面用球用球面状面状样本样本训练训练SOM网络网络Twist扭转扭转用蝴用蝴蝶状蝶状样本样本训练训练SOM网络网络Parabola抛物面抛物面用抛用抛物面物面样本样本训练训练SOM网络网络Cubic三次曲线三次曲线用三用三次曲次曲线状线状样本样本训练训练SOM网络网络Cosine余弦余弦用余用余旋状旋状样本样本训练训练SOM网络网络