人工神经网络基本理论读nshi

《人工神经网络基本理论读nshi》由会员分享，可在线阅读，更多相关《人工神经网络基本理论读nshi（9页珍藏版）》请在装配图网上搜索。

1、word2人工神经网络根本理论 人工神经网络(artificial neural networks, ANN)，或简称神经网络，是人们在模仿人脑处理问题的过程中开展起来的一种新型智能信息处理理论，它通过大量的被称为神经元的简单处理单元构成非线性系统，对人脑的形象思维、联想记忆等进展模拟和抽象，实现与人脑相似的学习、识别、记忆等信息处理能力。神经网络在经历了60多年的曲折开展之后，在许多领域已显示出巨大的潜力和广阔的应用前景回。2. 1人工神经网络研究的开展简史 人工神经网络的研究始于20世纪40年代。半个多世纪以来，它经历了一条由兴起到衰退、又由衰退到兴盛的曲折开展过程tz40 1943年美国

2、心理学家W. S. MeCulloch和数学家W. Pitts合作，用逻辑的数学工具研究客观事件在形式神经网络中的表述，从此开创了对神经网络的理论研究。他们在分析、总结神经元根本特性的根底上，首先提出了神经元的数学模型，简称为MP模型。神经元模型的出现开创了人工神经网络研究的先河，并为以后的研究提供了依据。 1949年心理学家D. 0. Hebb提出了一种调整神经网络连接权值的规如此。他认为，学习过程是在神经元的突触上发生的，连接权值的调整正比于两个相连神经元活动状态的乘积，这就是著名的Hebb学习算法。直到现在，Hebb学习算法仍然是神经网络中一个极为重要的学习算法。 1957年F. Ros

3、enblatt首次提出了著名的感知器(Perception)模型，这是第一个真正的人工神经网络，从而确立了从系统角度研究神经网络的根底，掀起了研究人工神经网络的高潮。 1969年，美国麻省理工学院著名的人工智能专家M. Minsky和S. Papert共同出版了名为感知器的专著，指出单层的感知器神经网络只能用于线性问题的求解，而对于像XOR(异或)这样简单的非线性问题却无法求解。Minsky的悲观结论对当时神经网络的研究是一个沉重的打击。由于当时计算机技术还不够兴旺，因而很多人放弃了对神经网络的研究，致使在这以后的10年中，神经网络的研究进入了一个缓慢开展的低潮期。整个20世纪70年代，只有线

4、性神经网络模型、自组织识别神经网络模型等少数模型出现。 1982年，美国加州理工学院生物物理学家John. J. Hopf i e 1 d博士提出了著名的Hopfield网络模型。该模型首次引入了网络能量的概念，并给出了网络稳定性判据。Hopfield网络不仅在理论分析与综合上均达到了相当的深度，最有意义的是该网络很容易用集成电路来实现。这一研究成果使神经网络的研究取得了突破性进展，从而掀起了神经网络研究的新热潮。 1986年D. E. Rumelhart和J. L. McCelland与其研究小组提出了误差反向传播算法，即BP算法，成为至今影响最大、应用最广的一种神经网络学习算法，为神经网络

5、研究新高潮的到来起到了推波助澜的作用。 20世纪80年代中期以来，神经网络的应用研究取得了很大的成绩，涉与面非常广泛。国际神经网络学会于1987年正式成立，并于同年在美国圣地亚哥召开了第一届国际神经网络会议。进入20世纪90年代，随着工EEE神经网络会刊的问世，各种论文专著逐年增加，在全世界X围内逐步形成了研究神经网络前所未有的新高潮。 从众多神经网络的研究和应用成果不难看出，神经网络的开展具有强大的生命力。尽管当前神经网络的智能水平还不高，许多理论和应用性问题还未得到很好的解决，但是，随着人们对大脑信息处理机制认识的日益深化，以与不同智能学科领域之间的交叉渗透，人工神经网络必将对智能科学的开

6、展发挥更大的作用242. 2人工神经网络的根本原理2. 2. 1人工神经网络的构成要素人工神经网络是由生物神经网络抽象而来的，而最为兴旺的生物神经网络就是人类的大脑。人类的大脑大约由10“个神经细胞(Nerve Cells)组成，每个神经细胞又有10q个突触(Synapses)与其它细胞互相联结成一个非常复杂的神经网络250 图2. 1生物神经细胞结构 神经细胞是脑组织的根本单元，其结构如图2. 1所示，一个神经细胞由一个细胞体(Cell body)，一些分支凸起的树突(Dendrite)和一个单一分支的轴突(Axon) 组成。每一局部虽具有各自的功能，但相互之间是互补的。树突是细胞的输入端，

7、通过细胞体间联结的“突触承受四周细胞传出的神经冲动，当其所承受的神经冲动(工mpulse)超过某一特定的阂值(Threshold)时，这个神经细胞就会被激发，并产生一个神经冲动传递到轴突。轴突相当于细胞的输出端，其端部的众多神经末梢为信号的输出端子，用于传出神经冲动(25,26a 神经细胞具有兴奋和抑制的两种工作状态。当传入的神经冲动，使细胞膜电位升高到阂值(约为40mV)时，细胞进入兴奋状态，产生神经冲动，由轴突输出。相反，假如传入的神经冲动，使细胞膜电位下降到低于阀值时，如此细胞进入抑制状态，没有神经冲动输出。当人类的感官受到外界刺激经由神经细胞传递讯号到大脑，大脑便会下达命令传递至相关的

8、受动器(Effectors)做出反响，这样的过程往往需要经由反复的训练，才能做出适当的判断，并且记忆于脑细胞中【26。生物神经系统的示意图如图2. 2所示。 图2. 2生物神经系统示意图人工神经网络是用计算机网络系统模拟生物神经网络的一种经验模型，是对生物神经网络的假如干根本特性的抽象和模拟回。它是由大量人工神经元通过极其丰富和完善的联接而构成的自适应非线性动态系统，按照与生物神经网络相似的方式处理输入的信号，对输入信号有很强的反响和处理能力。 虽然人工神经网络有多种结构，但其最根本的处理单元人工神经元(简称神经元)是根本一样的。它可以记忆(存储)、处理一定的信息，并与其它神经元并行工作。从数

9、学的角度而言，这些神经元是对人脑细胞的高度抽象和简化的结构模型。图2. 3是一个典型的人工神经元模型:图2. 3人工神经元模型除了人工神经元这一根本的处理单元外，人工神经网络的其他要素还有2527:1、连接权值:连接权值的作用是将神经网络中的神经元联系起来，其值是随各神经元的联接程度而变化的。2,闭值:闭值可使网络能更自由地获取所要描述的函数关系，其值为恒值或可变值。3、激励函数:激励函数通常为非线性函数，它是将输入数据转化为输出的操作函数。假如干个神经元按照某种联接方式有机的联接在一起就构成了神经网络，图2. 4为人工神经网络的示意图。其中每一个神经元可以承受多个输入信号，并按照一定的规如此

10、转换为输出信号。图2. 4人工神经网络示意图 求解一个问题就是向人工神经网络的某些神经元输入信息，各神经元处理后向其它神经元输出信息，其它神经元承受并处理后再输出，直到整个神经网络工作完毕，输出最后的结果。如果通过一个实例问题“教会人工神经网络处理这个问题，即通过“学习调整好各神经元的连接权值，那么，这一类的问题它都可以解。好的学习算法会使神经网络不断积累知识，根据不同的问题自动调整权值，使神经网络具有良好的自适应性。由于人工神经网络中神经元之间复杂的联接关系和各神经元传递信号的非线性方式，使得输入和输出信号间可以构建出各种各样的映射关系，因此可以用来作为黑箱模型，表达那些用机理模型还无法准确

11、描述、但输入和输出之间确实有客观联系的规律。因此，人工神经网络作为经验模型的一种，在经济分析、市场预测等很多领域都有广阔的应用前景。2. 2. 2人工神经网络的结构 网络结构是人工神经网络一个非常重要的设计要素。单个的神经元在“计算能力上并不强，只有把许多的神经元连接起来，构成一个网络系统，才能完成复杂的“计算任务，呈现出智能的特性25根据神经元之间连接的拓扑结构上的不同，神经网络结构可分为两大类，即分层网络和相互连接型网络。分层网络又可以细分为三种互连形式:简单的前向网络、有反响的前向网络以与各层内有相互连接的前向网络24简单的前向网络如图2. 5所示，神经元分层排列，分别组成输入层、中间层

12、(也称为隐含层，可以由假如干层组成)和输出层。每一层神经元只承受来自前一层神经元的输入，后面的层对前面的层没有信号反响。感知器网络和BP网络均属于这种网络。图2. 5简单的前向网络结构有反响的前向网络结构如图2. 6所示，从输出层到输入层有信息反响，这种网络可用于存储某种模式序列，如神经认知机和回归BP网络都属于这种类型。 图2. 6有反响的前向网络结构 各层有相互连接的前向网络如图2. 7所示，通过层内神经元的相互结合，可以实同一层内神经元之间的横向抑制或兴奋机制。这样可以限制每层内可以同时工作的经元数，使整个网络的工作效率更高。 图2. 7各层有相互连接的前向网络结构互相连接型网络结构如图

13、2. 8所示，这种网络在任意两个神经元之间都有可能连接。信号要在神经元之间反复传递，网络要经过假如干次的变化，才会达到某种平衡状态。Hopfield网络和Boltzmann机均属于这种类型。图2. 8互相连接型网络结构2. 3人工神经网络的计算理论2. 3. 1人工神经元数学模型 如图2. 3所示，神经元模型相当于一个多输入单输出的非线性元件，x1,x2,. ., xm,表示第j个神经元的m个输入,w1j,w2j,., wnj表示该神经元之间的连接强度，称为连接权，wijxi，称为神经元的激活值，Yj表示第j个神经元的输出，每个神经元有一个阈值j，如果神经元输入信号的加权和超过j，神经元就处于

14、兴奋状态。以数学表达式描述为: 式中f()是神经元的激励函数，它通常是有界的、分段可微的函数【24。常用的激励函数有以下几种形式:阈值型、线性型、S型和双极型等。图2. 9给出了S型函数和双极型函数的图形。图2. 9 S型函数和双极型函数的特性曲线S型函数: 它的导函数为: 它们的输出X围都为(0，1 。双极型函数: 它的导函数为:它们的输出X围都为(-1, 1. 学习方式是人工神经网络设计中的一个重要方面。在学习的过程中，主要是网络的连接权值产生了相应的变化，也就是说学习的过程就是调解权值的过程。神经网络主要的学习方式有:有导师学习、无导师学习和再励学习327。有导师的学习方式需要外界存在一

15、个“导师，它对于一组给定的输入提供相对应的输出结果，即在己知输入和期望输出的情况下进展的学习。这组己知的输入输出数据称为训练样本集。学习系统可以根据仿真输出与期望输出之间的差值来调节系统参数。图2. 10给出了有导师学习结构图。图2. 10有导师学习结构图无导师型的学习没有现成的信息作为响应输出的校正，因而它的学习是靠对信息的观察来实现的，学习系统完全按照环境所提供数据的某些统计规律来调节自身参数或结构，以表示外部输入的某些固有特性。图2. 11给出了无导师学习结构图。图2. 11无导师学习结构图 此外，还有一种学习方式介于上述两种情况之间，即再励学习。这种学习方式下，外部环境对系统输出结果只

16、给出评价而不是给出正确答案，学习系统通过强化那些受到奖励的动作来改善自身性能。图2. 12给出了再励学习结构图。 图2. 12再励学习结构图本文主要讨论的是有导师学习方式的网络模型、算法和应用问题。2. 4 BP神经网络的根本原理神经网络的种类很多，而BP神经网络是其中最重要的一种。与其它传统模型相比，BP神经网络有更好的适应性，因而在模式识别、函数关系拟合、智能控制等领域已经有了较广泛的应用，取得了相当好的效果。2. 4. 1 BP神经网络的根本概念 BP神经网络的全称为误差反向传播多层前向神经网络，它是多层前向神经网络的一种。在这种网络中，各神经元承受前一层的输入，并输出给下一层，没有反响

17、，故称之为前向网络。一个典型的三层BP网络的结构如图2. 13所示。 图2. 13三层BP网络的拓扑结构 BP网络的学习算法是它能成功应用的一个关键。目前广泛使用的BP神经网络学习算法是Rumeihart于1986年提出的误差反向传播算法，一般称之为BP算法。BP算法是对网络连接权校正的一种训练方法，它利用实际输出与期望输出之差对网络的各层连接权由后向前逐层反向传播进展校正。由于误差反向传播算法英文写作ErrorBack-Propagation Training，意即从后向前计算，故人们把采用这种算法进展误差校正的多层前馈网络称为BP网络25 BP网络按有导师学习方式进展训练，当一对输入输出模

18、式提供应网络后，其神经元的激励函数值将从输入层经各中间层向输出层传播，在输出层的各神经元输出对应于输入模式的网络响应。然后，按照减少期望输出与实际输出误差的原如此，从输出层经各中间层、最后回到输入层逐层修正各连接权。BP网络包含了神经网络理论中精华的局部，由于其结构简单、可塑性强，特别是它数学意义明确、步骤清楚的学习算法，使其得到了广泛的应用。3. 2 BP网络预测交通量的流程和方法 人工神经网络应用于预测领域最早始于上个世纪80年代。与传统的预测方法相比，人工神经网络预测具有许多优越性，如可以监视生产过程，能确定因果关系，其精度比一般统计方法高，同时其计算的复杂性和计算量也低于一般统计方法。

19、3. 2. 1 BP网络预测交通量的流程 利用BP神经网络预测交通量分为三大步骤:第一步为训练样本的准备和归一化;第二步为神经网络的训练;第三步利用训练后的神经网络对交通量进展预测。根据Kolmogrov定理:任意一个连续函数f: (0,1)nRm都可以用一个三层的前向神经网络来实现，给定任意0，它可以在任意平方误差精度内逼近f。因此，在构建交通量预测神经网络模型中，可选用三层的BP网络结构，即1个输入层，1个隐含层，1个输出层。基于BP网络的交通量预测模型的学习过程流程图如图3. 4所示:图3. 4基于BP网络的交通量预测模型学习过程框图3. 2. 3 BP网络预测短时交通量的方法 短时交通

20、量的变化在时空上是一个渐进的过程，具有一定的规律性。路网上的各个路段，特别是相邻路段间的交通流量存在一定的相关性，而且各路段每天的交通量在时间上的分布具有统计规律性。从时间上看，路段交通流每天的顶峰和平峰分布规律具有一定的稳定性，一般来说路段上每天有两个顶峰:早顶峰和晚顶峰。在从空间上看，道路路段上的交通流量与本路段前几个时段的交通流量有着必然的联系，路段的交通情况也必然受到上下游路段交通情况的影响，这样便可以利用预测路段前几个时段的交通流量数据，以与上下游路段前几个时段的交通流量数据来预测特定路段的交通流量。 根据上述特点，按照输入数据在地点上的分布情况可以将神经网络预测模型分成以下两种:基

21、于单点时间序列的预测模型和基于多点时间序列的预测模型同。单点时间序列预测模型是指神经网络的输入数据全部来自于同一个检测点多点时间序列预测模型是指输入数据来自于多个检测点。 模型只考虑在单一检测点交通流量在时间上的变化规律，不考虑各路段交通流量之间的相关关系，所选择的模型输入只包含与当前检测点的交通流量相关的数据。 模型考虑在多个检测点交通流量在时间上的变化规律，输入信息来自于路段上的多个检测点，在对交通流量进展预测时，把预测检测点与其相邻检测点的数据作为输入变量。 图3. 6是一个交又口结构示意图，qN (t) qw (t) qs (t) qE (t)分别表示上游交叉口t时刻北方位、西方位、南

22、方位、和东方位各进口的交通量，q(t)是t时刻东方位出口的交通量，v(t)是t (t = t +t)时刻进入下游路段的交通量。图3. 6交叉口结构示意图 显然t时刻q(t)主要由以下三局部组成:qw (t)中的直行交通量qwr(t),qs(t)中 右转交通量qsR (t)和qN (t)中的左转交通量qNL (t) 0 qe (t)中可能有少量的掉头车辆，但其数量很小，这里忽略不计。因此有q(t) = qsR (t)+qWT (t) + qNL (t)。上游交叉口的驶出交通量q(t)在t时刻后到达下游路段(t为上下游之间的行驶时间)，这里假设上下游之间没有吸引大量交通的大型公共设施建筑(诸如大型

23、商场、超市、公共停车场等)，因此，q(t)在汇入或别离一些交通量后形成了下游路段进口的交通量(t)35。在预测下游路段交通量v(t)时，考虑其上游交叉口的交通量q(t)以与v(t)的前期交通量(v(t), v(t -t),等，因此在确定相关要素时可考虑采用多种方案进展比拟，在各种方案中选取比拟理想的方案作为神经网络的输入。例如，输入可利用上游节点t时刻各进口的交通量，即qSR (t), qWT (t), qNL (t)，以与预测路段断面之前四个时刻的交通量，即v(t-t),v(t一2t), v(t-3t),v(t-2他)，作为输入层的7个单元。 在此进展短时交通量预测应用时，由于现有的交通数据的限制，因此采用的是单点时间序列预测法。将预测路段断面前几个时刻的交通量v(t - at) (a=0,1,2，)作为神经网络的输入，输出即为下游路段要预测的交通量v(t ).9 / 9