《人工智能导论》课程研究报告总结

《《人工智能导论》课程研究报告总结》由会员分享，可在线阅读，更多相关《《人工智能导论》课程研究报告总结（18页珍藏版）》请在装配图网上搜索。

1、人工智能导论课程研究报告题目：BP 神经网络的非线性函数拟合班级：自动化 1303 班姓名：汪洋、房亮、彭正昌、蔡博、刘航、范金祥学号：2016 年 1 月 1 日目录第一章 人工智能相关介绍1.1 人工神经网络与 matlab . 31.2 人工神经网络的研究背景和意义. 31.3 神经网络的发展与研究现状. 41.4 神经网络的应用. 5第二章 神经网络结构及 BP 神经网络.52.1 神经元与网络结构. 52.2 BP 神经网络及其原理. 92.3 BP 神经网络的主要功能. 11第三章 基于 matlab 的 BP 神经网络的非线性函数拟合3.1 运用背景. 53.2 模型建立. 93

2、.3 MatLab 实现 . 11参考文献 . -15- 附录 . -17-人工智能相关介绍1.1 人工神经网络与 matlab人工神经网络（Artificial Neural Networks，NN）是由大量的、简单的处理单元（称为神经 元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高 度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适 应和自学习能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理 问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科 学、控制论、机器人学、微电子学、

3、心理学、微电子学、心理学、光计算、分子生物学等有 关，是一门新兴的边缘交叉学科。神经网络具有非线性自适应的信息处理能力，克服了传统人工智能方法对于 直觉的缺陷，因而在神经专家系统、模式识别、智能控制、组合优化、预测等领 域得到成功应用。神经网络与其他传统方法相组合，将推动人工智能和信息处理 技术不断发展。近年来，神经网络在模拟人类认知的道路上更加深入发展，并与 模糊系统、遗传算法、进化机制等组合，形成计算智能，成为人工智能的一个重 要方向。MATLAB 是一种科学与工程计算的高级语言，广泛地运用于包括信号与图 像处理，控制系统设计，系统仿真等诸多领域。为了解决神经网络问题中的研究 工作量和编程

4、计算工作量问题，目前工程领域中较为流行的软件 MATLAB，提 供了现成的神经网络工具箱（Neural Network Toolbox，简称 NNbox），为解决 这个矛盾提供了便利条件。神经网络工具箱提供了很多经典的学习算法，使用它 能够快速实现对实际问题的建模求解。在解决实际问题中，应用 MATLAB 语言 构造典型神经网络的激活传递函数，编写各种网络设计与训练的子程序，网络的 设计者可以根据需要调用工具箱中有关神经网络的设计训练程序，使自己能够从 烦琐的编程中解脱出来，减轻工程人员的负担，从而提高工作效率。1.2 人工神经网络的研究背景和意义人工神经网络是由具有适应性的简单单元组成的广泛

5、并行互连的网络，它的 组织能够模拟生物神经系统对真实世界物体所作出的交互反应。人工神经网络就是模拟人思维的一种方式，是一个非线性动力学系统，其特 色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功 能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。近年来通过对人工神经网络的研究，可以看出神经网络的研究目的和意义有 以下三点：（1 ）通过揭示物理平面与认知平面之间的映射，了解它们相互联系 和相互作用的机理，从而揭示思维的本质，探索智能的本源。（ 2）争取构造出 尽可能与人脑具有相似功能的计算机，即神经网络计算机。（ 3）研究仿照脑神经系统的人工神经网络，将在

6、模式识别、组合优化和决策判断等方面取得传统计 算机所难以达到的效果。人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法 对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家 系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网 络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来， 人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、 进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用 中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研 究开辟了新的途径。神经计算机的

7、研究发展很快，已有产品进入市场。光电结合 的神经计算机为人工神经网络的发展提供了良好条件。1.3 神经网络的发展与研究现状神经网络的发展神经网络起源于 20 世纪 40 年代，至今发展已半个多世纪，大致分为三个阶 段。1）20 世纪 50 年代-20 世纪 60 年代：第一次研究高潮自 1943 年 M-P 模型开始，至 20 世纪 60 年代为止，这一段时间可以称为神 经网络系统理论发展的初期阶段。这个时期的主要特点是多种网络的模型的产生 与学习算法的确定。2）20 世纪 60 年代-20 世纪 70 年代：低潮时期到了 20 世纪 60 年代，人们发现感知器存在一些缺陷，例如，它不能解决异

8、 或问题，因而研究工作趋向低潮。不过仍有不少学者继续对神经网络进行研究。Grossberg 提出了自适应共振理论；Kohenen 提出了自组织映射；Fukushima 提出了神经认知网络理论；Anderson 提出了 BSB 模型；Webos 提出了 BP 理论 等。这些都是在 20 世纪 70 年代和 20 世纪 80 年代初进行的工作。3）20 世纪 80 年代-90 年代：第二次研究高潮进入 20 世纪 80 年代，神经网络研究进入高潮。这个时期最具有标志性的人 物是美国加州工学院的物理学家 John Hopfield。他于 1982 年和 1984 年在美国科 学院院刊上发表了两篇文章

9、，提出了模拟人脑的神经网络模型，即最著名的 Hopfield 模型。Hopfield 网络是一个互连的非线性动力学网络，它解决问题的方 法是一种反复运算的动态过程，这是符号逻辑处理方式做不具备的性质。 20 世 纪 80 年代后期到 90 年代初，神经网络系统理论形成了发展的热点，多种模型、 算法和应用被提出，研究经费重新变得充足，使得研究者们完成了很多有意义的 工作。神经网络的现状进入 20 世纪 90 年代以来，神经网络由于应用面还不够宽，结果不够精确， 存在可信度问题，从而进入了认识与应用研究期。1）开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以 改造，以提高网络的训练速

10、度和运行的准确度。2）充分发挥两种技术各自的优势是一个有效方法。3）希望在理论上寻找新的突破，建立新的专用/通用模型和算法。4）进一步对生物神经系统进行研究，不断地丰富对人脑的认识。1.4 神经网络的应用神经网络理论的应用取得了令人瞩目的发展，特别是在人工智能、自动控制、 计算机科学、信息处理、机器人、模式识别、CAD/CAM 等方面都有重大的应用 实例。下面列出一些主要应用领域：（1）模式识别和图像处理。印刷体和手写字符识别、语音识别、签字识别、 指纹识别、人体病理分析、目标检测与识别、图像压缩和图像复制等。（2）控制和优化。化工过程控制、机器人运动控制、家电控制、半导体生 产中掺杂控制、石

11、油精炼优化控制和超大规模集成电路布线设计等。（3）预报和智能信息管理。股票市场预测、地震预报、有价证券管理、借 贷风险分析、IC 卡管理和交通管理。（4）通信。自适应均衡、回波抵消、路由选择和 ATM 网络中的呼叫接纳 识别和控制。（5）空间科学。空间交汇对接控制、导航信息智能管理、飞行器制导和飞 行程序优化管理等。2 神经网络结构及 BP 神经网络2.1神经元与网络结构人工神经网络（artificial neural network，ANN ）是模仿生物神经网络功能的一种经验模型。生物神经元受到传入的刺激，其反应又从输出端传到相联的其它 神经元，输入和输出之间的变换关系一般是非线性的。神经网

12、络是由若干简单（通 常是自适应的）元件及其层次组织，以大规模并行连接方式构造而成的网络，按 照生物神经网络类似的方式处理输入的信息。模仿生物神经网络而建立的人工神 经网络，对输入信号有功能强大的反应和处理能力。神经网络是由大量的处理单元（神经元）互相连接而成的网络。为了模拟大 脑的基本特性，在神经科学研究的基础上，提出了神经网络的模型。但是，实际 上神经网络并没有完全反映大脑的功能，只是对生物神经网络进行了某种抽象、 简化和模拟。神经网络的信息处理通过神经元的互相作用来实现，知识与信息的 存储表现为网络元件互相分布式的物理联系。神经网络的学习和识别取决于各种 神经元连接权系数的动态演化过程。若

13、干神经元连接成网络，其中的一个神经元可以接受多个输入信号，按照一 定的规则转换为输出信号。由于神经网络中神经元间复杂的连接关系和各神经元 传递信号的非线性方式，输入和输出信号间可以构建出各种各样的关系，因此可 以用来作为黑箱模型，表达那些用机理模型还无法精确描述、但输入和输出之间 确实有客观的、确定性的或模糊性的规律。因此，人工神经网络作为经验模型的 一种，在化工生产、研究和开发中得到了越来越多的用途。2.1.1 生物神经元人脑大约由 1012 个神经元组成，神经元互相连接成神经网络。神经元是大 脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤 维构成的神经细胞，其形状很

14、像一棵枯树的枝干。它主要由细胞体、树突、轴突 和突触(Synapse，又称神经键)组成。 如图 1 所示。图 1 生物神经元从神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近。 当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值 电位后，突触前膜将向突触间隙释放神经传递的化学物质。2.1.2 人工神经元归纳一下生物神经元传递信息的过程：生物神经元是一个多输入、单输出单 元。常用的人工神经元模型可用图 2 模拟。 j i =1图 2 人工神经元（感知器）示意图当神经元 j 有多个输入 xi(i=1，2,m)和单个输出 yj 时，输入和输出的关系 可表示为: ms

15、 = w x -ij i y = f ( s )j jqj其中 j 为阈值，wij 为从神经元 i 到神经元 j 的连接权重因子，f( ) 为传递函 数，或称激励函数。2.1.3 人工神经网络的构成神经元的模型确定之后，一个神经网络的特性及能力主要取决于网络的拓扑 结构及学习方法。神经网络连接的几种基本形式：1）前向网络前向网络结构如图 3 所示，网络中的神经元是分层排列的，每个神经元只与 前一层的神经元相连接。神经元分层排列，分别组成输入层、中间层（也称为隐 含层，可以由若干层组成）和输出层。每一层的神经元只接受来自前一层神经元 的输入，后面的层对前面的层没有信号反馈。输入模式经过各层次的顺

16、序传播， 最后在输出层上得到输出。感知器网络和 BP 网络均属于前向网络。图 3 前向网络结构2）从输出到输入有反馈的前向网络其结构如图 4 所示，输出层对输入层有信息反馈，这种网络可用于存储某种 模式序列，如神经认知机和回归 BP 网络都属于这种类型。图 4 有反馈的前向网络结构3) 层内互连前向网络其结构如图 5 所示，通过层内神经元的相互结合，可以实现同一层神经元之 间的横向抑制或兴奋机制。这样可以限制每层内可以同时动作的神经元素，或者 把每层内的神经元分为若干组，让每一组作为一个整体进行运作。例如，可利用 横向抑制机理把某层内的具有最大输出的神经元挑选出来，从而抑制其他神经 元，使之处

17、于无输出状态。图 5 有相互结合的前向网络结构4) 相互结合型网络相互结合型网络结构如图 6 所示，这种网络在任意两个神经元之间都可能有 连接。Hopfield 网络和 Boltzmann 机均属于这种类型。在无反馈的前向网络中， 信号一旦通过某神经元，该神经元的处理就结束了。而在相互结合网络中，信号 要在神经元之间反复传递，网络处于一种不断变化状态的动态之中。信号从某初 始状态开始，经过若干次变化，才会达到某种平衡状态。根据网络的结构和神经 元的特性，网络的运行还有可能进入周期振荡或其他如混沌平衡状态。图 6 结合型网络结构综上，可知神经网络有分层网络、层内连接的分层网络、反馈连接的分层网

18、络、互连网络等四种结构，其神经网络模型有感知器网络，线性神经网络， BP 神经网络，径向基函数网络，反馈神经网络等，本文主要学习研究了 BP 神经网 络，以及 BP 神经网络在函数逼近和样本含量估计两个实例中的应用分析。2.2 BP 神经网络及其原理2.2.1 BP 神经网络定义BP (Back Propagation)神经网络是一种神经网络学习算法。其由输入层、中 间层、输出层组成的阶层型神经网络，中间层可扩展为多层。相邻层之间各神经 元进行全连接，而每层各神经元之间无连接，网络按有教师示教的方式进行学习， 当一对学习模式提供给网络后，各神经元获得网络的输入响应产生连接权值 （Weight）

19、。然后按减小希望输出与实际输出误差的方向，从输出层经各中间层 逐层修正各连接权，回到输入层。此过程反复交替进行，直至网络的全局误差趋 向给定的极小值，即完成学习的过程。2.2.2 BP 神经网络模型及其基本原理BP 网络是一种多层前馈神经网络，由输入层、隐层和输出层组成。图 7 为 一个典型的三层 BP 网络的拓扑结构，层与层之间采用全互连方式，同一层之间 不存在相互连接 ,隐层可以有一层或多层。层与层之间有两种信号在流通：一种 是工作信号(用实线表示)，它是施加输入信号后向前传播直到在输出端产生实际 输出的信号，是输入和权值的函数。另一种是误差信号(用虚线表示), 网络实际输 出与期望输出间

20、的差值即为误差，它由输出端开始逐层向后传播。BP 网络的学 习过程程由前向计算过程和误差反向传播过程组成。在前向计算过程中，输入量 从输入层经隐层逐层计算，并传向输出层，每层神经元的状态只影响下一层神经 元的状态。如输出层不能得到期望的输出，则转入误差反向传播过程，误差信号 沿原来的连接通路返回，逐次调整网络各层的权值和阈值，直至到达输入层，再 重复向计算。这两个过程一次反复进行，不断调整各层的权值和阈值，使得网络 误差最小或达到人们所期望的要求时，学习过程结束。图7 典型Bp网络模型生物神经元信号的传递是通过突触进行的一个复杂的电化学等过程 , 在人 工神经网络中是将其简化模拟成一组数字信号

21、通过一定的学习规则而不断变动 更新的过程，这组数字储存在神经元之间的连接权重。网络的输入层模拟的是神 经系统中的感觉神经元，它接收输入样本信号。输入信号经输入层输入， 通过 隐含层的复杂计算由输出层输出，输出信号与期望输出相比较，若有误差，再将 误差信号反向由输出层通过隐含层处理后向输入层传播。在这个过程中，误差通 过梯度下降算法，分摊给各层的所有单元，从而获得各单元的误差信号，以此误 差信号为依据修正各单元权值，网络权值因此被重新分布。此过程完成后， 输 入信号再次由输入层输入网络，重复上述过程。这种信号正向传播与误差反向传 播的各层权值调整过程周而复始地进行着，直到网络输出的误差减少到可以

22、接受 的程度，或进行到预先设定的学习次数为止。权值不断调整的过程就是网络的学 习训练过程。BP 神经网络的信息处理方式具有如下特点:1）信息分布存储。人脑存储信息的特点是利用突触效能的变化来调整存储 内容， 即信息存储在神经元之间的连接强度的分布上， BP 神经网络模拟人脑 的这一特点，使信息以连接权值的形式分布于整个网络。2) 信息并行处理。人脑神经元之间传递脉冲信号的速度远低于冯诺依曼 计算机的工作速度，但是在很多问题上却可以做出快速的判断、决策和处理，这 是由于人脑是一个大规模并行与串行组合的处理系统。BP 神经网络的基本结构 模仿人脑，具有并行处理的特征，大大提高了网络功能。3）具有容

23、错性。生物神经系统部分不严重损伤并不影响整体功能，BP 神经 网络也具有这种特性，网络的高度连接意味着少量的误差可能不会产生严重的后 果，部分神经元的损伤不破坏整体，它可以自动修正误差。这与现代计算机的脆 弱性形成鲜明对比。4）具有自学习、自组织、自适应的能力。BP 神经网络具有初步的自适应与 自组织能力，在学习或训练中改变突触权值以适应环境，可以在使用过程中不断 学习完善自己的功能，并且同一网络因学习方式的不同可以具有不同的功能，它 甚至具有创新能力，可以发展知识，以至超过设计者原有的知识水平。2.3 BP 神经网络的主要功能目前，在人工神经网络的实际应用中。绝大部分的神经网络模型都采用 B

24、P 神经网络及其变化形式。它也是前向网络的核心部分，体现了人工神经网络的精 华。BP 网络主要用于以下四方面。（1）函数逼近：用输入向量和相应的输出向量训练一个网络以逼近一个函 数。（2）模式识别：用一个待定的输出向量将它与输入向量联系起来。 （3）分类：把输入向量所定义的合适方式进行分类。（4）数据压缩：减少输出向量维数以便传输或存储。3.基于 matlab 的 BP 神经网络的非线性函数拟合3.1 运用背景系统状态方程复杂的非线性系统，难以用数学方法精确建模。在这种情况下，可 以建立 BP 神经网络表达这些非线性系统。该方法把未知系统看成是一个黑箱， 首先用系统输入输出数据训练 BP 神经

25、网络，使网络能够表达该未知函数，然后 就可以用训练好的 BP 神经网络预测系统输出。先取出若干组系统的输入输出数据对 BP 网络进行有效学习，然后就可以用 BP 网络来表达这个系统，在知道系统输入参数的情况下，可以网络来预测系统的输 出值。本案例就是用 BP 网络来拟合一个标准测试函数，来说明 BP 网络的拟合能 力，并探讨了 BP 网络在使用中注意的几个问题。本案例拟合的非线性函数为y=x12+x223.2 模型建立基于 BP 神经网络的非线性函数拟合算法流程可以分为 BP 神经网络构建、BP 神 经网络训练和 BP 神经网络预测三步。BP 神经网络模块构建中确定神经网路的结构以及学习方式，

26、根据拟合函数的 形式，采用神经网络的格式为：输入层有两个节点，输出层有一个节点，隐含层 有五个节点，隐含层传递函数是tansig函数，输出层传递函数是purlin 函数。BP 神经网络构建根据拟合非线性函数特点确定 BP 神经网络结构，由于该非线 性函数有两个输入参数，一个输出参数，所以 BP 神经网络结构即输入层有 2 个 结点，中间层有 5 个结点，输出层有 1 个结点。BP 神经网络训练用非线性函数输入输出数据训练神经网络，使训练后的网络 能够预测非线性函数输出。从非线性函数中随机得到 2000 组输入输出数据，从 中随机选择 1900 组作为训练数据，用于网络训练，100 组作为测试数

27、据，用于 测试网络的拟合性能。神经网络预测用训练好的网络预测函数输出，并对预测结 果进行分析。BP 网络来拟合一个函数，说明 BP 网络在函数拟合中的作用。训练好的数据对网络性能进行预测，从而判断网络拟合函数效果。3.3 MatLab 实现1.BP 神经网络工具箱函数Matlab 软件中包含 Matlab 神经网络工具箱。它是以人工神经网络理论为基础， 用 Matlab 语言构造出了该理论所涉及的公式运算、矩阵操作和方程求解等大部 分子程序以用于神经网络的设计和训练。用户只需根据自己的需要调用相关的子 程序，即可以完成包括网络结构设计、权值初始化、网络训练及结果输出等在内 的一系列工作，免除编

28、写复杂庞大程序的困扰。目前， Matlab 神经网络工具包 包括的网络有感知器、线性网络、 BP 神经网络、径向基网络、自组织网络和回 归网络等。BP 神经网络主要用到 newff、sim 和 train3 个神经网络函数，各函 数解释如下。1、newff：BP 神经网络参数设置函数函数功能：构建一个 BP 神经网络。函数形式：net = newff（P，T，S，TF，BTF，BLF，PF，IPF，OPF，DDF） P：输入数据矩阵。T：输出数据矩阵。S：隐含层结点数。TF ：结点传递函数，包括硬限幅传递函数 hardlim ，对称硬限幅传递函数 hardlims，线性传递函数 purelin

29、e，正切 S 型传递函数 tansig，对数 S 型传递 函数 logsig。BTF：训练函数，包括梯度下降 BP 算法训练函数 traingd，动量反传的梯度下降 BP 算法训练函数 traingdm ，动态自适应学习率的梯度下降 BP 算法训练函数 traingda，动量反传和动态自适应学习率的梯度下降 BP 算法训练函数 traingdx， Levenberg_Marquardt 的 BP 算法训练函数 trainlm。BLF ：网络学习函数，包括 BP 学习规格 learngd ，带动量项的 BP 学习规则 learngdm。PF：性能分析函数，包括均值绝对误差性能分析函数 mae，均

30、方差性能分析函数 mse。IPF：输入处理函数。OPF：输出处理函数。DDF：验证数据划分函数。一般在使用过程中设置前面 6 个参数，后面 4 个参数采用系统默认参数。 2、train：BP 神经网络训练函数函数功能：用训练数据训练 BP 神经网络。函数形式：net，tr = train（NET，X，T，Pi，Ai）NET：待训练网络。X：输入数据。T：输出数据。Pi：初始化输入层条件。Ai：初始化输出层条件。net：训练好的网络。tr：训练过程记录。一般在使用过程中设置前面 3 个参数，后面 2 个参数采用系统默认参数。 3、sim：BP 神经网络预测函数、函数功能：用训练好的 BP 神经网

31、络预测函数输出。函数形式：y = sim（net，x）net：训练好的网络。x：输入数据。y：网络预测数据。2.实验结果：实际输出数据和神经网络的预测输出之间的结果对比图优势分析：神经网络预测模块既用训练好的数据对网络性能进行预测，从而判断网络拟合函 数效果。参考文献：1 李晓慧.基于 MATLAB 的 BP 神经网络的应用J . 科技信息, 2010,(26) 2 郝中华.B P神经网络的非线性思想. 洛阳师范学院学报2008.3(4)3 张玲，张钹 . 人工神经网络理及应用 . 浙江：浙江科技大学出版社， 1997.5:20-624 蒋宗礼.人工神经网络导论. 高等教育出版社，2001.5

32、:15-905 闻新、周露、王丹力、熊晓英.MATLAB 神经网络应用设计.科学出版社， 2001.5:10-506 葛哲学、孙志强编著 .神经网络与 matlab2007 实现. 北京：电子工业 出版社，2007.9:1-5附录：程序代码：% 清空环境变量clcclear% 训练数据预测数据提取及归一化%导入输入输出数据load data input output%从 1 到 2000 间随机排序k=rand(1,2000);m,n=sort(k);%随机选择 1900 组训练数据和 100 组预测数据 input_train=input(n(1:1900),:);output_train=

33、output(n(1:1900);input_test=input(n(1901:2000),:);output_test=output(n(1901:2000);%训练数据归一化 inputn,inputps=mapminmax(input_train);outputn,outputps=mapminmax(output_train);% BP 网络训练%初始化 BP 网络结构net=newff(inputn,outputn,5);%网络参数配置（迭代次数、学习率、目标） net.trainParam.epochs=100;net.trainParam.lr=0.1;net.trainPar

34、am.goal=0.00004;%网络训练net=train(net,inputn,outputn);% BP 网络预测%预测数据归一化 inputn_test=mapminmax(apply,input_test,inputps);%网络预测输出an=sim(net,inputn_test);%网络输出反归一化 BPoutput=mapminmax(reverse,an,outputps);% 结果分析figure(1)plot(BPoutput,:og)hold onplot(output_test,-*);legend(预测输出,期望输出)title(BP 网络预测输出,fontsize,12) ylabel(函数输出,fontsize,12)xlabel(样本,fontsize,12)%预测误差error=BPoutput-output_test;figure(2)plot(error,-*)title(BP 网络预测误差,fontsize,12) ylabel(误差,fontsize,12)xlabel(样本,fontsize,12)figure(3)plot(output_test-BPoutput)./BPoutput,-*); title(神经网络预测误差百分比)errorsum=sum(abs(error)