人工神经网络课件1

《人工神经网络课件1》由会员分享，可在线阅读，更多相关《人工神经网络课件1（34页珍藏版）》请在装配图网上搜索。

1、人工神经网络人工神经网络及其经济管理应用及其经济管理应用The Application of ANN to Economics & Management 第一章 导 论 什么是人工神经网络（Artificial Neural Network） 人脑结构对ANN的启示 ANN 的特点 人工神经网络的发展历史 ANN在经济管理领域的应用什么是Artificial Neural Network Neural networks are composed of simple elements operating in parallel. These elements are inspired by bi

2、ological nervous systems. As in nature, the network function is determined largely by the connections between elements. We can train a neural network to perform a particular function by adjusting the values of the connections (weights) between elements. 模拟人脑，人工智能（AI）的基础之一。人脑结构对ANN的启示 How human brain

3、 works?StimuliPreceptorEffecter人脑结构 人脑是由大量神经细胞组成的复杂网络。神经细胞与神经传导人脑功能的基础神经网络人脑功能对人脑进行模拟的两条道路 黑箱方法功能模拟电子计算机黑箱方法功能模拟电子计算机 电子计算机（或称为Von Neumann 计算机）以逻辑代数为基本原理，模拟人的逻辑思维。 人工神经网络试图模拟人脑的结构从而得到类似于人脑的功能。人脑与电脑 共同点：获取、传递、存储、处理、输出信息（知识）。 不同点： 电脑：程序性、串行工作方式、储用分离、易损（Robust）、精确性。 人脑：单元结构简单、整体结构复杂；并行处理；具有自主学习能力（环境可塑性

4、）；联想功能；遗忘功能；复杂决策；高冗余、自我恢复；非线性特征明显。ANN 的特点 ANN是AI（Artificial Intelligence）的一个分支。 致力于从结构上模仿人脑的功能。 分为软件模仿和硬件模仿。 1、采用大规模分布式结构，通过学习具有非线性输入输出影射能力。 2、通过学习存储知识，具有适应性、容错性及泛化能力（举一反三）。ANN的基本工作原理从环境样本中学习，学习的结果存储于连接之中（不可见），学习的过程叫做训练，训练成功的ANN可以用来解决特定的问题。学习的规则是ANN的核心，但学习规则与网络结构有关，以下是有监督学习的一般工作原理。ANN的软件模拟Matlab Too

5、lboxMATLAB is a high-performance language for technical computing. The name MATLAB stands for matrix laboratory. Typical uses include ：Math and computation Algorithm developmentData acquisition Modeling, simulation, and prototyping Data analysis, exploration, and visualization Scientific and enginee

6、ring graphics Application developmentincluding graphical user interface building ANN的发展历史 奠基时期 早在十九世纪初就已经有人关注人类神经活动的复制。 1943年McCulloch&Pitts发表“神经活动中蕴涵的思想与逻辑活动”成为这一领域的奠基之作，其来源是神经生理学。 1946年ENIAC建成，1948年Wiener完成Cybernetics，开创了电子计算机的时代，从不同的方面做出了贡献。 1949年，Donald Hebb提出了著名的Hebb学习规则。Hebb学习规则 “如果相互连接的两个神经元都

7、兴奋，则二者的联系将加强”“The Organization of Behavior” Hebb是一个心理学家，他的理论一开始并没有受到工程界的重视。（Why？） 但是稍后Rochester等人的研究证明，在引入控制论和信息论（Shannon）的相关约束后，Hebb规则是一贯而通用的，并构成了其他学习规则的基础。ANN的发展历史 第一次研究热潮1950s 1957年，Rosenblatt发明感知机和ADALine Widrow&Hoff 提出著名的最小均方（LMS）算法。 但出现了恶炒问题人工大脑就要问世了！ 被发现无法解决一个简单的XOR问题。 遭到Minsky和Papert等人的全面否定。

8、沉默期：要命的XOR问题 XOR（0，0）0 XOR（1，1）0 XOR（0，1）1 XOR（1，0）1(0,0)(0,1)(1,1)(1,0)复兴期：DARPA 1980年，Grossberg提出解决竞争学习问题的自适应共振理论。 1982年，Hopfield用能量函数构造了一种递归网络计算方法BP网等常用ANN的直接基础。 物质基础： 传统计算机计算能力的飞速发展为他的对手提供了理想的平台。 先进制造工艺使得制造专属于ANN的硬件成为可能。 现实世界对复杂信号处理的强烈需求美国国防部的DARPA声纳探测系统。当前ANN在经济管理领域的应用 复杂函数关系分析与逼近隐含数学模型 预测 决策支持

9、系统（神经专家系统） 因素（模式）分类与识别 优化问题 知识工程 总之，我们把ANN当做一种方法。第二章 ANN的基本原理 ANN表达的四个基本要素： 1、神经元模型结构 2、激活函数类型 3、网络模型结构 4、学习算法Simple Neuron A neuron with a single scalar input and （no） bias 神经元模型结构A neuron with a single R-element input vector 表达为有向图的神经元模型规则1：信号仅沿着定义好的箭头方向在连接上流动。规则2：节点信号输出等于进入节点信号的代数和规则3：节点信号沿每个外向连接

10、向外传递并独立于激活函数。输入信号向量连接权重诱导局部域加法器输出一个神经元的状态定义为它的输出信号或诱导局部域。激活函数类型Transfer Function 阈值函数（阶跃函数）Stephardlim(n) = 1, if n = 0; 0 otherwise.Hardlims(n) = 1, if n = 0; -1 otherwise.激活函数类型Transfer Function 线性函数linear transfer functionpurelin(n) = n激活函数类型Transfer Function 分段线性函数Saturating linear transfer func

11、tionsatlin(n) = 0, if n = 0; n, if 0 = n = 1; 1, if 1 = nsatlins(n) = -1, if n = -1; n, if -1 = n = 1; 1, if 1 = n激活函数类型Transfer Function Sigmoid函数（S形曲线）logsig(n) = 1 / (1 + exp(-n) tansig(n) = 2/(1+exp(-2*n)-1This is mathematically equivalent to tanh(n)双曲正切函数双曲正切函数网络模型结构单层前馈网源节点输入层源节点输入层神经元输出层神经元输出

12、层一个严格无圈的和前馈的网络。“单层”是指神经元输出层。源节点输入层不计算在内。网络模型结构多层前馈网源节点源节点输入层输入层隐藏神隐藏神经元层经元层神经元输出层神经元输出层一个完全连接网络。理论上隐层可以有N个。隐层的存在可以使网络具有很强的能力（如泛函逼近能力）隐层神经元的学习算法是一个难点。应用十分广泛。（如BP网）网络模型结构递归网络无隐层、无自反馈递归网络无隐层、无自反馈递归网络延迟递归网络也可以是有隐层的。左图为清晰起见没有完全连接，实际上是否完全连接取决于设计者的目的。由于反馈环的存在，这种网络可以实现非线性动态行为。让数据说话神经网络的知识表达 ANN的知识表达是内嵌的。 内嵌

13、的结果是神经元之间的连接发生变化。 整体性：单独某个连接的变化也许并无意义。 规则1：类似类似的输入通常产生类似类似的表示 规则2：不同类输入给出差别很大差别很大的表示 规则3：如果某特征很重要，则表达涉及大量的神经元 规则4：先验信息和不变性可事先附加于网络。如何让外部刺激产生知识？神经元之间连接权重的调整是表达知识的最基本方法。神经元之间连接权重的调整是表达知识的最基本方法。如何按照前述四个规则调整权重成为关键问题。如何按照前述四个规则调整权重成为关键问题。学习算法 学习算法的种类： 误差修正学习 基于记忆的学习 Hebb学习 竞争学习 Boltzmann学习学习算法的定义 学习：学习：因经验而发生的持久的行为改变。 神经网络学习神经网络学习：学习是一个过程，通过该过程神经网络的自由参数在其嵌入的环境的激励过程中得到调节。学习的类型由参数改变的方式决定。（Mendal&McClaren,1970) 学习算法学习算法：解决学习问题的一个恰当定义的规则集合。 学习算法不唯一。