《BP神经网络》PPT课件.ppt

第2部分：BP神经网络,主要内容 一. 人工神经网络基本知识 生物神经网络、生物神经元 人工神经网络、人工神经元 人工神经网络三要素 典型激活函数 神经网络几种典型形式 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及神经网络结构的选择 五. 应用,人工神经网络 是生物神经网络的某种模型(数学模型) 是对生物神经网络的模仿 基本处理单元为人工神经元,1. 生物神经系统与生物神经元 大量生物神经元的广泛、复杂连接，形成生物神经网络 (Biological Neural Network, BNN)。 实现各种智能活动 生物神经元(neuron)是基本的信息处理单元,(1)生物神经系统 生物神经元(neuron)是基本的信息处理单元,其组成： 树突(dendrites), 接收来自外接的信息 细胞体(cell body), 神经细胞主体，信息加工 轴突(axon), 细胞的输出装置，将信号向外传递， 与多个神经元连接 突触 （synapsse), 神经元经突触向其它神经元（胞体或树突）传递信号,(2)生物神经元的基本特征 神经元之间彼此连接 神经元之间的连接强度决定信号传递的强弱 神经元之间的连接强度可以随训练改变 学习、遗忘、疲劳 -神经网络中各神经元之间连接的强弱，按外部的激励信号做自适应变化 兴奋与抑制 信号可以起兴奋作用，也可以起抑制作用 一个神经元接受信号的累积效果（综合大小，代数和）决定该神经元的状态(兴奋、抑制) 每个神经元可以有一个“阈值”,2. 人工神经网络与人工神经元,(1)基本的人工神经元模型,McCulloch-Pitts神经元模型 输入信号；链接强度与权向量； 信号累积 激活与抑制,(1) 基本的人工神经元模型,(2) 输出函数f,(2)几种常见形式的传递函数(激活函数),(2) 输出函数f,(2) 输出函数f,主要内容 人工神经网络基本知识 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及神经网络结 构的选择 五. 应用,各神经元接受来自前级的输入，并产生输出到下一级，无反馈，可用一有向无环图表示。 网络中的节点分两类：输入节点；计算节点(神经元节点) 节点按层(layer)组织 ： 第i层的输入只与第i-1层的输出相连。 输入信号由输入层输入,由第一层节点输出，传向下层， 前馈：信息由低层向高层单向流动。 - 可见层 输入层 (input layer) 输入节点所在层，无计算能力 输出层 (output layer) 节点为神经元 隐含层( hidden layer) 中间层，节点为神经元,1.前馈(forward)神经网络,具有三层计算单元的前馈神经网络结构,2. 感知器神经网络(感知器)、感知器神经元,感知器神经元,单层感知器网络,感知器神经元的传递函数 单层感知网络可以实现线性分类,2. 感知器神经网络、感知器神经元(续),(1)多层感知器(MLP) 的一致逼近性,单个阈值神经元可以实现任意多输入的与、或及与非、或非逻辑门。 任何逻辑函数可由两层前馈网络（一层计算单元）实现。 三层或三层以上的前馈网络通常称为多层感知器 多层感知器的适用范围大大超过单层网络。,3. 多层感知器（含两层以上的计算单元）,多层感知器示意,当神经元的输出函数为sigmoid等函数时，三层前馈网络(含两层计算单元)可以逼近任意的多元非线性函数。,主要内容 一. 人工神经网络基本知识、神经元与感知器 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及 神经网络结构的选择 五 应用,基于阈值神经元的多层感知器不足 隐含层不直接与外界连接，误差无法直接估计 中间层神经元的激活函数为阈值函数(或阶跃函数) 无法采用梯度下降法训练神经元权值 基于BP算法的多层感知器(BP网络) 各计算单元(神经元节点)传递函数：Sigmoid函数 误差逐层反向传播； 信号逐层正向传递,BP神经网络训练的两个阶段 (1)信号正向传递过程 输入信息从输入层经隐层逐层、正向传递，直至得到各计算单元的输出 (2)误差反向传播过程 输出层误差从输出层开始，逐层、反向传播，可间接计算隐层各单元的误差，并用此误差修正前层的权值.,BP网络的优点 特别适合于求解内部机制复杂的问题 BP网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能 具有自学习能力 网络能通过学习带正确答案的实例集自动提取“合理的”求解规则 网络具有一定的推广、概括能力。,BP网络的问题，如： BP算法的学习速度较慢 网络训练失败的可能性较大 网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定。 网络的预测能力（泛化能力、推广能力）与训练能力（逼近能力、学习能力）的矛盾 。,主要内容 一. 人工神经网络基本知识、神经元与感知器 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及神经网络结构的选择 五 应用,PART1.输入/输出数据的处理 回归或状态预测，数据处理方式有所区别 建模前输入输出数据的预处理正向标准化 建模后输入输出数据的后处理反向标准化 特征的平移 特征的尺度调整 0,1,-1,1,-a,a,0,a,PART2.神经网络的层次选择 对多层网络要确定选用几个隐含层？ 1988年Cybenko指出，若各节点均采用S型函数，则 一个隐含层足以实现任意判决分类问题； 两个隐含层足以实现输入图形的任意输出 网络层次选取依经验和情况而定，通常不宜过多。,PART3.节点数目的确定 输入层、输出层、隐含层节点数 1. 输入层节点数的确定 节点数=输入向量的维数,2.输出层节点数的确定 节点数取决于: 输出的表示方法; 类别数目； 待逼近的函数数目。 (1)两类别问题 单输出型 1个判别函数，1个输出节点 (2)多类别问题 输出节点数是类别数：“C中取1(1-of-C)” C位“0-1”二进制编码 输出节点数是二进制编码的状态数 8类问题，3位二进制数 可能会需增加1个隐含层以满足要求 (3)输出节点数是待逼近的函数个数,隐含层节点数目越大，网络学习能力越强，但不能保证预测能力好 “过学习(过拟合)” overfitting 隐含层节点不能过少，网络不能构建复杂决策面：节点数越小，网络学习能力低 -“欠学习(欠拟合)” underfitting 如何选择适当数目“隐含层”节点，以取得“过学习”与 “欠学习”之间的平衡？,3.隐含层节点数的确定,试凑法 结合问题先验知识 结合特定算法 对隐含层节点数的选择，Nielson等指出： 除了图像情况，在大多数情况下，可使用4-5个隐含层节点对应1个输入节点。 在图像情况下，像素的数目决定了输入节点的数目，此时隐含层结点可取输入结点数的10%左右。 其它经验,主要内容 一. 人工神经网络基本知识、神经元与感知器 二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 神经网络结构的选择 五 应用 回归 状态预测,1.状态预测 -参考MATLAB神经网络30个案例分析 例.基于BP神经网络的数据分类四类语音特征信号分析 每组语音信号为24维输入； 四类语音信号：民歌、古筝、摇滚、流形 共计2000组语音信号 要求：基于BP网络设计一个语音信号类别预测模型 代码：见案例1,例：,2. 回归估计 例：基于BP神经网络的公路运量(客运量、货运量)预测 公路运量与该地区人数、机动车数量、公路面积有关。 已知某地区20年的公路运量有关数据，对于未来某两年，若明确该地区人数、机动车数量、公路面积，要求：预测该地区的公路运量。 分析： (1)明确模型输入输出关系 (2)建模： 原始数据读取；数据标准化处理；网络训练； (3)模型评价： 对原始数据仿真，明确预测误差 (4)输出预测结果：对新数据预测结果,