《人工神经网络论文：改进BP算法在数据仓库中的应用》由会员分享，可在线阅读，更多相关《人工神经网络论文：改进BP算法在数据仓库中的应用（4页珍藏版）》请在装配图网上搜索。
1、人工神经网络论文：改进BP算法在数据仓库中的应用【中文摘要】本文的就是针对BP算法的这些局限性,如BP算法的学习速率较慢,网络会产生部分平坦区,网络权重的误差变化量在平坦区的变化几乎为零,致使整个网络的训练过程停止等,通过对算法结构及原理的分析,提出新的改进算法,使新算法较原算法在收敛速度和训练次数等方面有显著的提高。文中分别从标准权重更新公式中加入新的比例因子,并将训练中为常数的学习速率调整为随着训练逐渐改变的量,利用增益变化项可以修改本地梯度的同时给每次的迭代训练提供一个改进的梯度搜索方向,及基于拟牛顿法的LevenbergMarquardt算法三个方向分别改进。在反向传播算法中,学习速率
2、的大小直接影响着整个网络的收敛速度。因为学习速率和梯度是权重连接数变化量的直接影响因素。但是,在标准BP算法中,学习速率在网络训练开始前已经初始化为一个常数。固定学习率的梯度下降法是低效的。因此提出了一种新的高效的方法,让学习速率适时调整,即第K次网络训练的学习速率与第K-1次的学习速率有关,并在权值变化公式中在原来两个影响因子(动量因子和学习速率因子)的基础上加入一个新的比例因子来调节每一次迭代所得到的输出和目标的差异,使网络的训练更准确,并且改善了标准算法存在的.【英文摘要】The purpose of this paper is introduct a new improved algo
3、rithm through the analysis ofstructureandprincipleandthelimitationsoftheBPalgorithm,Suchaslearningrateisslowof BP algorithm, the network will have some flat areas, the weight change of the networkerror in the flat areas is almost zero, which result in the training process of the wholenetwork stops.
4、The new algorithm is better than the original algorithm in convergencespeed and frequency of training ,which has improved significantly. The paper from th.【关键词】人工神经网络 BP神经网络 比例因子 改进共轭梯度法 非二次模型 牛顿法 LevenbergMarquardt算法【英文关键词】Artificial Neural Network BP Neural Network Scale Factor Improved Conjugate
5、Gradient Method Newton Method Non-Quadratic Model Levenberg-Marquardt Algorithm【目录】改进BP算法在数据仓库中的应用摘要4-6Abstract6-7第1章 引言10-141.1 本课题的研究背景和意义10-111.2 国内外的研究现状11-121.3 本文的主要工作121.4 本文的组织结构12-14第2章 人工神经网络14-252.1 基于生物神经元的人工神经网络14-162.1.1 生物神经元模型14-152.1.2 人工神经网络原理及结构15-162.2 神经网络的分类方法16-192.2.1 基于网络结构的
6、分类方法16-182.2.2 其他分类方法18-192.3 神经网络的学习规则19-202.3.1 Hebbian 学习规则192.3.2 感知器学习规则19-202.3.3 反向传播学习规则202.4 BP神经网络20-252.4.1 BP神经网络结构20-212.4.2 BP算法的原理分析及数学模型21-232.4.3 算法程序实现23-25第3章 针对BP 算法局限性的改进25-423.1 基于动量与学习率结合的算法优化26-333.1.1 附加动量法27-283.1.2 自适应学习率283.1.3 基于附加动量与自适应学习率结合的算法改进28-333.2 基于共轭梯度法的算法优化33-
7、383.2.1 共轭梯度法33-343.2.2 优化的共轭梯度法34-383.3 基于梯度下降法及拟牛顿法的算法优化38-423.3.1 梯度下降法与拟牛顿法383.3.2 优化的Levenberg-Marquardt法38-42第4章 基于Matlab 模型的仿真实验42-514.1 仿真实验基础42-444.1.1 Matlab神经网络工具箱424.1.2 仿真模型的建立步骤42-444.2 优化算法的应用44-514.2.1 基于动量与学习率结合的算法仿真实验44-474.2.2 基于共轭梯度法的仿真实验47-494.2.3 基于梯度法与拟牛顿法的LM算法仿真实验49-51第5章 结语51-52参考文献52-54致谢54
人工神经网络论文：改进BP算法在数据仓库中的应用
