人工神经网络讲稿ch4课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《人工神经网络讲稿ch4课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工 神经网络 讲稿 ch4 课件
- 资源描述:
-
1、2/4/2023人工神经网络讲稿ch41第第4章章 BP网络网络 主要内容主要内容:BP网络的构成网络的构成隐藏层权的调整分析隐藏层权的调整分析 Delta规则理论推导规则理论推导算法的收敛速度及其改进讨论算法的收敛速度及其改进讨论 BP网络中的几个重要问题网络中的几个重要问题 重点:重点:BP算法算法 难点:难点:Delta规则的理论推导规则的理论推导 2/4/2023人工神经网络讲稿ch424.1 概述概述 1、BP算法的出现算法的出现非循环多级网络的训练算法非循环多级网络的训练算法UCSD PDP小组的小组的Rumelhart、Hinton和和Williams1986年年独立地给出了独立
2、地给出了BP算法清楚而简单的描述算法清楚而简单的描述1982年,年,Paker就完成了相似的工作就完成了相似的工作1974年,年,Werbos已提出了该方法已提出了该方法2、弱点、弱点:训练速度非常慢、局部极小点的逃离问题、:训练速度非常慢、局部极小点的逃离问题、算法不一定收敛算法不一定收敛3、优点:、优点:广泛的适应性和有效性。广泛的适应性和有效性。2/4/2023人工神经网络讲稿ch434.2 基本基本BP算法算法 4.2.1 网络的构成网络的构成 神经元的网络输入:神经元的网络输入:neti=x1w1i+x2w2i+xnwni神经元的输出:神经元的输出:netenetfo11)()1()
3、()1(1)(22ooooeenetfnetnet2/4/2023人工神经网络讲稿ch44输出函数分析输出函数分析 0.5f(net)0.25o0 11(0,0.5)net(0,0)oneteo11应该将应该将net的值尽量控制在收敛比较快的范围的值尽量控制在收敛比较快的范围内内可以用其它的函数作为激活函数,只要该函数可以用其它的函数作为激活函数,只要该函数是处处可导的是处处可导的2/4/2023人工神经网络讲稿ch45网络的拓扑结构网络的拓扑结构x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxnW(1)W(2)W(3)W(L)2/4/2023人工神经网络讲稿ch46网络的拓扑结构网
4、络的拓扑结构 BP网的结构网的结构输入向量、输出向量的维数、网络隐藏层输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定的层数和各个隐藏层神经元的个数的决定实验:增加隐藏层的层数和隐藏层神经元实验:增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能个数不一定总能够提高网络精度和表达能力力BPBP网一般都选用二级网络网一般都选用二级网络2/4/2023人工神经网络讲稿ch47网络的拓扑结构网络的拓扑结构x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxnWV2/4/2023人工神经网络讲稿ch484.2.2 训练过程概述训练过程概述 样本:样本:(输
5、入向量,理想输出向量输入向量,理想输出向量)权初始化:权初始化:“小随机数小随机数”与饱和状态;与饱和状态;“不不同同”保证网络可以学。保证网络可以学。1 1、向前传播阶段:、向前传播阶段:(1)从样本集中取一个样本)从样本集中取一个样本(Xp,Yp),将,将Xp输入网络;输入网络;(2)计算相应的实际输出)计算相应的实际输出Op:Op=Fl(F2(F1(XpW(1)W(2)W(L)2/4/2023人工神经网络讲稿ch494.2.2 训练过程概述训练过程概述 2 2、向后传播阶段、向后传播阶段误差传播阶段:误差传播阶段:(1)计算实际输出)计算实际输出Op与相应的理想输出与相应的理想输出Yp的
6、差;的差;(2)按极小化误差的方式调整权矩阵。)按极小化误差的方式调整权矩阵。(3)网络关于第)网络关于第p p个样本的误差测度:个样本的误差测度:mjpjpjpoyE1221(4)网络关于整个样本集的误差测度:网络关于整个样本集的误差测度:ppEE2/4/2023人工神经网络讲稿ch4104.2.3 误差传播分析误差传播分析 1、输出层权的调整、输出层权的调整wpq=wpq+wpqwpq=qop=fn(netq)(yq-oq)op=oq(1-oq)(yq-oq)op wpqANpANq第第L-1层层第第L层层wpq2/4/2023人工神经网络讲稿ch4112 2、隐藏层权的调整、隐藏层权的调
7、整 ANpANqANhvhppk-11kwp1wpqqkwpmmk第第k-2层层第第k层层第第k-1层层2/4/2023人工神经网络讲稿ch4122 2、隐藏层权的调整、隐藏层权的调整pk-1的值和的值和1k,2k,mk 有关有关不妨认为不妨认为pk-1通过权通过权wp1对对1k做出贡献,做出贡献,通过权通过权wp2对对2k做出贡献,做出贡献,通过权通过权wpm对对mk做出贡献。做出贡献。pk-1=fk-1(netp)(wp11k+wp22k+wpmm k)2/4/2023人工神经网络讲稿ch4132 2、隐藏层权的调整、隐藏层权的调整vhp=vhp+vhp vhp=pk-1ohk-2=fk-
8、1(netp)(wp11k+wp22k+wpmmk)ohk-2=opk-1(1-opk-1)(wp11k+wp22k+wpmmk)ohk-2ANpANqANhvhppk-11kwp1wpmqkwpqmk第第k-2层层第第k层层第第k-1层层2/4/2023人工神经网络讲稿ch4144.2.4 基本的基本的BP算法算法 样本集:样本集:S=(X1,Y1),(,(X2,Y2),),(,(Xs,Ys)基本思想基本思想:逐一地根据样本集中的样本逐一地根据样本集中的样本(Xk,Yk)计算出实际输计算出实际输出出Ok和误差测度和误差测度E1,对,对W(1),W(2),W(L)各各做一次调整,重复这个循环,
9、直到做一次调整,重复这个循环,直到Ep do 4.1 E=0;2/4/2023人工神经网络讲稿ch416算法算法4-1基本基本BP算法算法 4.2 对对S中的每一个样本(中的每一个样本(Xp,Yp):):4.2.1 计算出计算出Xp对应的实际输出对应的实际输出Op;4.2.2 计算出计算出Ep;4.2.3 E=E+Ep;4.2.4 根据相应式子调整根据相应式子调整W(L);4.2.5 k=L-1;4.2.6 while k0 do 4.2.6.1 根据相应式子调整根据相应式子调整W(k);4.2.6.2 k=k-1 4.3 E=E/2.0 2/4/2023人工神经网络讲稿ch4174.3 算法
展开阅读全文