人工神经网络(同名283)课件.ppt

1、胞体胞体(Soma)树突（树突（Dendrite）胞体胞体(Soma)轴突（轴突（Axon）突触（突触（Synapse）2、工作过程、工作过程o1多输出感知器多输出感知器x1x2o2omxn输入层输入层输出层输出层1.初始化权向量初始化权向量W；2.重复下列过程，直到训练完成：重复下列过程，直到训练完成：2.1对每个样本（对每个样本（X，Y），重复如下过程：），重复如下过程：2.1.1输入输入X；2.1.2计算计算o=F（XW）；）；2.1.3如果输出不正确，则如果输出不正确，则当当o=0时，取时，取W=W+X，当当o=1时，取时，取W=W-Xo1多输出感知器多输出感知器x1x2o2omxn输

2、入层输入层输出层输出层1.初始化权矩阵初始化权矩阵W；2.重复下列过程，直到训练完成：重复下列过程，直到训练完成：2.1对每个样本（对每个样本（X，Y），重复如下过程：），重复如下过程：2.1.1输入输入X；2.1.2计算计算O=F（XW）；）；2.1.3forj=1tomdo执行如下操作：执行如下操作：ifojyjthenifoi=0thenfori=1tonwij=wij+xielsefori=1tondowij=wij-xi1用适当的小伪随机数初始化权矩阵用适当的小伪随机数初始化权矩阵W；2.初置精度控制参数初置精度控制参数，学习率，学习率，精度控制变量，精度控制变量d=+1；3Whil

3、eddo3.1d=0；3.2for每个样本（每个样本（X，Y）do3.2.1输入输入X（=(x1，x2，xn)）；）；3.2.2求求O=F（XW）；）；3.2.3修改权矩阵修改权矩阵W：fori=1ton，j=1tomdowij=wij+(yj-oj)xi；3.2.4累积误差累积误差forj=1tomdod=d+(yj-oj)2g（x，y）y01x001110 x1ANmAN1ANoxnonetenetfo11)()1()()1(1)(22ooooeenetfnetnet0.5f(net)0.25o01 1（0,0.5）net（0,0）oneteo11x1o1输出层输出层隐藏层隐藏层输入层输入

4、层x2o2omxnW(1)W(2)W(3)W(L)x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxnWVmjpjpjpoyE1221（4）网络关于整个样本集的误差测度：网络关于整个样本集的误差测度：ppEE1、输出层权的调整、输出层权的调整wpq=wpq+wpqwpq=qop=fn(netq)(yq-oq)op=oq(1-oq)(yq-oq)op wpqANpANq第第L-1层层第第L层层wpq ANpANqANhvhppk-11kwp1wpqqkwpmmk第第k-2层层第第k层层第第k-1层层pk-1的值和的值和1k，2k，mk有关有关不妨认为不妨认为pk-1通过权通过权wp1对对

5、1k做出贡献，做出贡献，通过权通过权wp2对对2k做出贡献，做出贡献，通过权通过权wpm对对mk做出贡献。做出贡献。pk-1=fk-1(netp)(wp11k+wp22k+wpmmk)ANpANqANhvhppk-11kwp1wpmqkwpqmk第第k-2层层第第k层层第第k-1层层sppEE1sppEE1误差测度误差测度m1k2kk)oy(21EsppEE1ijijwEwwijijwEE0，此时，此时wij0取取ijwEE0wijijjjijwnetnetEwE而其中的而其中的 kkkjjownet所以，所以，iijkkkjijjowowwnetijijkkkjjijjjijonetEwow

6、netEwnetnetEwE令令jjnetE所以所以wij=joi为学习率为学习率)net(fnetojjj)net(foEnetooEnetEjjjjjjj从而从而)()(22()21(21212jjjjjjjjmkkkjoyoyooyooyoE所以，所以，)net(f)oy(jjjj故，当故，当ANj为输出层的神经元时，它对应为输出层的神经元时，它对应的联接权的联接权wij应该按照下列公式进行调整：应该按照下列公式进行调整：ijjjijijijijo)oy)(net(fwowwjjjjjnetooEnetE)net(fnetojjj)net(foEjjjm1k2kk)oy(21E函数netk=hH1iiikowhH1kjkkj)onetnetE(oEjkjH1iiikjkwoowonethojo2o1oHhnetk是是oj下一级的神下一级的神经元的网络输入经元的网络输入hhH1kjkkH1kjkkjwnetEonetnetEoE hH1kjkkjwoEkknetE)net(fw)net(foEjH1kjkkjjjh)net(fwjH1kjkkjhijH1kjkkijo)net(fwwhijH1kjkkijijo)net(fwwwh本站点AD