BP神经网络与RBF神经网络课件.ppt

1、BP神经网络与神经网络与RBF神经网络神经网络隐含层和输出层的激活函数采用对数-S型激活函数1()1 exp()yg xx(1)BP网络BP网络的前馈计算隐含层的第i个神经元在样本p作用下的输入为：11(1,2,)MMpppiijjiijjijjnetw ow xiq隐含层的第i个神经元的输出为：()(1,2,)ppiiog netiq输出层第k个神经元的总输入为：1(1,2,)qppkkiikinetw okL输出层的第k个神经元的实际输出为：()(1,2,)ppkkog netkLBP网络权系数的调整规则对于每一样本p的输入模式对的二次型误差函数为：211()2LpppkkkJtoBP学习

2、算法的基本原理是梯度最速下降法，它的中心思想是调整权值使网络总误差最小。学习过程按使误差函数Jp减小最快的方向调整加权系数直到获得满意的加权系数为止。因此，权系数应按Jp函数梯度变化的反方向调整，使网络逐渐收敛。(1)()ppkikikiwkwko(1)()ppijijijw kw ko(1)()pppppkkkkkooto1(1)()Lppppiiikkikoow输出层的神经元权系数修改公式：隐含层的神经元权系数修改公式：BP网络学习算法的计算步骤1.初始化：置所有的加权系数为最小的随机数；2.提供训练集：给出输入向量p和期望的输出向量t。3.计算实际输出；4.计算期望值与实际输出的；5.调

3、整输出层的加权系数；6.调整隐含层的加权系数；7.返回步骤（3），直到误差满足要求为止。初始化 加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值pjopjhjihkjkpjopkokjokjxtwtwOtwtw)()1()()1(改变训练样板训练样终止？迭代终止？BP算法的基本流程NoNoyy 4 RBF网络的逼近 采用RBF网络逼近一对象的结构如图2所示。图图2 RBF神经网络逼近神经网络逼近 TnxxxX,.,21Th.,h,hm21jhHmjbXjj,2,1),2C-exp(-h22jTn21jcc,c Cjijjjc T21,Bmbbbjb,W21mjwww

4、w h+w+h+whw=whkymmm2211)(2m(k)-(k)(21yykE)(5 RBF网络的学习算法 RBF神经网络学习算法需要求解的参数有3个：基函数的中心、隐含层到输出层权值以及节点基宽参数。根据径向基函数中心选取方法不同，RBF网络有多种学习方法，如梯度下降法、随机选取中心法、自组织选区中心法、有监督选区中心法和正交最小二乘法等。BPBP网络与网络与RBFRBF网络应用网络应用 2.1 BPNN和和RBFNN的函数逼近仿真的函数逼近仿真以函数 为例进行逼近，函数图象为：328sin0.410,0,5yxxx2.1 BPNN2.1 BPNN和和RBFNNRBFNN的函数逼近仿真的

5、函数逼近仿真（1）采样。采样点为0:0.1:5，即从0开始每隔0.1采样一直至5，把其作为输入样本.然后计算其相对应的函数值，把其作为目标样本。（2）分别建立BPNN和RBFNN，并用上一步骤所成的训练样本进行反复地训练并调整网络结构，直到满足要求。2.1 BPNN2.1 BPNN和和RBFNNRBFNN的函数逼近仿真的函数逼近仿真BP网络训练图网络训练图从图中可看出，RBF网络比BP网络快102-104倍，且能达到更好的精度。2.1 BPNN2.1 BPNN和和RBFNNRBFNN的函数逼近仿真的函数逼近仿真（3）在样本数据中产生训练样本，并分别用BP网络和RBF网络进行训练。结果如下：两种

6、网络对训练样本的逼近能力比较图两种网络对训练样本的逼近能力比较图从图中可以看出两种网络的逼近精度都非常高，几乎达到了完全逼近。但是RBF网络比BP网络精度更高。2.1 BPNN2.1 BPNN和和RBFNNRBFNN的函数逼近仿真的函数逼近仿真（4）产生测试样本，并分别用两种网络对测试样本进行仿真并进行比较，从而得出两种网络的推广能力。从图中可以看出RBF网络对测试样本的逼近能力要明显的高于BP网络。2.1 BPNN2.1 BPNN和和RBFNNRBFNN的函数逼近仿真的函数逼近仿真（5）同（1）的采样频率再产生一组新的样本，用两种网络对新样本进行仿真并进行比较，即可得出它们对待逼近函数的整体

7、逼近能力的差别。从图中可以看出，RBF网络在整体逼近上也明显优于BP网络。2.1 BPNN2.1 BPNN和和RBFNNRBFNN的函数逼近仿真的函数逼近仿真（6）对原函数以0:0.1:5采样并加以标准差为0.3的高斯噪声产生的点作为训练样本，并分别用两种网络进行仿真，即可得出二者抗噪声干扰能力的差别。从图中可以看出RBF网络比BP网络抗噪声干扰能力更强。2.1 BPNN2.1 BPNN和和RBFNNRBFNN的函数逼近仿真的函数逼近仿真结论结论 通过分析可以看出，通过分析可以看出，RBFNN具有具有很好的函数很好的函数逼近能力逼近能力，并且，并且收敛速度快收敛速度快，抗干扰能力较强抗干扰能力

8、较强;它还具有它还具有唯一最佳逼近点唯一最佳逼近点的优点的优点.由于由于RBFNN输出与网络的连接权值是线性关系输出与网络的连接权值是线性关系，这使估计方法简化，避免学习中反复迭代过，这使估计方法简化，避免学习中反复迭代过程，程，RBFNN收敛速度比改进的收敛速度比改进的BPNN快很多快很多，并且并且RBFNN比比BPNN的的稳定性更好稳定性更好。总而言之。总而言之，RBFNN具有结构简单、训练速度快、稳定性具有结构简单、训练速度快、稳定性好、诊断精度高等优点。好、诊断精度高等优点。RBF神经网络与BP神经网络都是非线性多层前向网络，它们都是通用逼近器。对于任一个BP神经网络，总存在一个RBF

9、神经网络可以代替它，反之亦然。但是这两个网络也存在着很多不同点，这里从网络结构、训练算法、网络资源的利用及逼近性能等方面对RBF神经网络和BP神经网络进行比较。RBF神经网络与神经网络与BP神经网络的比较神经网络的比较（1）从网络结构上看。BP神经网络实行权连接，而RBF神经网络输入层到隐层单元之间为直接连接，隐层到输出层实行权连接。BP神经网络隐层单元的转移函数一般选择非线性函数（如反正切函数），RBF神经网络隐层单元的转移函数是关于中心对称的RBF（如高斯函数）。BP神经网络是三层或三层以上的静态前馈神经网络，其隐层和隐层节点数不容易确定，没有普遍适用的规律可循，一旦网络的结构确定下来，在

10、训练阶段网络结构将不再变化；RBF神经网络是三层静态前馈神经网络，隐层单元数也就是网络的结构可以根据研究的具体问题，在训练阶段自适应地调整，这样网络的适用性就更好了。2）从训练算法上看。BP神经网络需要确定的参数是连接权值和阈值，主要的训练算法为BP算法和改进的BP算法。但BP算法存在许多不足之处，主要表现为易限于局部极小值，学习过程收敛速度慢，隐层和隐层节点数难以确定；更为重要的是，一个新的BP神经网络能否经过训练达到收敛还与训练样本的容量、选择的算法及事先确定的网络结构（输入节点、隐层节点、输出节点及输出节点的传递函数）、期望误差和训练步数有很大的关系。RBF神经网络的训练算法在前面已做了

11、论述，目前，很多RBF神经网络的训练算法支持在线和离线训练，可以动态确定网络结构和隐层单元的数据中心和扩展常数，学习速度快，比BP算法表现出更好的性能。（3）从网络资源的利用上看。RBF神经网络原理、结构和学习算法的特殊性决定了其隐层单元的分配可以根据训练样本的容量、类别和分布来决定。如采用最近邻聚类方式训练网络，网络隐层单元的分配就仅与训练样本的分布及隐层单元的宽度有关，与执行的任务无关。在隐层单元分配的基础上，输入与输出之间的映射关系，通过调整隐层单元和输出单元之间的权值来实现，这样，不同的任务之间的影响就比较小，网络的资源就可以得到充分的利用。这一点和BP神经网络完全不同，BP神经网络权

12、值和阈值的确定由每个任务（输出节点）均方差的总和直接决定，这样，训练的网络只能是不同任务的折中，对于某个任务来说，就无法达到最佳的效果。而RBF神经网络则可以使每个任务之间的影响降到较低的水平，从而每个任务都能达到较好的效果，这种并行的多任务系统会使RBF神经网络的应用越来越广泛。总之，RBF神经网络可以根据具体问题确定相应的网络拓扑结构，具有自学习、自组织、自适应功能，它对非线性连续函数具有一致逼近性，学习速度快，可以进行大范围的数据融合，可以并行高速地处理数据。RBF神经网络的优良特性使得其显示出比BP神经网络更强的生命力，正在越来越多的领域内替代BP神经网络。目前，RBF神经网络已经成功地用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。谢谢