神经网络控制课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《神经网络控制课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 控制 课件
- 资源描述:
-
1、第一节 引言 模糊控制解决了人类语言的描述和推理问题,为模拟人脑的感知推理等智能行为迈了一大步。但是在数据处理、自学习能力方面还有很大的差距。人工神经网络就是模拟人脑细胞的分布式工作特点和自组织功能实现并行处理、自学习和非线性映射等能力。1943年,心理学家McCmloch和数学家Pitts合作提出里神经元数学模型(MP);1944年,Hebb提出的改变神经元连接强度的Hebb规则;1957年,Rosenblatt引进感知概念;1976年,Grossberg基于生理和心理学的经验,提出了自适应共振理论;1982年,美国加州工学院物理学家Hopfield提出了HNN模型;1986年,Rummel
2、hart等PDF研究小组提出了多层前向传播网络的BP学习算法。研究神经元网络系统主要有三个方面的内容:神经元模型、神经网络结构、神经网络学习方法。从神经元模型来分有:线性处理单元、非线性处理单元;从网络结构来分有:前向网络、反馈网络和自组织网络。神经元网络的特点:1)非线性2)分布处理3)学习并行和自适应4)数据融合5)适用于多变量系统6)便于硬件实现人工神经网络前向网络反馈网络自组织网络CMACMLPHopfieldRNNKohonenARTBoltzman Machine图4-1 神经网络结构分类示意图 人脑大约包含1012个神经元,分成约1000种类型,每个神经元大约与102104个其他
3、神经元相连接,形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单,但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式。同时,如此大量的神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。从生物控制论的观点来看,神经元作为控制和信息处理的基本单元,具有下列一些重要的功能与特性:时空整合功能 兴奋与抑制状态 脉冲与电位转换 神经纤维传导速度 突触延时和不应期 学习、遗忘和疲劳 图4-2 神经元结构模型X1X2XnWi1Wi2WinUiyiSi神经元是生物神经系统的基本单元。神经元模型是生物神经元的抽象和模拟。神经元一般是多输入-三输出的非线性器件
4、。图中 为神经元内部状态;为阀值;为输入信号,j=1,2,3,.n;表示从单元 到单元 的连接系数,为外部输入信号。iuiixijwjuiuis)34()()()24()()14(iiiiiiijjijiNethugyNetfusxwNet图4-2 神经元结构模型X1X2XnWi1Wi2WinUiyiSi假如,即 ,常用的神经元非线性特性有四种:iiuug)()(iiNetfy(1)、阀值型iNet(2)、分段线性型iliiliiiiiiNetNetfNetNetNetkNetNetNetNetfmax000)(iNetilNet0iNet(3)、Sigmoid函数型TNetiieNetf11
5、)(iNet0001)(iiiNetNetNetf(4)、Tan函数型TNetTNetTNetTNetiiiiieeeeNetf)(二、神经网络的模型分类(1)、神经元层次模型 研究由单个神经元的动态特性和自适应特性;(2)、组合式模型由几种互相补充、互相协作的神经元组成,完成特定的任务;(3)、网络层次模型由众多相同的神经元相互连接而成的网络,研究神经网络的整体性能;(4)、神经系统层次模型一般有多个神经网络构成,以模拟生物神经系统更复杂、更抽象的特性。典型的神经网络有:BP网、Hopfield网络、CMAC小脑模型、ART自适应共振理论、BAM双向联想记忆、SOM自组织网络、Blotzma
6、n机网络和Madaline网络等等根据联结方式分:(1)、前向网络神经元分层排列,组成输入层、隐含层和输出层。每层只能够接受前一层神经元的输入。(2)、反馈网络在输入层到输出层存在反馈。(3)、相互结合型网络相互结合网络属于网络结构。任意两个神经元之间可能有连接。(4)、混合型网络层次形型网络和网状结构网络的一种结合。输入输出输入输出(a)(b)(c)(d)三、神经网络的学习算法学习的实质就是针对一组给定输入Xp使网络产生相应的期望的输出的过程。网络学习分两大类:1、有导师学习存在一个期望的网络输出。期望输出和实际输出之间的距离作为误差度量并用于调整权值。2、无导师学习没有直接的误差信息,需要
7、建立一个间接的评价函数,以对网络的某种行为进行评价。学习规则根据连接权系数的改变方式分:(1)、相关学习根据连接之间的激活水平改变权系数。(2)、纠错学习依赖关于输出节点的外部反馈改变权系数。(3)、无导师学习学习表现为自动实现输入空间的检测和分类。第二节 前向神经网络模型 前向神经网络是由一层或者多层非线性处理单元组成的。相邻层之间通过突触权连接起来。由于前一层的输出作为下一层的输入,因此,称此类网络结构为前向神经网络。一、单一人工神经元)(x1X1X2Xn01w2wnwy图4-11 单一人工神经元示意图)()(1010njjjnjjjxwNetyxwNet1xnx1x2xnx1x2xnx1
8、1w12wnw11nw2nwnnwy图4-12 只含二次项的神经元结构示意图)()(11101110njnkkjjknjjjnjnkkjjknjjjxxwxwNetyxxwxwNet二、单层神经网络结构1x2xnx1y2yny图2-13 单层前向传播网络结构示意图jnjijijixwy1)(三、多层神经网络结构kx1kx2knixky1ky2kny01ijw2ijw(a)kx1kx2knix1ijwLijwky1ky2kny0(b)图4-14 多层前向传播网络结构示意图(a)含一个隐含层前向传播网络结构示意图(b)含L+1个隐含层前向传播网络结构示意图00211,3,2,1,3,2,1njxw
9、ynjxwhjnjilijjhnijljlj)(1211211LLLLLLLLXWWWF四、多层传播网络学习算法前向传播网络实质上表示的是一种从输入空间输出空间的映射。)(XTY 网络的训练实质上是对突触权阵的调整,以满足当输入为Xp时其输出应为Tp.对于一组给定的权系数,网络对当前输入Xp的响应为:突触权系数的调整是通过对样本p=1,2,3,.,N的误差指标达到极小的方法来实现的。)(ppXTY),(pppYTdE 对于N个样本集,性能指标为:NpnipipiNppytEE1110)(对于具有n0个输出的单元网络,每一个期望输出矢量Tp和实际的输出矢量Yp之间的误差函数可以用平方差和来表示,
10、即012)(21njpipipytE 一般说,前向神经网络是通过期望输出与实际输出之间的误差平方的极小来进行权阵的学习和训练。通常一个周期一个周期进行训练,一个周期对所有的样本集,完成后下一个周期对此样本集进行重复训练,直到性能指标E满足要求为止。对于多层前向传播网络kx1kx2knix1ijwLijwky1ky2kny0(b)图4-14 多层前向传播网络结构示意图(b)含L+1个隐含层前向传播网络结构示意图设输入模式Xp,则相应的隐含单元的输出为)(1111)1(jniipijipjxwo根据L层网络结构可知,网络输出为:0)1(1,2,1)()(1njowNetyLjLpiniLjlLLp
11、jLpjL第r+1个隐含层的输入是第r个隐含层的输出,所以:1,2,1,0)(11)(11)1(Lrowornlrjrplrjirrpj多层前向传播网络的权系数训练算法是利用著名的误差反向传播学系算法得到的BP算法012)(21njpipipytE因为:rjiprjiwEwrjirpjrpjprjipwNetNetEwEkrpirpkrjkrjirjirpjoowwwNet)1()1(rpjprpjNetE其中定义为广义误差则)1(rpirpjrpjpoNetE)1(rpirpjrpjpoNetE要使E安梯度下降,就必须按下式进行权值的调整)1(rpirpjrjiow式中:上标变量表示第r个隐
12、含层,r=1,2,L;为第r-1层第i个单元到第r层的第j单元的连接系数;为学习步长。rjiw因为若r=L为输出单元层,则:)()(LpjLpjpjLpjpjpjprpjpLpjNetytNetyyENetE)()()()(1111rpjrkrkjrpkkrpjrrpjrpkrpkprpjrpjrpjprpjNetwNetoNetNetENetooE若 为输出单元层,则:Lr BP学习算法步骤:给定P组样本(X1,T1;X2,T2;,Xp,Tp)。其中Xi为ni维输入矢量,T维n0维期望的输出矢量I=1,2,.,p。假如矢量y和0分别表示网络的输出层和隐含层的输出矢量。则训练过程为:1)、选
13、,作为最大容许误差,并将权系数 ,初始化成某小的随机权矩阵。0maxELlWll,、21,0,1Ep2)、训练开始,pppTTXo,)0(计算出各隐含层神经元的激励输出;计算各输出层神经的激励输出:按按1,2,1,0)(11)(11)1(Lrowornlrjrplrjirrpj0)1(1,2,1)()(1njowNetyLjLpiniLjlLLpjLpjL3)、计算误差02,2,1,2/)(nEytEkk4)、按下式计算广义误差Lpj按下式计算广义误差rpj)()(LpjLpjpjLpjpjpjprpjpLpjNetytNetyyENetE)()()()(1111rpjrkrkjrpkkrpj
14、rrpjrpkrpkprpjrpjrpjprpjNetwNetoNetNetENetooE5)、调整权阵系数rpjrjrpirpjrjiow)1(6)、。,否则转转若0072,1,ppPp7)、0max2,1,0,转结束,否则若pEEE实际上,对训练过程有较大影响的有:权系数的初值、学习方式、激励函数、学习速率等(1)、权系数的初值 权系数通常初始化成小的初始值,尽可能覆盖整个权阵的空间域,避免出现初始阵系数相同的情况。(2)、学习方式 学习方式不同,训练的效果也不同(3)、激励函数 激励函数的选择对训练有较大的影响。(4)、学习速率 一般来说,学习速率越快,收敛越快,但容易产生震荡;学习速率
15、越小,收敛越慢。BP学习算法本质上是属于一次收敛的学习算法。所以BP算法不可避免存在局部极小问题,且学习速度很慢,在极点附近出现震荡现象,而且不能够平滑趋于最优解。为了减小这种现象,一般采用平滑的权值更新公式,即:)1(0)(1kwkwrjirpirpjrji例3-1 如图3-15所示的多层前向传播神经网络结构。假设对于期望的输入 。网络权系数的初始值见图,试用BP算法训练此网络。这里神经元激励函数为 ,学习步长为TTTTttxx05.095.0,31 2121xexf11)(1图3-15 神经网络结构图x1x211203-2-1o1o2110-21-23y1y2解:1)、输入最大容许逼近误差
16、值 和最大迭代学习次数 设初始迭代学习次数 2)、计算当前输入状态下、当前网络的连接权系数下的神经网络输出。maxiteafe0iteafe110223)2(1211202122112112211102112111111xxwxwxwnetxxwxwxwnet731.011111192.0111112211211eeoeeonetnet6572.13)2(18808.1201212202222122122212102212121121oowowownetoowowownet8399.0111323.011222121netneteyey3)、判断神经网络逼近误差要求或者迭代学习到最大容许值否?
17、maxiterateiterateoryt若上述不等式中有一个满足,则退出学习.否则进入4)。4)、计算广义误差。0938.0)1()()()(1111211121yyytnetfyt1062.0)1()()()(2222222222yyytnetfyt2811.0)1()()1(1122122211211121211oowwoowkkk04176.0)1()()1(2222222212212222212oowwoowkkk5)连接权系数更新2811.0111111xw8433.0211112xw2811.011110w04176.0112121xw1253.0212122xw04176.01
18、2120w0112.0121211ow0686.0221212ow0938.021210w01266.0122221ow0776.0222222ow1062.022220w.2,1;2,1,0;2,1)()1(jilwiteratewiteratewljiljiljiiterate=iterate+1;继续迭代计算直至满足终止条件为止。例3-2 利用多层前向传播神经网络来逼近非线性函数)cos1(5.0 xy解:xxyy从图中可以看到,增加隐含层的数目并不一定意味着能够改善逼近精度第三节 动态神经网络模型前向传播网络的特点:1、结构简单、易于编程;2、是一种静态非线性映射,不注重非线性动态性能
19、的研究,缺乏丰富的动力学行为;反馈型神经网络:具有丰富的非线性动力学特性,如稳定性、极限环、奇异吸引子(混沌现象)反馈动力学神经网络系统具有以下特性:1、系统有若干稳定状态,如果从某一初始状态开始运动,系统总可以进入某一稳定状态。(将神经网络稳定状态当作记忆,实际上神经网络由任一初始状态向稳态的演化过程,实质上寻找记忆的过程。稳定是神经网络的一个重要特性,能量函数是判断网络稳定性的基本概念。2、系统的稳定状态可以通过改变相连单元的权值而产生。网络稳定性?定义4-1 神经网络从任一初始状态 X(0)开始运动,若存在某一有限的时刻 ,从 以后神经网络的状态不再发生变化,即 ,则称网络稳定。处于稳定
20、时刻的网络状态叫稳定状态,又称定点吸引子。stst0),()(ttXttXss神经动力学系统具有以下一些共性:(1)、非常大的自由度 仿真系统的神经元数限于 。人脑的神经细胞个数(2)、非线性非线性是神经东西学系统的主要特征。任何由现行单元组成的神经网络都可以退化成一个等效的单层神经网络。(3)、消耗性消耗性指的是随时间的推移系统状态收敛于某一个流形域。(4)、节点方程微分方程或者差分方程,不是简单的非线性方程。5101110动态神经网络的类型:1、带时滞的多层感知器网络2、回归神经网络3、Hopfield网络1、带时滞的多层感知器网络多层感知器网络抽头时滞环节X(k)X(k-1)X(k-n)
展开阅读全文