智能控制-第3节-人工神经元网络控制论-网络模型课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《智能控制-第3节-人工神经元网络控制论-网络模型课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智能 控制 人工 神经元 网络 控制论 模型 课件
- 资源描述:
-
1、第第3章人工神经元网络控制论章人工神经元网络控制论 网络模型网络模型智能控制基础智能控制基础3.1 引言3.2 前向神经网络模型3.6 神经网络控制基础3.7 非线性动态系统的神经网络辨识3.8 神经网络控制的学习机制3.9 神经网络控制器的设计3.3 动态神经网络模型 3.10 单一神经元控制法目录目录3.1 引言引言v人工神经网络就是模拟人脑细胞的分布式工人工神经网络就是模拟人脑细胞的分布式工作特点和自组织功能,且能实现并行处理、作特点和自组织功能,且能实现并行处理、自学习和非线性映射等能力的一种系统模型。自学习和非线性映射等能力的一种系统模型。发展历史发展历史v1943年,心理学家年,心
2、理学家McCmloch和数学家和数学家Pitts合作提合作提出形式神经元数学模型出形式神经元数学模型(MP),揭开了神经科学理论,揭开了神经科学理论的新时代。的新时代。v1944年年Hebb提出了改变神经元连接强度的提出了改变神经元连接强度的Hebb规规则。则。v1957年年Rosenblatt首次引进了感知器概念首次引进了感知器概念(Perceptron)。v1976年,年,Grossberg提出了自适应共振理论。提出了自适应共振理论。v1982年,美国加州工学院物理学家年,美国加州工学院物理学家Hopfield提出了提出了HNN模型,他引入了模型,他引入了“计算能量函数计算能量函数”的概念
3、,给的概念,给出了网络的稳定性判据。出了网络的稳定性判据。v1986年,年,Rumelhart等等PDP研究小组提出了多层前研究小组提出了多层前向传播网络的向传播网络的BP学习算法。学习算法。网络模型人工神经元模型神经网络模型神经网络控制动态系统的神经网络辨识神经网络学习机制神经网络控制器的设计主要内容主要内容3.1 引言引言3.1.1 神经元模型3.1.2 神经网络的模型分类3.1.3 神经网络的学习算法 3.1.4 神经网络的泛化能力 3.1.1 神经元模型神经元模型 v神经元模型是生物神经元的抽象和模拟。可神经元模型是生物神经元的抽象和模拟。可看作多输入看作多输入/单输出的非线性器件单输
4、出的非线性器件。ui 神经元的内部状态,i 阀值,xi 输入信号,j=1,2,n;wij 表示从单元uj 到单元ui 的连接权值;si外部输入信号i数学模型数学模型v通常直接假设通常直接假设yi=f(Neti)vf为激励函数为激励函数,有,有4种类型。种类型。)g(uy)f(NetusxwNetiiiiiijjijiwwwxxxyus12ni 1i 2i niiii图 3 1 2 神 線 元 结 构 模 型Neti10图 3 1 3 阀 值 函 数NetiffNetNetfmaxi 0i 1图 3 1 4 线 性 函 数0激励函数类型激励函数类型1v阈值型阈值型 0Net00Net1)Net(
5、fiii激励函数类型激励函数类型2v分段线性型分段线性型 1 iimax1 ii0ii0iiiNetNetfNetNetNetkNetNetNet0)Net(f激励函数类型激励函数类型3v Sigmoid 函数型函数型fNeteiNetTi()11激励函数类型激励函数类型4v Tan函数型函数型 TNetTNetTNetTNetiiiiieeee)Net(f3.1 引言引言3.1.1 神经元模型3.1.2 神经网络的模型分类3.1.3 神经网络的学习算法 3.1.4 神经网络的泛化能力 3.1.2 神经网络的模型分类神经网络的模型分类1234网络结构图网络结构图(a)(b).(c)(d)图 3
6、-1-73.1 引言引言3.1.1 神经元模型3.1.2 神经网络的模型分类3.1.3 神经网络的学习算法 3.1.4 神经网络的泛化能力 3.1.3 神经网络的学习算法神经网络的学习算法 ab学习规则学习规则学习规则相关学习 纠错学习 无导师学习 相关学习相关学习v仅仅根据连接间的激活水平改变权系数。它仅仅根据连接间的激活水平改变权系数。它常用于自联想网络常用于自联想网络。v最常见的学习算法是最常见的学习算法是Hebb规则。规则。v表示学习步长表示学习步长jiijoy 纠错学习纠错学习v有导师学习方法有导师学习方法,依赖关于输出节点的外部,依赖关于输出节点的外部反馈改变权系数。它常用于感知器
7、网络、多反馈改变权系数。它常用于感知器网络、多层前向传播网络和层前向传播网络和Boltzmann机网络。其学机网络。其学习的方法是梯度下降法。习的方法是梯度下降法。v最常见的学习算法有最常见的学习算法有规则、模拟退火学习规规则、模拟退火学习规则。则。无导师学习无导师学习v学习表现为自适应实现输入空间的检测规则。学习表现为自适应实现输入空间的检测规则。它常用于它常用于ART、Kohonen自组织网络。自组织网络。v在这类学习规则中在这类学习规则中,关键不在于实际节点的输关键不在于实际节点的输出怎样与外部的期望输出相一致,而在于调出怎样与外部的期望输出相一致,而在于调整参数以反映观察事件的分布。整
8、参数以反映观察事件的分布。v例如例如Winner-Take-All 学习规则学习规则。3.1 引言引言3.1.1 神经元模型3.1.2 神经网络的模型分类3.1.3 神经网络的学习算法 3.1.4 神经网络的泛化能力 3.1.4 神经网络的泛化能力神经网络的泛化能力 v当输入矢量与样本输入矢量存在差异时,其当输入矢量与样本输入矢量存在差异时,其神经网络的输出同样能够准确地呈现出应有神经网络的输出同样能够准确地呈现出应有的输出。这种能力就称为神经网络的泛化能的输出。这种能力就称为神经网络的泛化能力。力。v在有导师指导下的学习中,泛化能力可以定在有导师指导下的学习中,泛化能力可以定义为训练误差和测
9、试误差之差。义为训练误差和测试误差之差。v与输入矢量的个数、网络的节点数和权值与与输入矢量的个数、网络的节点数和权值与训练样本集数目之间存在密切的关系。训练样本集数目之间存在密切的关系。3.1 引言3.2 前向神经网络模型3.6 神经网络控制基础3.7 非线性动态系统的神经网络辨识3.8 神经网络控制的学习机制3.9 神经网络控制器的设计3.3 动态神经网络模型 3.10 单一神经元控制法目录目录3.2 前向神经网络模型前向神经网络模型3.2.1 网络结构 3.2.2 多层传播网络的BP学习算法3.2.3 快速的BP改进算法3.2.1 网络结构网络结构 单一神经元123单一神经元单一神经元yw
10、w xjjnj()01 w0 为阈值,wj 决定第j个输入的突触权系数。单层神经网络结构单层神经网络结构 ojn0jijin1,2,.,i)xw(yix0=1yxxxn12n图3113 单层前向传播网络结构示意图12yyio2k1kxxxn kii jw图3114(b)L+1层前向传播网络结构示意图11kwyyyon ki j2kL1k2k1kxxxn kwyyyion ki ji jw2k图3114(a)含一个隐含层前向传播网络结构示意图(1)(2)多层神经网络结构多层神经网络结构 v以单隐含层网络为例:以单隐含层网络为例:)xw(oin0ll)1(jlj)ow(yjn0j)2(ijihOj
11、为隐含层的激励3.2 前向神经网络模型前向神经网络模型3.2.1 网络结构 3.2.2 多层传播网络的BP学习算法3.2.3 快速的BP改进算法3.2.2 多层传播网络的多层传播网络的BP学习算法学习算法v基本思想基本思想v单层网络的学习算法单层网络的学习算法v多层前向网络学习算法多层前向网络学习算法1.有导师学习的基本思想有导师学习的基本思想 v性能指标为性能指标为v()是一个正定的、可微的凸函数)是一个正定的、可微的凸函数,常取,常取)yt(EEpiN1ppin1iN1ppoon1i2pjpjp)yt(21E2.单层网络的学习算法单层网络的学习算法 v激励函数为线性函数时,可通过最小二乘法
12、激励函数为线性函数时,可通过最小二乘法来来 学习。学习。v激励函数为非线性函数时,可采用激励函数为非线性函数时,可采用Delta规则,规则,即梯度法,有即梯度法,有jipjpjpjjipjipwy)yt(wEw是学习因子 )(XXTXW-1TTT3.多层前向网络学习算法多层前向网络学习算法v针对多层前向网络针对多层前向网络v有导师学习有导师学习网络模型网络模型v第第r1个隐含层:个隐含层:v输出层输出层1L.2,1,0rowNetrn1l1rj)r(pl1rjl)1r(pj1L.2,1,0r)ow(orn1l1rj)r(pl1rjl1r)1r(pjoLjn1i)1L(piLjiLLpjLpjn
13、.2,1j)ow()Net(y1Lv采用梯度法:采用梯度法:v其中:其中:v定义广义误差定义广义误差:v可得:可得:rpjprpjNetErjiprjipwwErjirpjrpjprjipwNetNetwEEk)1r(pi)1r(pkrjkrjirjirpjoowwwNet)1r(pirpjrjipowBP学习算法学习算法反向误差传播反向误差传播v输出层时,有:输出层时,有:v隐含层时,有:隐含层时,有:)Net()yt(NetyyENetELpjLpjpjLpjpjpjpLpjpLpj)Net()w()Net()oNetNetE(NetooENetErpjrk1rkj1rpkrpjrrpj1
14、rpkk1rpkprpjrpjrpjprpjprpj例例3-1 v假设对于期望的输入。假设对于期望的输入。网络权系数的初始值见图。网络权系数的初始值见图。v试用试用BP算法训练此网络(本例中只给出一步算法训练此网络(本例中只给出一步迭代学习过程)。迭代学习过程)。v这里,取神经元激励函数:这里,取神经元激励函数:学习步长为学习步长为xe11)x(fTT0.95,0.05t,t,1,3x,xT21T21。1图图315当前输出当前输出11x0 x2wxwxwnet23x)2(x1wxwxwnet211202122112112211102112111111731.0e11e11o1192.0e11e
15、11o1net22net112116572.13o)2(o1wowownet8808.12o0o1wowownet2122022221221222121022121211218399.0e11y1323.0e11y2221net2net1计算广义误差计算广义误差 1062.0)y1(y)yt()net(f)yt(0938.0)y1(y)yt()net(f)yt(222222 2222111121 112104176.0)o1(o)ww()o1(ow2811.0)o1(o)ww()o1(ow22222222122122k22k2k1211221222112111k21k2k11连接权系数更新连接
16、权系数更新 1062.0w0776.0ow01266.0ow0938.0w0686.0ow0112.0ow04176.0w1253.0 xw04176.0 xw2811.0w8433.0 xw2811.0 xw22220222222122221212102212121212111212021212211212111110211112111111学习流程学习流程1 初始化2 计算网络输出3 计算误差E4 计算广义误差5 调整权值6 学习结束判断(1)初始化初始化v设置学习因子设置学习因子0。n较大时,收敛快,但易振荡。n较小时,反之。v最大容许误差最大容许误差Emax。用于判断学习是否结束。用于
17、判断学习是否结束。v随机赋网络初始权值。随机赋网络初始权值。一般选择比较小的随机数。一般选择比较小的随机数。增量型学习累积型学习)1(rpirpjrjipowonjpjpjpytE12)(21EtypjpjjnpPo12211()Pprprww1(2)学习方式学习方式收敛性收敛性增量型学习 保证最近样本的逼近精度,速度快累积型学习 保证所有样本的学习精度,速度慢(3)学习速率学习速率v激励函数,如用激励函数,如用Sigmoid函数,应增大斜率,函数,应增大斜率,减少饱和的情况。减少饱和的情况。v调节学习因子调节学习因子v增加增加Momentum项项)1k(wo)k(wrji1rpirpjrji
18、例例3-2:非线性函数逼近非线性函数逼近v目标函数:目标函数:cos(x)(1*0.5y学习设置学习设置v采用传统的采用传统的BP学习算法学习算法n激励函数都为Sigmoid函数。n初始权系数阵由(0,1)之间的随机数组成。n学习步长=0.09。v学习样本取学习样本取20点,即:点,即:v校验样本取校验样本取30点,即:点,即:cos(x)(1*0.5t0,1,.19i i/20,*2x。cos(x)(1*0.5y;0,1,.,29i i/30,*2x两种两种MLP模型的学习效果模型的学习效果3.2 前向神经网络模型前向神经网络模型3.2.1 网络结构 3.2.2 多层传播网络的BP学习算法3
19、.2.3 快速的BP改进算法1.快速快速BP算法算法vFahlman在在1988年首先提出年首先提出v当问题满足以下条件时:当问题满足以下条件时:n误差表面呈抛物面、极值点附近凹面向上;n某一权系数的梯度变化与其它权系数变化无关。v可采取如下的更新公式可采取如下的更新公式)1k(w)k(w)1k(w)k(w)k(wijijijijij2.共轭梯度学习算法共轭梯度学习算法v共轭梯度算法是一种经典优化方法共轭梯度算法是一种经典优化方法v共轭梯度学习算法共轭梯度学习算法特点:使用二阶导数信息,但不计算特点:使用二阶导数信息,但不计算Hessian矩阵矩阵目标函数的二阶近似目标函数的二阶近似v目标函数
20、:目标函数:vTaylor展开展开:v其中:其中:)(0Wfc f WPntyopjjnpPpjo()()1112f WcbWWHWTT()120Wfb02WjiwwfH最佳权系数求取最佳权系数求取v函数取极小值时,最佳权系数可求解函数取极小值时,最佳权系数可求解获得。获得。v由最优化理论可知,解决由最优化理论可知,解决H逆矩阵的计算问逆矩阵的计算问题方法之一是利用共轭梯度来间接地构成题方法之一是利用共轭梯度来间接地构成H的逆矩阵值。的逆矩阵值。TTbHW 共轭方向共轭方向 v如果如果 diHdjT=0 对于所有的对于所有的 ij,i,j,=1,2,.,n。则称则称d1,d2,.,dn是是H共
展开阅读全文