智能控制理论教案3神经网络控制12版课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《智能控制理论教案3神经网络控制12版课件.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智能 控制 理论 教案 神经网络 12 课件
- 资源描述:
-
1、 主讲:范立南 沈阳大学信息工程学院智能控制理论及其应用第3章 神经网络控制 3.1 神经网络的发展和应用神经网络的发展和应用 3.2 神经网络的特性神经网络的特性 3.3 生物神经元的结构与功能生物神经元的结构与功能 3.4 人工神经网络模型与变换函数人工神经网络模型与变换函数 3.5 典型前馈神经网络典型前馈神经网络BP网络网络 3.6 典型反馈神经网络典型反馈神经网络 Hopfield网络网络 3.7 神经网络控制原理神经网络控制原理 3.8 神经网络的应用实例神经网络的应用实例第3章神经网络控制 神经网络研究热潮的再度兴起,不仅仅是因为神经科学本身取得了巨大的进展,更主要的原因在于发展
2、新型计算机和人工智能新途径的迫切需要 神经网络的研究内容相当广泛,反映了多学科交叉技术领域的特点 神经网络控制是一种基本上不依赖于模型不依赖于模型的控制方法 适用于具有不确定性不确定性或高度非线性高度非线性的控制对象 具有较强的适应适应和学习学习功能 是智能控制智能控制的一个重要分支重要分支领域3.1 神经网络的神经网络的发展发展和应用和应用 神经网络的研究至今有60多年的历史,其发展道路曲折,目前已得到较深入而广泛的研究与应用 1943年,心理学家McCulloch和数理学家Pitts提出形式神经元数学模型,通常称为MP模型 1949年,D.O.Hebb提出调整神经网络连接权的规则(Hebb
3、 学习规则)1958年,F.Rosenblatt提出感知机模型,用于模式分类3.1 神经网络的神经网络的发展发展和应用和应用 1969年M.Minsky和S.Papert发表专著“感知机”,指出线性感知机功能有限 70年代,神经网络研究处于低潮3.1 神经网络的神经网络的发展发展和应用和应用 1982、1984年,美国物理学家J.J.Hopfield发表2篇文章,提出一种反馈互连网,称Hopfield网,开拓了神经网络用于联想记忆和优化计算的新途径 3.1 神经网络的神经网络的发展发展和应用和应用 1986年,美国加州大学学者 D.E.Rumelhart(鲁梅尔哈特)和J.L.McClella
4、nd(麦克莱兰)提出多层前馈网的反向传播算法(Back Bropagation),简称BP网络或BP算法David Rumelhart James McClelland 3.1 神经网络的神经网络的发展发展和应用和应用 1987年,在美国召开第1届国际神经网络会议 1990年12月,国内首届神经网络大会在北京举行3.1 神经网络的神经网络的发展发展和应用和应用发展趋向及前沿问题 对智能和机器关系问题的认识将进一步增长 神经计算和进化计算将有重大的发展 神经网络结构和神经元芯片的作用将不断扩大 3.1 神经网络的发展和神经网络的发展和应用应用模式识别与图像处理模式识别与图像处理 印刷体和手写体字
5、符识别 语音识别 签字识别 指纹识别 人脸识别 癌细胞检测 心电图和脑电图分类 目标检测与识别3.1 神经网络的发展和神经网络的发展和应用应用控制与优化控制与优化 化工过程控制 机械手运动控制 电弧炉电极控制 石油精练和食品工业中优化控制3.1 神经网络的发展和神经网络的发展和应用应用预测与管理预测与管理 股票市场预测 有价证券管理 借贷风险分析 信用卡管理 机票管理3.1 神经网络的发展和神经网络的发展和应用应用通信通信 自适应均衡 路由选择其它其它 导航 电机故障检测 多媒体技术等3.2 神经网络的特性神经网络的特性 神经网络是受人和动物神经系统启发,利用大量简单处理单元互联互联而构成的复
6、杂系统,以解决复杂模式识别与行为控制问题 人工神经网络是一种非线性的映射方式非线性的映射方式,它将输入的特征值映射到网络的输出分类结果,并可依照其分类的误差大小或某些能量函数来调整网络中的加权值使其达到收敛 这些方法模仿人的生理学习功能,并能够将输入信息结合到分类规则中去 3.2 神经网络的特性神经网络的特性 神经网络对于解决模式识别问题来说比其他方法具有3点突出的优势 对问题的了解要求较少 可以实现特征空间较复杂的划分 适合于用高速并行处理系统来实现 3.2 神经网络的特性神经网络的特性 并行分布处理 神经网络具有高度的并行结构和并行实现能力,因而能够有较好的耐故障能力和较快的总体处理能力
7、特别适于实时控制和动态控制 3.2 神经网络的特性神经网络的特性 非线性映射 神经网络具有固有的非线性特性,这源于其近似任意非线性映射(变换)能力 这一特性给非线性控制问题带来新的希望 3.2 神经网络的特性神经网络的特性 通过训练进行学习 神经网络是通过所研究系统过去的数据记录进行训练的 一个经过适当训练的神经网络具有归纳全部数据的能力 因此,神经网络能够解决那些由数学模型或描述规则难以处理的控制过程问题 3.2 神经网络的特性神经网络的特性 适应与集成 神经网络能够适应在线运行,并能同时进行定量和定性操作 神经网络的强适应和信息融合能力使得网络过程可以同时输入大量不同的控制信号,解决输入信
8、息间的互补和冗余问题,并实现信息集成和融合处理 这些特性特别适于复杂、大规模和多变量系统的控制 3.2 神经网络的特性神经网络的特性 硬件实现 神经网络不仅能够通过软件而且可借助硬件实现并行处理 由超大规模集成电路实现的硬件已经面世 这使得神经网络具有快速和大规模处理能力的网络3.2 神经网络的特性神经网络的特性总之,神经网络具有 自学习 自适应 自组织 大规模并行处理 等特点 在自动控制领域展现了广阔的应用前景3.3 生物神经元的结构与功能生物神经元的结构 人脑是由大量的神经元(神经细胞)组合而成 神经元之间互相连接 神经系统的基本构造是神经元 是处理人体内各部分之间相互信息传递的基本单元
9、据神经生物学家研究的结果表明,人的大脑一般有10101012个神经元 3.3 生物神经元的结构与功能生物神经元的结构 大多数神经元由一个细胞体和突两部分组成3.3 生物神经元的结构与功能生物神经元的结构3.3 生物神经元的结构与功能生物神经元的结构 细胞体由细胞核、细胞质和细胞膜组成 突分两类,即轴突和树突3.3 生物神经元的结构与功能生物神经元的结构 轴突轴突是个突出部分,细胞体向外伸出的最长的最长的一条分支一条分支,即神经纤维,把本神经元的输出发送至其它相连接的神经元 远离细胞体一侧的轴突端有许多分支,称轴突轴突末梢末梢 轴突通过轴突末梢向其他神经元传出神经冲动3.3 生物神经元的结构与功
10、能生物神经元的结构 树突树突也是突出部分,但一般较短较短,且分枝很多,与其它神经元的轴突相连 树突相当于细胞输入端,树突相当于细胞输入端,树突树突用于接收周围其它神经元的神经冲动(生物信号)神经冲动只能由前一级神经元的轴突末梢传向下一级神经元的树突或细胞体,不能作反向的传递 轴突和树突共同作用,实现了神经元间的信息传递 3.3 生物神经元的结构与功能生物神经元的结构 神经元具有两种常规工作状态:兴奋与抑制,即满足“01”率 当传入的神经冲动使细胞膜电位升高超过阈超过阈值(约为值(约为40mv)时,细胞进入兴奋状态兴奋状态,产生神经冲动并由轴突输出 当传入的神经冲动使膜电位下降低于阈值低于阈值时
11、,细胞进入抑制状态抑制状态,没有神经冲动输出3.3 生物神经元的结构与功能生理神经元的功能 脑神经生理学研究结果表明,每个人脑大约含有10101012个神经元,每一神经元又约有103104个突触 神经元通过突触形成的网络,传递神经元间的兴奋与抑制 大脑的全部神经元构成极其复杂的拓扑网络群体,用于实现记忆与思维 3.4 人工神经网络模型与变换函数 人工神经网络(Artificial Neural Networks:ANN)是反映人脑结构及功能的一种抽象数学模型 一个人工神经网络是由大量神经元结点互连而成的复杂网络,用以模拟人类进行知识的表示与存储以及利用知识进行推理的行为 人工神经网络是由大量的
12、简单计算处理单元(神经元)通过极其丰富和完善的连接而构成的自适应非线性动态系统3.4 人工神经网络模型与变换函数 一个基于人工神经网络的智能系统是通过学习获取知识后建立的 从本质上讲,人工神经网络的学习是一种归纳学习方式,它通过对大量实例的反复学习,由内部自适应过程不断修改各神经元之间互连的权值,最终使神经网络的权值分布收敛于一个稳定的范围 神经网络的互连结构及各连接权值稳定分布就表示了经过学习获得的知识3.4 人工神经网络模型与变换函数人工神经元的组成人工神经元模型3.4 人工神经网络模型与变换函数人工神经元的组成神经网络在两个方面与人脑相似:(1)神经网络获取的知识是从外界环境中学习得来的
13、(2)互连神经元的连接强度,即突触权值,用于储存获取的知识 用于完成学习过程的程序称为学习算法学习算法,其功能是以有序的方式改变网络的突触权值突触权值以获得想要的设计目标 3.4 人工神经网络模型与变换函数人工神经元的组成 可把ANN看成是以处理单元为结点,用加权有向弧(链)相互连接而成的有向图 其中,处理单元是对生物神经元的模拟,而有向弧则是轴突-突触(轴突末梢)-树突对的模拟 有向弧的权值表示两处理单元间相互作用的强弱 在简单的人工神经网络模型中,用权和乘法器模拟突触特性,用加法器模拟树突的互联作用,而且与阈值比较来模拟细胞体内电化学作用产生的开关特性3.4 人工神经网络模型与变换函数 决
14、定神经网络整体性能的三大要素 (1)神经元(信息处理单元)的特性 (2)神经元之间相互连接的形式拓扑结构 (3)为适应环境而改善性能的学习规则 3.4 人工神经网络模型与变换函数人工神经元的组成 该神经元模型的输入输出关系为 其中 称为阈值 称为连接权系数 称为输出变换函数变换函数,或激励函数激励函数,或激活函数激活函数,或传递函数传递函数0010(1)nnjjiijjiijjiisw xw xxw()jjyf sjjiw()f 3.4 人工神经网络模型与变换函数常用的变换函数 变换函数实际上是神经元模型的输出函数 一般为非线性函数 用以模拟神经细胞的兴奋、抑制及阈值等非线性特性 经过加权加法
15、器和线性动态系统进行时空整合的信号s,再经变换函数f(s)后即为神经元的输出y y=f(s)3.4 人工神经网络模型与变换函数常用的变换函数 比例函数()yf ss可微,不常用3.4 人工神经网络模型与变换函数常用的变换函数 符号函数(双向阈值函数)10()10syf ss不可微,类阶跃,零均值3.4 人工神经网络模型与变换函数常用的变换函数 饱和函数1111()11skyf sksskksk 可微,零均值3.4 人工神经网络模型与变换函数常用的变换函数 双曲函数1()1sseyf se可微,类阶跃,零均值3.4 人工神经网络模型与变换函数常用的变换函数 阶跃函数(阈值函数)10()00syf
16、 ss不可微,类阶跃,正值3.4 人工神经网络模型与变换函数常用的变换函数 S形(Sigmoid)函数1()1syf se可微,类阶跃,正值3.4 人工神经网络模型与变换函数常用的变换函数 高斯函数22(/)sye可微,类脉冲3.4 人工神经网络模型与变换函数 上述非线性变换函数的显著特征 突变性 饱和性 正是为了模拟神经细胞兴奋过程中所产生的神经冲动以及疲劳等特性3.4 人工神经网络模型与变换函数人工神经网络结构 将大量功能简单的基本神经元通过一定的拓扑结构组织起来,构成群体并行分布式处理的计算结构,即神经网络结构 网络结构一般由许多个神经元组成 每个神经元有一个单一的输出 输出可以连接到很
17、多其他的神经元 其输入有多个连接通路 每个连接通路对应一个连接权系数3.4 人工神经网络模型与变换函数人工神经网络结构 神经网络是一个具有如下性质的有向图 对于每个结点有一个状态变量 结点i到结点j有一个连接权系数 对于每个结点有一个阈值 对于每个结点定义一个变换函数 最常见的情形为ixjiwj,()jijijfx wij()jiijifw x3.4 人工神经网络模型与变换函数人工神经网络结构 根据神经元之间连接的拓扑结构不同,神经网络结构可分为两大类 层状结构 网状结构 层状结构层状结构的神经网络由若干层组成,每层中有一定数量的神经元,相邻层中神经元单向连接,一般同层内的神经元不能连接 网状
18、结构网状结构的神经网络中,任何两个神经元之间都可能双向连接3.4 人工神经网络模型与变换函数人工神经网络结构 常见的神经网络结构 前向网络(前馈网络)3.4 人工神经网络模型与变换函数人工神经网络结构 常见的神经网络结构 反馈网络3.4 人工神经网络模型与变换函数人工神经网络结构 常见的神经网络结构 相互结合型网络3.4 人工神经网络模型与变换函数人工神经网络结构 常见的神经网络结构 混合型网络3.5 典型前馈神经网络典型前馈神经网络BP网络网络感知机(感知器)感知机(感知器)基本感知机是一个两层网络 分为输入层和输出层 每层由多个处理单元(神经元)构成3.5 典型前馈神经网络典型前馈神经网络
19、BP网络网络感知机(感知器)感知机(感知器)感知机的学习是典型的有教师学习有教师学习(训练)训练要素训练要素:训练样本、训练规则 当给定某一训练模式时,输出单元会产生一个实际的输出向量,用期望输出与实际输出之差修正网络权值3.5 典型前馈神经网络典型前馈神经网络BP网络网络感知机(感知器)感知机(感知器)权值修正采用学习规则学习规则,感知机的学习算法为 对于:式中:表示t时刻输出 表示输入向量的一个分量 表示t时刻第i个输入的加权值 表示阈值 表示变换函数1()()njjiijiy tfwt x()jy tix()jiwtjf3.5 典型前馈神经网络典型前馈神经网络BP网络网络感知机(感知器)
20、感知机(感知器)式中:表示学习因子,在(0,1区间取值 表示期望输出(教师信号)表示实际输出(1)()()jijijjiwtwtdy t xjd()jy t3.5 典型前馈神经网络典型前馈神经网络BP网络网络感知机(感知器)感知机(感知器)令 输入状态为:或0 因输入可能是前一级的输出,因此感知器输入与输出取值一般都为1或0 11,()0()0()10,()1jjjjjjjjjdy tdy tdy tdy t1ix 3.5 典型前馈神经网络典型前馈神经网络BP网络网络感知机(感知器)感知机(感知器)权值变化量与3个量个量有关:输入状态、输出输入状态、输出误差、学习因子误差、学习因子 当且仅当输
21、出单元有输出误差且相连输入状态为1时,修正权值,或增加一个量或减少一个量 学习因子 控制每次的误差修正量 的取值一般不能太大,也不能太小,太大会影响学习的收敛性,太小会使权值收敛速度太慢,训练时间太长3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP网络模型网络模型 BP模型,即误差反向传播神经网络 BP在神经网络中使用最广泛 BP网络是典型的多层网络 分为输入层、隐含层、输出层 层与层之间多采用全互连方式 同一层单元之间不存在相互连接3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP网络模型网络模型 BP网络的基本处理单元(输入层单元除外)为非线性输入输出关系,对于连续系统,一般
22、选用S型变换函数,即 且处理单元的输入、输出值可连续变化1()1xf xe3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP网络模型网络模型 BP网络模型实现了多层网络学习的设想 当给定网络的一个输入模式时,它由输入层传到隐含层单元,经隐含层单元逐层处理后再送到输出层单元,由输出层单元处理后产生一个输出模式,故称为前向传播前向传播 如果输出响应与期望输出模式有误差,且不满足要求,则转入误差反向传播误差反向传播,即将误差值沿连接通路逐层向后传送,并修正各层连接权值3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP网络模型网络模型 图给出了多层前向网络中的一部分,有两种信号在流通前向工
23、作信号和反向误差信号3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP网络模型网络模型 工作信号(用实线表示)工作信号(用实线表示):是施加输入信号后向前传播直到输出层产生实际输出的信号,是输入和权值的函数 误差信号(用虚线表示):误差信号(用虚线表示):网络实际输出与应有输出间的差值即为误差,由输出层开始逐层反向传播BP神经网络结构 3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法学习算法3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法学习算法权值和节点偏移(阈值)的初始化给定输入矢量和所希望的输出矢量计算实际输出矢量梯度计算 对输出层平方误差 其中 希
24、望响应,实际响应,是输出层中的节点数为使误差函数最小化,与误差相对于权值的偏导数成比例地调整权值梯度下降法梯度下降法 其中 是步长,或称学习算子或学习率而 211()2QNQqqqErOqrqOQNQqpqpEww qpqqQqpQwIIEwE1pNqqpPPpqpqpIw OOww3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法学习算法Is得到 其中 而 则同理对隐层 QqpPqPqEwOOI QQqqqqqEEOIOI ()QqqqErOO()()qqqqqqqOfIfIII()()qqqqqrOfI1()PNkkkpp kpfIw3.5 典型前馈神经网络典型前馈神经网络B
25、P网络网络BP学习算法学习算法权值学习 即 改进算法 其中 变步长,阻尼系数(动量因子、惯性因子)回到直到求出最优解 kjkjwO(1)()()()kjkjkjwnwnn O n(1)()()()()()(1)kjkjkjkjkjwnwnnn O nwnwn3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法学习算法3.5 典型前馈神经网络典型前馈神经网络BP网络网络BP学习算法学习算法 从上述推导可见,求k层的误差信号需要后一层的,因此误差函数的求取是一个始于输出层的反向传播的递归过程,所以称为反向传播学习算法反向传播学习算法 通过多个样本的学习,修正权值,不断减少误差,最后达到
展开阅读全文