第四章神经网络技术及其在故障诊断中应用课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《第四章神经网络技术及其在故障诊断中应用课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 第四 神经网络 技术 及其 故障诊断 应用 课件
- 资源描述:
-
1、 神经网络的发展及特点神经网络就是用物理上可以实现的器件、系统或现有的计算机来模拟人脑的结构和功能的人工系统。它由大量简单神经元经广泛互联构成一种计算结构,在某种程度上可以模拟人脑生物神经系统的工作过程。21、神经网络的发展神经网络的发展可以追溯到一个世纪之前。一般将这一百多年的历史分为三个阶段。自1890年至1969年为初始发展期;1969年至1986年为发展的过渡时期;自1986年以来,步入了发展的高潮期。3 初始发展期1890年,美国生理学家出版了生理学一书,首次阐明了人脑的结构及其功能,以及一些学习、联想、记忆的基本规则。1943年,和根据已知的神经细胞生物基础,描述了一个简单的人工神
2、经元模型,即后来的“MP模型”。41949年发表了论著行为自组织,提出了很多有价值的观点。同时提出了网络学习的规则,从而使神经网络具有了可塑性。1958年,提出了“感知器()”模型,用于模拟一个生物视觉模型。这是第一个真正的神经网络。5 过渡时期1969年,和经过对“感知器”模型的深入研究,发表了论著感知器,分析了一些简单的单层感知器,说明这些单层的感知器只能解决线性分类问题,对于非线性或其他的分类则会遇到很大困难。这个观点使得许多专家放弃了对神经网络的研究。但在这个阶段,也还有一些研究人员在继续进行探索。61982年,物理学家提出了全连接神经网络,后来被称为神经网络,在网络的理论分析和综合上
3、达到了相当的深度。虽然早期的网络存在一些问题,如,网络的权值固定、不能学习、大规模的网络实现困难,而且无法克服局部极小点问题等等,但的研究为神经网络带来了复兴的希望,极大地推动了神经网络的发展。7这个时期,由等多人组成的并行分布处理研究小组提出了误差反向传播神经网络,即网络。这是一种按照一定的输入输出关系进行自组织的神经网络。同时他们还明确揭示了神经网络的三个主要属性,即网络模型的结构、神经元的输入输出变换函数及算法,对神经网络在各领域的推广应用起了很大的作用。网络目前已成为一种应用最为广泛的神经网络。81987年,在美国圣地亚哥召开了第一届国际神经网络会议,此后国际神经网络协会成立。从此,神
4、经网络技术的研究呈现出蓬勃活跃的局面,理论研究不断深入,各种类型的网络模型和算法纷纷出现,应用范围不断扩大。发展高潮期91994年,在美国奥兰多首次召开全球计算智能大会,此次会议将模糊算法、神经网络和遗传算法三个领域综合起来,有力地促进了不同研究领域之间的交叉渗透和共同发展。102、神经网络的特点神经网络具有以下四个基本特点:(1)广泛连接的巨型系统。脑科学已经证明人脑是由数量及其庞大的脑细胞组成的,每个细胞之间又有着及其广泛复杂的相互连接。人工神经网络着眼于模拟人脑,虽然目前还无法实现和人脑一样庞大的结构体系,但从本质上说,它是一个广泛连接的巨型系统。11(2)分布式存储信息。神经网络系统中
5、,信息是以某种形式分布在广大神经元及其相互连接中的。(3)并行处理功能。研究表明,神经元之间的信息传递是毫秒级的,比电子开关的速度慢得多;而实际上人在瞬间就能完成一幅图像的辨识。由此可以推断,人脑对信息的处理是并行式的。12(4)自学习、自组织和自适应功能。学习功能是神经网络的一个重要特征,正是因为神经网络具有自学习能力,才使得它在应用中表现出强大的自组织和自适应能力。13神经网络技术的出现,为故障诊断问题提供了一种新的解决途径。特别是对复杂系统,由于基于解析模型的故障诊断方法面临难以建立系统模型的实际困难,基于知识的故障诊断方法成了重要的、也是实际可行的方法。14 神经网络的基础1、神经元模
6、型神经网络的基本单元称为“神经元”,它是对生物神经元的简化和模拟。15生物神经元由细胞体、树突和轴突三部分组成。如下图所示。图 生物神经元结构示意图16生物神经元具有两种工作状态:“兴奋”和“抑制”。当传入的神经冲动使细胞膜电位升至高于其阈值时,细胞进入兴奋状态,产生神经冲动,由轴突输出;反之,若传入的神经冲动使细胞膜电位下降至低于阈值时,细胞进入抑制状态,就没有神经冲动输出。17基于生物神经元的结构和工作特性,对生物神经元进行模拟,得到人工神经元。如下图所示。图中,各变量的下标i表示神经网络中的第i个神经元。该神经元是一个多输入、单输出的非线性元件。图 人工神经元模型示意图18人工神经元的输
7、入输出关系可描述为:)(1iinjijijisfyxs其中,(1n)为来自其他神经元的输入信号;i为该神经元的阈值;表示从神经元j到神经元i的连接权值;表示神经元的状态;f()为某种非线性函数,它将神经元的状态变换成神经元的输出,所以称为神经元的输出函数或者传递函数。19为了便于统一处理,上式可表示为:njjijixs0式中:i0-i;x01。20神经元模型中的传递函数f()可以有多种形式。下面介绍几种常用的形式。(1)阈值单元模型)()(xuxf或1)(2)(xuxf其中,u(x)表示单位阶跃函数。阈值单元模型的特点是其传递函数为二值函数,神经元的输出为0,1或者1。感知器、模型以及最初的模
8、型中都采用这种类型的传递函数。21(2)限幅线性函数)()(xsigncaxxfbxbx其中,a0。22(3)型函数常用的型函数有以下两种:xexf11)(xxxxeeeexthxf)()(型函数因其连续、可微的性质,得到了广泛的应用。在网络中就采用了这种类型的传递函数。23(4)高斯型函数基本的高斯型函数如下:)2exp()(22xxf在(径向基函数)神经网络中采用了这种类型的传递函数。242、神经网络的拓扑结构神经网络是由大量神经元相互连接而构成的网络。根据连接方式的不同,神经网络的拓扑结构通常可分成两大类:层状结构和网状结构。2526下图为三层前馈网络的结构图。它包括三个单层的输入层、隐
9、含层和输出层。神经网络中有计算功能的节点称为计算单元,因此,前馈网络的隐含层和输出层节点属于计算单元。图 三层前馈网络的结构图2728根据状态信息的反馈途径,可以构成两种基本的递归结构模型:型和型,如下图所示。(a)型(b)型图 基本的结构模型29图 网状结构的神经网络输入信号要在所有神经元之间反复传递,从某一初始状态开始,经过若干次变化,直到收敛于某一稳定状态或进入周期振荡等状态为止。网状结构的神经网络如下图所示。303、神经网络的学习规则神经网络卓越的信息处理能力来自于网络中各神经元之间的连接权值。要模拟人脑的信息处理能力,必须使神经网络具有学习功能。学习的本质是调整各神经元之间的连接权值
10、,而如何调整连接权值就构成了不同的学习算法。31神经网络的学习方法有两大类:有导师学习和无导师学习。在无导师学习中,没有直接的误差信息,需要建立一个间接的评价函数,以对网络的某种行为进行评价。在有导师学习方法中,神经网络的输出及期望的输出(即教师值)相比较,然后根据两者之间的误差函数(又称为目标函数)来调整网络的权值,最终使误差函数达到最小值。32下面介绍几种常用的神经网络学习规则。(1)学习规则学习规则来源于关于生物神经元学习过程的假设:当两个神经元同时处于兴奋状态时,它们之间的连接应当加强。33令表示从神经元j到神经元i的连接权值,则按下式确定的变化量调整:此式为有导师的学习规则。其中,自
11、变量t表示当前时间;(t)为教师信号;g(,)和h(,)为适当的非线性函数。),()(),(ijjiiijtyhtttyg34当没有教师信号时,可以设g(,)的函数值为(t),h(,)的函数值正比于(t),因此,连接权值的变化量按下式调整:)()(tytyjiij上式为无导师的学习规则。其中,0表示学习速率的系数。35在有导师的学习规则中,如果g(,)的函数值正比于教师信号(t)及神经元i的输出(t)之间的差值,即并且,h(,)的函数值及神经元j的输出(t)成正比,即11)()()(),(tytttttygiiii其中,10为系数。)(),(2tytyhjijj其中,20为系数。则由学习规则可
12、得:)(tyjij上式即为学习规则。式中,0表示学习速率的系数。(2)()学习规则36在学习规则中,教师信号可看作为期望的输出,式11)()()(),(tytttttygiiii中的反映了神经网络期望输出和实际输出之间的差异。学习规则的实质就是通过迭代计算逐步调整网络权值,直到使误差达到最小。37竞争式学习规则属于无导师学习方式。它认为,神经网络是由许多“区域”组成的,各个区域包含一定数量的神经元,当有外界刺激输入时,在同一个区域里的各个神经元发生竞争性响应,其结果是只有一个神经元获胜从而达到兴奋状态,其余神经元则被抑制。(3)竞争式学习规则38“自组织竞争人工神经网络”是一种模拟某类生物神经
13、网络结构和现象的人工神经网络模型。在该类生物神经网络中存在一种侧抑制现象,即一个神经细胞兴奋后,通过它的分支会对周围其他神经细胞产生抑制。这种侧抑制使神经细胞之间出现竞争,一个兴奋最强的神经细胞对周围神经细胞的抑制作用也最强。“竞争式学习规则”是自组织竞争神经网络中的一种基本学习规则。39设j为三层前向网络输入层中某个神经元(1),i为隐含层神经元(1),且隐含层神经元采用型传递函数。假设整个隐含层属于同一个竞争区域,则竞争式学习规则如下:)()(ijjjiiijsysy式中,表示隐含层神经元i的状态,表示该神经元的输出;表示输入层神经元j的状态,表示该神经元的输出。isiyjsjy40如果在
14、隐含层中竞争的结果神经元k获胜,则其输出达到最大1)(kksy)()(ijjjiiijsysy根据式输入层所有及该神经元相连接的权值都将发生变化,其结果将使 (),即 0,从而使权值的调整达到稳态。ij而此时其他竞争失败的神经元受抑制,其输出为最小:0)(iisy)(ki 41 反向传播()网络()网络是一种最为常用的前馈网络,其结构如下图所示。它有一个输入层,一个输出层,一个或多个隐含层。每一层上包含若干个节点,每个节点代表一个神经元。同一层上的各个节点之间无耦合连接关系,信息从输入层开始在各层之间单向传播,依次经过各隐含层节点,最后到达输出层节点。图 网络42设网络接受的输入数据为n个,以
15、向量x表示:Tnxxxx),.,(21网络产生m个输出数据,用向量y表示:Tmyyyy),.,(21则网络将对应地有n个输入节点、m个输出节点。网络可视为从n维输入空间到m维输出空间地非线性映射,即yxfRRfmn)(,:43定理1:给定任一连续函数:f:0,1n ,f可以精确地用一个三层网络实现,该网络的第一层即输入层有n个神经元,中间层有(2n1)个神经元,第三层即输出层有m个神经元。该定理反映了映射网络的存在性。定理2:给定任意0,对于任意的L2型连续函数f:0,1n ,存在一个三层网络,它在任意平方误差精度内逼近f。由上述两个定理表明,只要用三层的网络就可实现L2型连续函数。基于这一结
16、论,在实际应用中三层网络已成为最为广泛应用的网络。44在网络的应用中,如何选取网络的隐含层数及其节点数,目前尚无准确的理论和方法。以下是几个确定三层网络隐含层节点数h的经验参考公式:amnh(1)其中,n为输入神经元数;m为输出神经元数;a为110之间的常数。nh2log(2)45网络的学习采用算法,即“误差反向传播算法”。在算法中要用到梯度下降法,下面先介绍梯度下降法,然后再介绍算法。梯度下降法梯度下降法源于最优化计算方法,它是各类有导师学习算法中最为基本的一种方法。46梯度下降法的基本思想是以神经网络期望的输出和网络实际输出之间的误差平方作为学习的目标函数,根据使其最小化的原则来调整网络的
17、权值。定义如下误差函数:2),()(21)(kWYkYWE式中,k为网络的离散时间变量;W为网络所有权值组成的向量;Y(k)为期望的网络输出向量;为网络的实际输出向量;表示向量的欧几里德范数。),(kWY47)()()()()1(kWWWWEkkWkW式中,(k)是控制权值调整速度的变量,通常和计算的步长有关。用数学公式表示为:48 算法设网络共有M层(不包括输入层),第l层的节点数为,(l)表示第l层节点k的输出,则(l)由下两式确定:)1()(10)1()()(llknjljlkjlkyWysl式中,(l)为第l层神经元k的状态,神经元的状态按式 表示,即 ,(为该神经元的阈值。)njji
18、jixs01)1(0ly)()(0lklkW)()()(lklksfy49上式采用了向量表示法,其中,(l)为由网络权值组成的系数行向量,y(1)为第1层的输出列向量。输入层作为第0层处理,因此,y(0),x为网络的输入向量。50给定样本模式X,Y后,网络的权值将被调整,使如下的误差目标函数达到最小:MnkkkYYYYWE122)(2121)(式中,为网络的输出;W表示网络中所有的权值;为最后一层(输出层)的节点数,因此m,且 。Y)(MkkyY 51根据梯度下降最优化方法,可以通过E(W)的梯度来修正权值。连至第l层第i个神经元的权值向量(l)的修正量由下式确定:)1()()()()(lli
19、liliyWWEW对于输出层(第M层),上式中的 为:)(li)()()()(MiiiMisfYY 对于隐含层 为:)(li11)()1()1()()(lnjliljlijlisf52以上即为算法。对于给定的输入输出样本,按照上述过程反复调整权值,最终使网络的输出接近期望的输出。由于权值的修正是在输入所有样本并计算总体误差后进行的,所以算法属于批处理的方法。53算法整个处理过程可以分为两个阶段:第二个阶段:对权值的修正,从网络的输出层开始逐层向后进行计算和修正,这是反向传播过第二个阶段:对权值的修正,从网络的输出层开始逐层向后进行计算和修正,这是反向传播过程。程。第一个阶段:从网络的输入层开始
20、逐层向前计算,根据输入样本计算出各层的输出,最终求出网络第一个阶段:从网络的输入层开始逐层向前计算,根据输入样本计算出各层的输出,最终求出网络输出层的输出,这是前向传播过程;输出层的输出,这是前向传播过程;这两个过程反复交替,直到收敛为止。54v反向传播的适用情况v正向传播用于进行网络计算,对其输入求出它的输出;反向传播用于逐层传递误差,修改连接权值,以使网络能进行正确的计算。v一旦网络经过训练用于求解现实问题,则就只需正向传播,不需要再进行反向传播。55 网络实质上实现了一个从输入到输出的映射功能,而数学理论已证明它具有实现任何复杂非线性映射的功能。这使得它特别适合于求解内部机制复杂的问题;
21、网络能通过学习带正确答案的实例集自动提取“合理的”求解规则,即具有自学习能力;多层前向网络的优点:网络具有一定的推广、概括能力。56算法的实质是梯度下降法,因而可能存在陷入局部极小以及收敛速度慢等问题。为了解决这些问题,通常采用全局最优算法及算法相结合的方法,同时还可以采取以下措施:给权值加以扰动。在学习的过程中给权值加以扰动,有可能使网络脱离当前局部最小点的陷阱;选择合适的初始权值;在网络的学习样本中适当加些噪声,可避免网络依靠死记的办法来学习;多层前向网络存在的问题及采取的措施:57 当网络的输出及样本之间的差小于给定的允许误差范围时,则对此样本神经网络不再修正其权值,以此来加快网络的学习
22、速度;适当选择网络的大小,尽可能使用三层网络,这样可以避免因层数多、节点数多、计算复杂化而可能导致反向误差发散的情况。58 径向基函数()网络径向基函数()网络也是一种常用的前馈网络,其结构如下图所示。图 网络59从结构上看,径向基函数()网络它属于三层前馈网络,包括一个输入层、一个输出层和一个隐含层。输入层节点的作用是将输入数据输入层节点的作用是将输入数据x1,x2,传递到隐含层节点;,传递到隐含层节点;隐含层节点称为节点,由以高斯型传递函数为典型代表的辐射状函数神经元构成;隐含层节点称为节点,由以高斯型传递函数为典型代表的辐射状函数神经元构成;输出层节点的传递函数通常为简单的线性函数。输出
23、层节点的传递函数通常为简单的线性函数。60隐含层节点的高斯核函数对输入数据将在局部产生响应。即当输入数据靠近高斯核函数的中心时,隐含层节点将产生较大的输出;反之则产生较小的输出。高斯核函数的表达式为:),.,2,1(),2)()(exp(2hjCxCxujjTjj式中:(x1,x2,)T是网络的输入数据向量;是第j个隐含层节点的输出,且0,1;是高斯核函数的中心值;h为隐含层节点数;j为标准化常数。61网络的输出是隐含层节点输出的线性组合,即),.,2,1(,1miUWuwyTiihjjiji式中:TiihiiiW),.,(21ThuuuU)1,.,(2162第一阶段:根据所有输入样本决定隐含
24、层各节点的高斯核函数的中心值和标准化常数第一阶段:根据所有输入样本决定隐含层各节点的高斯核函数的中心值和标准化常数j;第二阶段:当决定了隐含层的参数后,再根据样本,利用最小二乘原则,求出输出层的权值向量。第二阶段:当决定了隐含层的参数后,再根据样本,利用最小二乘原则,求出输出层的权值向量。网络的学习过程分为两个阶段:63网络是典型的反馈型神经网络()。网络在反馈型神经网络中,输入数据决定了反馈系统的初始状态,经过一系列状态转移后,系统逐渐收敛至平衡状态。这个平衡状态就是反馈型神经网络经计算后的输出结果。64稳定性是反馈型神经网络最重要的问题之一。稳定性是反馈型神经网络最重要的问题之一。如果能找
25、到网络的李雅普若夫()函数,则可以根据李雅普若夫稳定性定理来分析、设计反馈如果能找到网络的李雅普若夫()函数,则可以根据李雅普若夫稳定性定理来分析、设计反馈型神经网络,进而保证网络对任意的初始状态都具有稳定收敛的性质。型神经网络,进而保证网络对任意的初始状态都具有稳定收敛的性质。65网络分连续型和离散型两种。连续型网络可用如下的非线性微分方程描述:)(0iiinjjijiiiiisgyytxRsdtdsC66连续型网络的非线性微分方程可由相应的电路模拟,如下图所示。图中,电阻和电容并联,以模拟生物神经元输出的时间常数;跨导模拟生物神经元之间互连的突触特性;运算放大器用来模拟生物神经元的非线性特
展开阅读全文