《智能传感器系统》课件第6章.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《《智能传感器系统》课件第6章.ppt》由用户(momomo)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智能传感器系统 智能 传感器 系统 课件
- 资源描述:
-
1、第6章神经网络技术与其在智能传感器系统中的应用 第6章神经网络技术与其在智能 传感器系统中的应用6.1概述概述6.2神经网络基础知识神经网络基础知识6.3示例示例第6章神经网络技术与其在智能传感器系统中的应用6.1 概概 述述人工神经网络(Artificial Neuron Networks,ANN)是由大量的处理单元组成的非线性大规模自适应动力系统。它是在现代神经生理科学研究成果的基础上提出来的,是人们试图通过模拟大脑神经网络处理、记忆信息的方式设计的一种使之具有人脑那样的信息处理能力的新“机器”。第6章神经网络技术与其在智能传感器系统中的应用Konhonen曾给出一个神经网络的定义,他指出
2、神经网络是由一些简单的(通常为自适应的)单元及其层次组织的大规模并行联结构造的网络,它致力于按照生物神经系统的同样方式处理真实世界的客观事物,从而反映了人脑功能的若干特征,但并非神经系统的真实描写,而是它的简化、抽象和模拟。第6章神经网络技术与其在智能传感器系统中的应用神经网络的研究可以追溯到19世纪40年代。1943年,心理学家麦克洛奇(W.McCulloch)和数理逻辑学家皮兹(W.Pizz)在数学生物物理公报(Bulletin of Mathematical Biophysics)上发表了关于神经网络的数学模型。这个模型后来一直被称为M-P神经网络模型。他们总结了神经元的一些基本生理特征
3、,提出神经元形式化的数学描述和网络的结构方法,神经网络的研究从此开始了。第6章神经网络技术与其在智能传感器系统中的应用到19世纪70年代,虽然由于人工智能、专家系统的发展,使得神经网络的发展一度出现低潮,但神经网络的研究并没有因此停滞不前,80年代神经网络又重新兴起。目前神经网络广泛应用于传感器信息处理、信号处理、自动控制、知识处理、运输与通信等领域。第6章神经网络技术与其在智能传感器系统中的应用6.2 神经网络基础知识神经网络基础知识6.2.1 神经网络结构神经网络结构1.分层网络结构分层网络将一个神经网络模型中的所有神经元按功能分成若干层,通常有输入层、隐层(中间层)和输出层,各层按顺序连
4、接,如图6-1所示。输入层是与外部激励打交道的界面,它接受外部输入模式,并由各输入神经单元传给与之相连的隐层各神经元;隐层(中间层,可以不只一层)是网络内部处理单元的工作区域。第6章神经网络技术与其在智能传感器系统中的应用不同模型的处理功能差别主要反映在对中间层的处理上。输出层将网络计算结果输出,是与外部显示设备或执行机构打交道的界面。同层之间神经元互不相连,相邻层神经元之间的连接强度由连接权值表示。wji为隐层第j个神经元与输入层第i个神经元之间的连接权值;vkj为输出层第k个神经元与隐层第 j个神经元之间的连接权值。第6章神经网络技术与其在智能传感器系统中的应用图6-1 分层网络功能层次第
5、6章神经网络技术与其在智能传感器系统中的应用2.相互连接型网络结构所谓相互连接型网络,是指网络中任意两个单元之间是可达的,即存在连接路径,如图6-2所示。在该网络结构中,对于给定的某一输入模式,由某一初始网络参数出发,在一段给定的时间内网络处于不断改变输出模式的动态变化之中。最后,网络可能会产生某一稳定输出模式,但也有可能进入周期性振荡状态。因此,相互连接型网络可以认为是一种非线性动力学系统。第6章神经网络技术与其在智能传感器系统中的应用图6-2 相互连接型网络第6章神经网络技术与其在智能传感器系统中的应用6.2.2 神经元模型神经元模型神经元是人工神经网络的基本单元,图6-3所示为一个简单的
6、人工神经元模型。p1,p2,pi,pR表示神经元(序号l)的R个输入;wlj表示该神经元(序号为l)与前层第i个神经元的连接权值;b为偏置值,又称阈值;a为神经元的输出,神经元的输入与输出关系的一般数学表达式如下:)(1nfawpbnRilii(6-1)第6章神经网络技术与其在智能传感器系统中的应用其中:n为该神经元(序号l)的总输入;f(n)为表示神经元输入输出关系的函数,称为作用函数、响应函数或传递函数。当b=0时,称为无偏置/无阈值神经元;当b0时,表示当神经元所接受的输入达到一定强度后,才能被激活,称为有偏置/阈值神经元;当R=1时,为单输入神经元;当R1时,称为多输入或矢量输入神经元
7、,此时连接权wl1,wl2,wli,wlR组成一矢量。第6章神经网络技术与其在智能传感器系统中的应用图6-3 神经元模型第6章神经网络技术与其在智能传感器系统中的应用6.2.3 神经元作用函数神经元作用函数1.S型作用函数S型作用函数反映了神经元的非线性输入输出特性,它又分为对数型、正切型等多个类型。(1)对数型(logsig):输入输出特性采用对数函数表示,其函数曲线如图6-4(a)所示,数学表达式如下:第6章神经网络技术与其在智能传感器系统中的应用nnfae11)((6-2)其中:n表示神经元的总输入;a 为神经元的输出。函数f(n)的值域为(0,1),是一个单边函数;如果将f(n)减去0
8、.5就可得到一个双边函数。(2)正切型(tansig):函数曲线如图6-4(b)所示,数学表达式如下:1e122na(6-3)第6章神经网络技术与其在智能传感器系统中的应用图6-4 S型神经元作用函数(a)对数型sig函数;(b)正切型sig函数第6章神经网络技术与其在智能传感器系统中的应用2.线性型(line)(1)饱和线性函数:函数曲线如图6-5(a)所示,数学表达式如下:111 00 0nnnna如果如果如果(6-4)第6章神经网络技术与其在智能传感器系统中的应用图6-5 线性作用函数(a)饱和线性函数;(b)对称饱和线性函数;(c)纯线性函数第6章神经网络技术与其在智能传感器系统中的应
9、用(2)对称饱和线性函数:函数曲线如图6-5(b)所示,数学表达式如下:nnnna111 111如果如果如果 (6-5)(3)纯线性函数:函数曲线如图6-5(c)所示,数学表达式如下:a=n (6-6)第6章神经网络技术与其在智能传感器系统中的应用3.硬限幅型(hardlim)(1)硬限幅函数:函数曲线如图6-6(a)所示,数学表达式如下:其它若00 1na(6-7)(2)对称硬限幅函数:函数曲线如图6-6(b)所示,数学表达式如下:其它若00 1na(6-8)第6章神经网络技术与其在智能传感器系统中的应用图6-6 硬限幅作用函数(a)硬限幅函数;(b)对称硬限幅函数第6章神经网络技术与其在智
10、能传感器系统中的应用4.高斯型函数(Gauss)高斯型函数的函数曲线如图6-7所示,数学表达式如下:a=en2 (6-9)高斯函数的输出为1和0.5时所对应的输入之间的差值称为函数的分散度(spread),明显地,对应于式(6-9)的分散度为0.833。高斯神经元函数通常用作RBF网络的隐层传递函数。第6章神经网络技术与其在智能传感器系统中的应用图6-7 高斯型函数第6章神经网络技术与其在智能传感器系统中的应用对于神经元作用函数的选择,目前还没有定性的法则,一般根据应用情况的不同而定,但对于S型非线性函数,一般用于多层神经网络的隐层,而线性函数和限幅函数则多用于神经网络的输出层。大脑中的各个神
11、经元之间的连接方式多种多样。根据大脑中神经元连接方式的不同,我们同样可以构造出各种各样的人工神经网络模型。就目前常用的比较成熟的网络而言,可以从不同的角度进行分类。第6章神经网络技术与其在智能传感器系统中的应用若从网络的结构上进行分类,可将神经网络分为前馈神经网络和反馈神经网络。有代表性的网络模型有感知器、多层映射BP、RBF、双向联想记忆(BAM)、Hopfield模型等,它们是从不同的角度对生物神经系统不同层次的描述和模拟。利用这些网络模型可实现函数逼近、数据采集聚类、模式分类、优化计算等功能。因此,神经网络广泛应用于人工智能、自动控制、机器人、统计学等领域的信息处理中。第6章神经网络技术
12、与其在智能传感器系统中的应用6.2.4 BP神经网络神经网络1.BP神经网络BP神经网络由于其权值采用反向传播(Back Propagation)的学习算法而得名。Rumelhart、McClelland和他们的同事于1982年成立了一个PDP小组,研究并行分布信息处理方法,探索人类认知的微结构,经过三年的努力,于1985年发展了BP神经网络学习算法。BP网络是一种多层前馈神经网络,其神经元的变换函数是S型函数,因此其输出量为0到1之间的连续量,它可以实现从输入到输出的任意的非线性映射。第6章神经网络技术与其在智能传感器系统中的应用在确定了BP网络的结构后,利用输入输出样本集对其进行训练,也即
13、对网络的权值和偏置值(bias)进行学习和调整,以使网络实现给定的输入输出映射关系。经过训练的BP网络,对于不是样本集中的输入,也能给出合适的输出,这种性质称为泛化(generalization)功能。因此,BP神经网络具有拉格朗日(Lagrange)插值法、牛顿(Newton)插值法等类似的插值功能,只是拉格朗日插值法和牛顿插值法只能用于二维空间的曲线插值,而BP神经网络可实现多维空间的曲面插值。第6章神经网络技术与其在智能传感器系统中的应用2.BP网络结构BP神经网络通常有一个或多个隐层。在实际应用中,用得最多的是三层BP神经网络。图6-8和图6-9所示为一个简单的三层BP网络模型。网络的
14、输入层包含i(i=3)个节点,隐层包含j(j=4)个节点,输出层有k(k=2)个节点。连接权值Iwji表示输入层第i个节点与隐层的第j个节点的连接权值,共有43个权值。Lwkj表示隐层第j个节点与输出层第k个节点的连接权值,共有24个连接权值。第6章神经网络技术与其在智能传感器系统中的应用图6-8 BP网络模型第6章神经网络技术与其在智能传感器系统中的应用图6-9 BP网络模型示意图第6章神经网络技术与其在智能传感器系统中的应用3.BP神经网络的神经元模型对于图6-9 所示BP网络模型的神经作用函数选用情况如下:(1)输入层神经元作用函数。输入层神经元作用函数选为纯线性函数,故节点i的输出为
15、Oi=pi (6-10)其中,pi为第i个节点的输入。第6章神经网络技术与其在智能传感器系统中的应用(2)隐层神经元作用函数。隐层神经元作用函数选用对数S型函数,故节点j的输出为1111e11)(jnjjanfOj(6-1)节点j的总输入:jRijiijbwOn1311I(6-11)第6章神经网络技术与其在智能传感器系统中的应用(3)输出层神经元作用函数。输出层神经元作用函数选对数S型函数。节点k的输出:knkknfO2e11)(22(6-13)节点k的总输入:kljkjjkbwOn24122L(6-14)第6章神经网络技术与其在智能传感器系统中的应用 4.BP神经网络的学习算法当权值Iwji
16、(lR个)、Lwkj(ml个)与阈值 b1j(l个)、b2k(m个)随机赋予初始值、确定分组输入p1,p2,pR后,根据式(6-10)、(6-11)、(6-13)、(6-14)进行计算,就可得出输出层节点k的输出O2k与期望输出dk存在误差,输出层m个节点的总误差E取为212221mkkkOdE(6-15)第6章神经网络技术与其在智能传感器系统中的应用网络学习也称为网络训练,就是通过反复的计算,求取E,根据E的大小调整网络参数,最终使得误差E足够小。网络权值参数的修正数学表达式求取所遵循的规则称为学习规则,其基本思想是:使权值沿误差函数E的负梯度 方向改变,即wEkjkjkjkjwEtwtww
17、L)(L)1(LLjijijijiwEtwtwwI)(I)1(II(6-16)(6-17)其中,为学习因子,又称步长。第6章神经网络技术与其在智能传感器系统中的应用(1)输出层训练误差2k:kkkkknOOEnE2222(6-18)根据误差定义式(6-15)及式(6-13)、(6-14),可求得)()(222kkkkknfdOdOE(6-19)第6章神经网络技术与其在智能传感器系统中的应用将式(6-19)、(6-20)代入式(6-18),得根据式(6-13)、(6-14)可得)(1)()(2222kkkkknfnfnfnO(6-20))()(1)(2222kkkkknfdnfnf(6-2)第6
18、章神经网络技术与其在智能传感器系统中的应用(2)隐层训练误差1j:jjjjjnOOEnE11111(6-22)根据式(6-11)可得)(1)()(11111jjjjjnfnfnfnO(6-23)第6章神经网络技术与其在智能传感器系统中的应用根据式(6-18)、(6-14)可得4111111IljkjkjkkjwOnnEOE(6-24)将式(6-23)、(6-24)代入式(6-22),得411111I)(1)(ljkjkjjjwnfnf(6-25)第6章神经网络技术与其在智能传感器系统中的应用(3)权值修正公式。Lwkj的修正公式:将式(6-16)变换为jkkjkkkjkjOwnnEwEw222
19、2LLL(6-26)其中;22kknEkjkjwnOL22则有jkkjkjOtwtw22)(L)1(L(6-27)第6章神经网络技术与其在智能传感器系统中的应用 Iwji的修正公式:将式(6-17)变换为ijjijjjijijiOwnnEtwtww1111I)(I)1(II(6-28)其中;11jjnEjijiwnOI11则有ijjijiOtwtw11)(I)1(I(6-29)第6章神经网络技术与其在智能传感器系统中的应用引入势态因子,最后修正公式变为)1(I)(I)(II)1(L)(L)(LL1122twtwOtwwtwtwOtwwjijiijjijikjkjjkkjkj(6-30)(4)学
20、习流程图。BP网络的一个样本的学习流程如图6-10所示。第6章神经网络技术与其在智能传感器系统中的应用图6-10 BP网络训练过程及算法流程第6章神经网络技术与其在智能传感器系统中的应用 网络初始化,随机设定连接权值Iwji、Lwkj,阈值b1j、b2k,学习因子,势态因子。向具有上述初始值的神经网络提供输入学习样本和序号。计算隐层单元输出值。计算输出层单元的输出。计算输出层和隐层训练误差2k、1j。修正权值。判断均方误差e是否满足给定允许偏差。当满足时转到,否则转向、和。结束训练。第6章神经网络技术与其在智能传感器系统中的应用6.2.5 径向基(径向基(RBF)神经网络)神经网络1.RBF神
21、经网络模型RBF神经网络的神经元作用函数采用高斯型函数,其神经元模型如图6-11所示。它同前面所谈到的神经元有所不同,前面谈到的BP网络的神经元的总输入是对各输入和偏置值(bias)进行加权求和得到的,而如图6-11所示的RBF网络的神经元的总输入是权值矩阵的行向量与输入向量的向量距与偏置值(bias)的乘积,其数学表达式为 第6章神经网络技术与其在智能传感器系统中的应用jjiijiipwbn2)((6-31)其中:ni为网络隐层第i个神经元的总输入;bi为第i个神经元的偏置值(bias);wij为隐层权值矩阵的第i个行向量的第j个元素;pji是第j个输入向量的i时刻输入值。第6章神经网络技术
22、与其在智能传感器系统中的应用图6-11 径向基神经元第6章神经网络技术与其在智能传感器系统中的应用RBF神经网络模型同BP网络类似,通常其输出层是纯线性神经元,只是其隐层神经元是称之为radbas型的神经元。RBF神经网络模型如图6-12所示。第6章神经网络技术与其在智能传感器系统中的应用图6-12 径向基神经网络模型第6章神经网络技术与其在智能传感器系统中的应用2.RBF神经网络的训练由高斯函数的函数表达式可知,其输出最大值为1,当输入向量与权值向量的向量距减小时,神经元的输出增大。偏置b用来调节高斯函数对输入的灵敏度,b的绝对值越大,神经元对输入越灵敏,也就是说,神经元的响应函数曲线越“宽
23、”。对应于图6-7,也就是函数的输出为0.5时的两个总输入之差的绝对值越大。第6章神经网络技术与其在智能传感器系统中的应用对于b的取值,一般由训练样本的样本距和样本的范围决定,b的取值大于两个相邻样本点的最大距离,而小于任意两个样本的最大距离。例如,对于一个单输入单输出的RBF神经网络,输入的样本为6,4,0,2,4,7,那么b的取值应大于4而小于13。(1)若是其对应的样本点,我们也称其为该神经元的特征输入点,那么其对应的输出应趋于1;第6章神经网络技术与其在智能传感器系统中的应用(2)对于非样本点输入,输入与特征输入的点距离越远,则神经元的输出越小。因此,RBF神经网络的输入权值是由样本决
24、定的,而与期望输出并没有太大关系。在输入权值、隐层神经元的偏置值(bias)全部确定好之后,隐层的输出也就确定了。由于RBF神经网络的输出层神经元的响应函数是纯线性函数,因此,在选定输出层神经元之后,隐层与输出层之间的神经元连接权值可以由下式确定:第6章神经网络技术与其在智能传感器系统中的应用T,1221211222122112222111211ssssssssaaabbwwbwwwwwww(6-32)第6章神经网络技术与其在智能传感器系统中的应用其中:wij为输出层第i个神经元与隐层第j个神经元的连接权值;bi为输出层第i个神经元的偏置值(bias);aj为隐层第j个神经元的输出向量;T为理
25、想输出矩阵。求解式(6-32),即可得到输出层与隐层的连接权值。第6章神经网络技术与其在智能传感器系统中的应用6.3 示示 例例6.3.1 示例示例6-1基于神经网络模型法温度基于神经网络模型法温度自补偿智能化模块的设计自补偿智能化模块的设计具有温度补偿功能,可对易受环境温度影响的传感器,如压阻式压力传感器进行温度补偿;该补偿器中的神经网络模块可更换学习样本进行再训练以适应不同压力量程的传感器在不同工作环境温度影响下进行温度补偿,提高温度稳定性;第6章神经网络技术与其在智能传感器系统中的应用 网络训练完毕后,输入压力传感器量程范围内的任何输出电压值UP与其工作环境温度传感器的输出电压值UT,补
展开阅读全文