神经网络+数学建模型及算法-课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《神经网络+数学建模型及算法-课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 数学 建模 算法 课件
- 资源描述:
-
1、神经网络与数学建模神经网络与数学建模湖北工程学院数学建模组织一、引例一、引例 1981年生物学家格若根(W Grogan)和维什(WWirth)发现了两类蚊子(或飞蠓midges)他们测量了这两类蚊子每个个体的翼长和触角长,数据如下:翼长 触角长 类别 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af翼长 触角长 类别1.78 1.14 Apf1.96 1.18 Apf1.86 1.20 Apf1.72 1.24 Af2.00 1.26 Apf2.00 1.28
2、Apf1.96 1.30 Apf1.74 1.36 Afl问:若抓到三只新的蚊子,它们的触角长和翼长分别为(1.24,1.80);(1.28,1.84);(1.40,2.04)问它们应分别属于哪一个种类?把翼长作纵坐标,触角长作横坐标;那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中 6个蚊子属于 APf类;用黑点“”表示;9个蚊子属 Af类;用小圆圈“。”表示 得到的结果见图1 图1 飞蠓的触角长和翼长 一、引例一、引例 1989年美国大学生数学建模问题l思路:例如;取A(1.44,2.10)和 B(1.10,1.16),过A B两点作一条直线:y 1.47x -0.017 其中x表示触
3、角长;y表示翼长 分类规则:设一个蚊子的数据为(x,y)如果y1.47x -0.017,则判断蚊子属Apf类;如果y1.47x -0.017;则判断蚊子属Af类 一、引例一、引例 作一直线将两类飞蠓分开l分类结果:(1.24,1.80),(1.28,1.84)属于Af类;(1.40,2.04)属于 Apf类图2 分类直线图 一、引例一、引例 D:(1.40,2.04)C:(1.28,1.84)B:(1.24,1.80)DCB缺陷:根据什么原则确定分类直线?若取A=(1.46,2.10),B=(1.1,1.6)不变,则分类直线变为 y=1.39x+0.071分类结果变为:(1.24,1.80),
4、(1.40,2.04)属于Apf类;(1.28,1.84)属于Af类 哪一分类直线才是正确的呢?一、引例一、引例 AfAphC:(1.24,1.80)B:(1.28,1.84)A:(1.40,2.04)ABCA(1.44,2.10)l再如,如下的情形能不能用分类直线的办法呢?新思路:将问题看作一个系统,飞蠓的数据作为输入,飞蠓的类型作为输出,研究输入与输出的关系。一、引例一、引例 人工神经网络模型人工神经网络模型前言前言 所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统。粗略地讲,大脑是由大量神经细胞或神经元组成的。每个神经元可看作是一个小的处理单元,这些神经元按某种方
5、式连接起来,形成大脑内部的生理神经元网络。这种神经元网络中各神经元之间联结的强弱,按外部的激励信号做自适应变化,而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。生物神经网生物神经网基本工作机制:一个神经元有两种状态兴奋和抑制平时处于抑制状态的神经元,当接收到其它神经元经由突触传来的冲击信号时,多个输入在神经元中以代数和的方式叠加。进入突触的信号会被加权,起兴奋作用的信号为正,起抑制作用的信号为负。如果叠加总量超过某个阈值,神经元就会被激发进入兴奋状态,发出输出脉冲,并由轴突的突触传递给其它神经元。人工神经网络的生物学基础人工神经网络的生物学基础细胞体突触轴突树突图12.
6、2 生物神经元功能模型输入输出信息处理电脉冲形成传输人工神经网络的生物学基础信息输入信息输入信息传播与处理信息传播与处理信息传播与处理(整合)信息传播与处理(整合)信息传播与处理结果:兴奋与抑制信息传播与处理结果:兴奋与抑制信息输出信息输出神经网络的基本思想神经网络的基本思想人工神经元的基本构成:1()niiiyfw xyx1x2x nw1w2w n 人工神经元信息处理单元 )(ixf i )(ixf i 人工神经元信息处理单元信息输入信息输入 )(ixf i 人工神经元信息处理单元信息传播与处理:加权求和信息传播与处理:加权求和 )(ixf i 人工神经元信息处理单元信息传播信息传播 )(i
7、xf i 人工神经元信息处理单元信息传播与处理信息传播与处理 )(ixf i 人工神经元信息处理单元信息输出信息输出lf(X)是激发函数;它可以是线性函数,也可以是非线性函数例如,若取激发函数为符号函数 miiixwz1.0,0,0,1)sgn(xxxmiiimiiixwxwzfy11,0,1)(S型传递函数型传递函数xe11f(x)xxxe1e11e12f(x)f(x)1.0 0.5x0 f(x)1.0 0 x-1.0l注:一个神经元含有与输入向量维数相同个数的权系数,若将阈值看作是一个权系数,-1是一个固定的输入,另有n-1个正常的输入,则式也可表示为:1()ni iiyfwx 参数识别:
8、假设函数形式已知,则可以从已有的输入输出数据确定出权系数及阈值。1()niiiyfw xojx1-1x2简单原理简单原理 人工神经网络是根据人的认识过程而开发出的一种算法。假如我们现在只有一些输入和相应的输出,而对如何由输入得到输出的机理并不清楚,那么我们可以把输入与输出之间的未知过程看成是一个“网络”,通过不断地给这个网络输入和相应的输出来“训练”这个网络,网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。这样,当训练结束后,我们给定一个输入,网络便会根据自己已调节好的权值计算出一个输出。这就是神经网络的简单原理。人工神经网络基本特点(1)可处理非线性(2)并行结构对神经网
9、络中的每一个神经元来说;其运算都是同样的这样的结构最便于计算机并行处理(3)具有学习和记忆能力一个神经网络可以通过训练学习判别事物;学习某一种规律或规则(4)对数据的可容性大在神经网络中可以同时使用量化数据和质量数据(如好、中、差、及格、不及格等)(5)神经网络可以用大规模集成电路来实现如美国用 256个神经元组成的神经网络组成硬件用于识别手写体的邮政编码人工神经网络的分类人工神经网络的分类按网络连接的拓扑结构分类:层次型结构:将神经元按功能分成若干层,如输入层、中间层(隐层)和输出层,各层顺序相连人工神经网络的分类人工神经网络的分类按网络内部的信息流向分类:前馈型网络:网络信息处理的方向是从
10、输入层到各隐层再到输出层逐层进行 u y 神经网络的学习规则神经网络的学习规则 关键在于如何决定每一神经元的权值。常用的学习规则有以下几种:(1)Hebb规则(2)Delta规则(最小均方差规则)(3)反向传播学习方法(4)Kohonen学习规则(用于无指导训练网络)(5)Grosberg学习方法HebbHebb学习规则学习规则1949年,D.O.Hebb基于生理学和心理学的研究,提出假设“当两个神经元都处于兴奋状态时,连接这两个神经元的权值将得到加强”。T121(,)nxx xxT12()(,)nw tw ww()Tyf w tx1()()()w tw tw t()w ty x输入样本:当前
11、权值:实际输出:权值调节公式:权值调整量:1904-1985 DeltaDelta规则规则1986年,认知心理学家McClelland和RumeChart在神经网络训练中引入了(Delta)规则,该规则也称连续感知器学习规则。T12(,)nxx xxT12()(,)nwtw wwT12(,)ndd ddT1ni iiuwxw x 11()uyf ue2211()()22Edydf u输入样本:当前权值:期望输出:基函数:实际输出:输出误差:DeltaDelta规则规则神经元权值调节学习规则的目的是:通过训练权值w,使得对于训练样本对(x,d),神经元的输出误差达最小,误差E是权向量w的函数,欲
12、使误差E最小,w应与误差的负梯度成正比,即 其中 比例系数是一个常数2211()()22Edydf u()()Edf uf uxTT1()()()()w tw tdf w xf w xxwE 误差:误差梯度:权值调整公式:常用于:单层、多层神经网络、BP网。神经网络常用模型神经网络常用模型共70多种,具有代表性的有:(1)感知器(Perceptron)(2)多层前馈(BP)网络(3)Hopfield网络(优化)(4)Boltzmann机(在BP中加入噪声)(5)双向联想记忆网络(快速存储)人工神经网络的工作原理人工神经网络的工作原理人工神经网络的工作原理到底是怎样的,我们可以从一个最简单的网络
13、来剖析,一定程度上打开这个黑匣子。1958年,美国心理学家Frank Rosenblatt提出一种具有单层计算单元的神经网络,称为Perceptron,即感知器。感知器是模拟人的视觉接受环境信息,并由神经冲动进行信息传递的层次型神经网络。单层感知器的结构与功能都非常简单,以至于在解决实际问题时很少采用,但由于它在神经网络研究中具有重要意义,是研究其它网络的基础,常作为学习神经网络的起点。人工神经网络的工作原理人工神经网络的工作原理感知器模型(单层前向神经网络)j=1,2,m Tni,.,x,.x,xx)(21X12(y)TimY,y,.y,.,yTnjijjjj,.,w,.w,ww)(21W输
14、出类别指示输入样本人工神经网络的工作原理人工神经网络的工作原理感知器模型净输入:输出为:Tj为阀值,sgn为符号函数niiijjxwnet10()()()nTjjjijijiysgn netTsgnw xsgnW X人工神经网络的工作原理人工神经网络的工作原理感知器模型具体的:设输入向量设输入向量X=(x1,x2)T输出:输出:则由方程则由方程w1jx1+w2jx2-Tj=0确定了二维平面上的一条分界线确定了二维平面上的一条分界线ojx1-1x2010122112211jjjjjjjTxwxwTxwxwo人工神经网络的工作原理人工神经网络的工作原理感知器模型具体的:则由方程则由方程w1jx1+
15、w2jx2-Tj=0确定了二维平面上的一条分界线确定了二维平面上的一条分界线(Why?)w1j x1+w2j x2 Tj=0 w1j x1=Tj -w2j x2 x1=(Tj-w2j x2)/w1j =-(w2j/w1j)x2+Tj/w1j =a x2+c人工神经网络的工作原理人工神经网络的工作原理感知器模型具体的:这样的话,我们就可以得到 0XWTjl思路:例如;取A(1.44,2.10)和 B(1.10,1.16),过A B两点作一条直线:y 1.47x -0.017 其中x表示触角长;y表示翼长 分类规则:设一个蚊子的数据为(x,y)如果y1.47x -0.017,则判断蚊子属Apf类;
16、如果y1.47x -0.017;则判断蚊子属Af类 一、引例一、引例 作一直线将两类飞蠓分开人工神经网络的工作原理人工神经网络的工作原理感知器模型一个最简单的单计算节点感知器具有分类功能。其分类原理是将分类知识存储于感知器的权向量(包含了阈值)中,由权向量确定的分类判决界面将输入模式分为两类。ojx1-1x2单层感知器的局限性是:仅对线性可分问题具有分类能力。感知器神经网络设计感知器神经网络设计感知器神经网络的结构p1p2W1,1W1,2n1a经典的人工神经网络算法经典的人工神经网络算法BP算法BP(Error Back Propagation,BP)误差反向传播算法它是有指导训练的前馈多层网
17、络训练算法,是靠调节各层的加权,使网络学会由输入输出对组成的训练组执行优化的方法是梯度下降法BP算法是使用非常广泛的一种算法,最常用的转移函数是Sigmoid函数xexf11)(经典的人工神经网络算法经典的人工神经网络算法BP算法BP 网络模型输入层输入层隐含层隐含层输出层输出层IJKBP网络结构图wjiwkj经典的人工神经网络算法经典的人工神经网络算法BP算法学习的过程:正向传播:输入样本输入层各隐层输出层 判断是否转入反向传播阶段:若输出层的实际输出与期望的输出(教师信号)不符 误差反传误差以某种形式在各层表示修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为
18、止BP算法的学习过程如下:(1)选择一组训练样例,每一个样例由输入信息和期望的输出结果两部分组成。(2)从训练样例集中取一样例,把输入信息输入到网络中。(3)分别计算经神经元处理后的各层节点的输出。(4)计算网络的实际输出和期望输出的误差。反向传播模型及其学习算法反向传播模型及其学习算法(5)从输出层反向计算到第一个隐层,并按照某种能使误差向减小方向发展的原则,调整网络中各神经元的连接权值。(6)对训练样例集中的每一个样例重复35的步骤,直到对整个训练样例集的误差达到要求时为止。在以上的学习过程中,第(5)步是最重要的,如何确定一种调整连接权值的原则,使误差沿着减小的方向发展,是BP学习算法必
展开阅读全文