人工神经网络原理、应用课件.ppt

1、人工神经网络原理、应用及发展趋势王永骥华中科技大学控制系研究生论坛讲座22022-9-27纲要1.人工神经网络原理2.人工神经网络优势3.人工神经网络的应用4.人工神经网络研究趋势5.结束语研究生论坛讲座32022-9-271.人工神经网络原理人之所以有智能，是因为大脑中存在一个1000亿个神经元构成的生物神经网络;生物神经网络十分复杂，具有高度智能;人们力图抓住主要特点，构成人工神经网络，形成具有一定智能能力的信息处理工具。研究生论坛讲座42022-9-271.1 神经系统 的复杂性研究生论坛讲座52022-9-27研究生论坛讲座62022-9-27研究生论坛讲座72022-9-27研究生论

2、坛讲座82022-9-27研究生论坛讲座92022-9-27研究生论坛讲座102022-9-27研究生论坛讲座112022-9-27What are(artificial)neural networks?It is a network with interactions,in attempt to mimicking the brain UNITs:artificial neuron(linear or nonlinear input-output unit),small numbers,a few hundreds INTERACTIONs:simply by weights,how str

3、ong a neuron affects others STRUCTUREs:could be feedforward,feedback or recurrent It is still far too naive,and the development of the field relies on all of us研究生论坛讲座122022-9-27 1.1.2 生物神经元人的大脑由人的大脑由1012个神经元构成，神经元互相连个神经元构成，神经元互相连接成神经网络接成神经网络神经元组成：细胞体为主体1873年,意大利 Cajai 银渗透法 发现Golgi 体神经元功能：刺激、兴奋、传导、效

4、应 形状图 突触传递信息特点研究生论坛讲座132022-9-27神经元示意图研究生论坛讲座142022-9-27突触传递信息特点(1)时延性:（0.31ms）(2)综合性：时间与空间的累加(3)类型：兴奋与抑制(4)脉冲与电位转换:（D/A功能）(5)速度：1150m/s(6)不应期（死区）：35ms(7)不可逆性（单向）(8)可塑性:强度可变,有学习功能 脉冲 研究生论坛讲座152022-9-27 1.1.3 人脑神经网络n脑神经系统主要组成部分n大脑皮层由许多功能区组成大脑皮层由许多功能区组成（运动、听觉、视觉等）神经元群 其区域性结构其区域性结构：遗传 其功能其功能：后天对环境的适应于学

5、习得来 （自组织特性Self-Organization）子功能模块的并行关系子功能模块的并行关系 a)大脑处理信息的特点 b)生物学研究成果 研究生论坛讲座162022-9-27 a)大脑处理信息的特点 n分布存储与冗余性：记忆在大量元中，每个元存在许多信息的部分内容，信息在神经网络中的记忆反映在神经元间的突触连接强度上(weights）;n并行处理：NN既是处理器又是存储器（并行处理不同于并行机）;n信息处理与存储合一：每个元兼有二者功能;n可塑性与自组织性：可塑性是学习记忆的基础;n鲁棒性：高连接度导致一定的误差和噪声不会使网络性能恶化。是智能演化的重要因素。研究生论坛讲座172022-9

6、-27b)BNN研究成果H-H方程 英 A.L.Hodgkin与A.F.Huxley 长枪乌贼鱼电器特性 得到四个变量的非线性微分方程，获Nobel生物医学奖 许多NL问题可用此解释 e.g.自激振荡 chaos.多重稳定性等研究生论坛讲座182022-9-27HH方程式中，I为膜电流，V为膜电位相对于静息膜电位Er的变化，VK,VNa,Vl分别为钾离子、钠离子和氯离子与其他离子形成的相对电位。CM为单位面积的膜电容，gk,gNa,gl 分别为钾离子、钠离子通道和漏电流通道的电导。43KKNaNa()()()MlldVICg n V Vg mhV Vg V Vdt研究生论坛讲座192022-9

7、-271.2 人工神经网络n研究大脑的目的：a）揭示功能造福人类 b）构造ANN用于工程及其他领域n（生物神经网络的模型化：ANN）BNN modeling ANN ANN非BNN模型，而是对结构及功能大大简化后保留主要特性的某种抽象与模型。研究生论坛讲座202022-9-27神经网络直观理解神经网络是一个并行和分布式的信息处理网络结构，它一般由许多个神经元组成，每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数。研究生论坛讲座212022-9-27人工神经网络内容1.2.1 人工神经元模型 （Artificial Neuron

8、 model）1.2.2 人工神经网络的构成 （structure of ANN）1.2.3 人工神经网络的学习 （learning or training of ANN）研究生论坛讲座222022-9-271.2.1 人工神经元模型 BNN 信息传递过程 为 MISO 系统,信号为脉冲，当脉冲到达突触前膜时，前膜释放化学物质，结果在突触后产生突触后电位，其大小与脉冲密度有关（时间总合效应）。各通道都对电位产生影响（空间总合效应）。研究生论坛讲座232022-9-27神经元模型（1）n神经元是人工神经网络的基本处理单元，它一般是一个多输入/多输出的非线性元件。神经元输出除受输入信号的影响之外，

9、同时也受到神经元内部其他因素的影响，所以在人工神经元的建模中，常常还加有一个额外输入信号，称为偏差（bais），有时也称为阀值或门限值。研究生论坛讲座242022-9-27神经元模型（2）n。研究生论坛讲座252022-9-27抽象可得数学表达式：wi 数值（weights)b 阀值（threshold）f(s)用函数（activated transfer function）1Riiisw xb()yf s研究生论坛讲座262022-9-27几种常用的作用函数(1)、阀值型（硬限制型)(2)、线性型(3)、S型函数（Sigmoid）(4)、辐射基函数研究生论坛讲座272022-9-27(1)、

10、阀值型（硬限制型）0*0 0*1 )*(bPWbPWbPWfA生物学背景：神经细胞的兴奋与抑制；单极性研究生论坛讲座282022-9-270*1 0*1 )*(bPWbPWbPWfA生物学背景：神经细胞的兴奋与抑制：双极性研究生论坛讲座292022-9-27(2)、线性型a)全线性 n bPWbPWfA*)*(生物学背景：神经细胞的比例作用（全方位）研究生论坛讲座302022-9-27b)正线性0*n 0*0 )*(bPWbPWbPWfA生物学背景：神经细胞的线性比例作用（单方向）研究生论坛讲座312022-9-27(3)、S型函数（Sigmoid）a)对数正切 y=1/(e-n+1)生物学背

11、景：神经细胞的非线性比例作用（单向）研究生论坛讲座322022-9-27b)双曲正切 y=tanh(n)生物学背景：神经细胞的非线性比例作用（全方位）研究生论坛讲座332022-9-27（4）辐射基函数a)高斯函数生物学背景：视觉，听觉等类神经细胞的区域性非线性用研究生论坛讲座342022-9-27b)三角波函数生物学背景：视觉，听觉等类神经细胞的区域性非线性用的线性近似研究生论坛讲座352022-9-271.2.2 人工神经网络的构成n基本模型n连接的几种基本形式n前向网络（feed-forward Networks）n回归网络（recurrent Networks）n互联网络（全互连与局部

12、互连）n也可是以上几种形式的组合研究生论坛讲座362022-9-27人工神经网络种类1).前馈型 感知器、线性网络（ADALINE),BP网络 RBF 网络，2).反馈型 Hopfield 网络3).竞争型 ART，SOFM等研究生论坛讲座372022-9-27前向网络n结构图研究生论坛讲座382022-9-27前向网络特点 1).神经元分层排列，可又多层 2).层间无连接 3).方向由入到出 感知网络（perceptron即为此）应用最为广泛n 研究生论坛讲座392022-9-27回归网络全反馈结构图研究生论坛讲座402022-9-27Inner RNN结构图研究生论坛讲座412022-9-

13、27回归网络特点nOutput 与 Input相连（全反馈）特点：1.内部前向 2.输出反馈到输入 例：Fukushima网络nInner recurrent 特点：层间元互相连接研究生论坛讲座422022-9-27互联网络n结构图 研究生论坛讲座432022-9-27互联网络特点n每个元都与其它元相连 例：Hopfield Boltzmann机 研究生论坛讲座442022-9-271.2.3人工神经网络的学习 ANN研究中的核心问题 How to determine the weights(加权系数)n学习规则简介 研究生论坛讲座452022-9-27关于学习问题学习：实例学习 举一反三的能

14、力机器学习:从数据中归纳出规律,进行预测或者对其性质作出判断神经网络启发式学习支持向量机-统计学习理论研究生论坛讲座462022-9-27学习规则1）直接设计计算 e.g.Hopfield 作优化计算2）学习得到,即通过训练(training)研究生论坛讲座472022-9-27常用学习规则a)Hebb学习 D.Hebb1949年提出：两元同时兴奋，则突触连接加强b)学习规则 误差校正规则 梯度方法 （BP即为其中一种）jiijijjijijFyy 研究生论坛讲座482022-9-27c)相近学习规则 使 ART SOFM 自组织竞争用此规则ijiijiij研究生论坛讲座492022-9-27

15、BP网络模型BP网络模型如图2.4所示:.输入层隐含层输出层图2.4 多层前向神经网络结构.研究生论坛讲座502022-9-27Matlab形式Nnd11nf.m 描述输出与加权系数的关系nndemos（chap11 demo1）network function研究生论坛讲座512022-9-27BP学习算法（加权值的修改方法 2121kikiikikiijijjiijwabwpbl 研究生论坛讲座522022-9-27BP网络训练的几种模式1)批处理模式(batch mode)训练过程以所有样本为一个epoch。训练时计算出所有样本的整体误差后，加权系数才调整。matlab 函数 train

16、b，非直接调用，用net.trainFcn说明即，每一次输入样本j时，计算该样本j对应的误差ej和相应的权值修正量 dwj，但不进行权值修改，而是等到全部样本输入完毕后，计算所有样本累计对应的权值修正量,dw(k)=dwj 进行一次权值修正。本方法适用于离线计算。研究生论坛讲座532022-9-272)模式学习模式(pattern mode)训练过程输入一个样本，计算学习误差，调整加权系数。matlab 函数 trainc，trains,trainr非直接调用，用net.trainFcn 说明即。每一次计算得到的dwj都应用来修正加权值，下一次输入样本到网络时，利用新修正的加权值计算网络输出。

17、模式学习适用于在线（自适应）修正权值。研究生论坛讲座542022-9-27BP算法的改进 BP算法改进的主要目标是为了加快训练速度，避免陷入局部极小值和改善其它能力。（1）带动量因子算法；（2）自适应学习速率；（3）高阶学习算法；（4）改变性能指标函数 研究生论坛讲座552022-9-272022-9-27神经网络原理与应用55RBF网络的Matlab 形式研究生论坛讲座562022-9-27RBF网络的学习n中心和宽度：随机选择或优化学习n输出权矩阵：反向传播或者最小二乘方法学习研究生论坛讲座572022-9-272.人工神经网络优势 任何精度逼近任意连接非线性函数（NL系统的统一描述）对复

18、杂不确定问题具有自适应、学习能力 并行机制，解决实时计算问题，具有冗余性容错能力 信息融合（Fusion），多媒体技术 神经计算：用于优化、矩阵求逆，解方程等计算 易于VLSI、光学IC、计算机虚拟实现NN研究生论坛讲座582022-9-27统一的建模方法由于非线性系统的多样性和复杂性，传统方法常常无能为力神经网络提供了一种统一建模的方法，无论是静态或动态非线性系统研究生论坛讲座592022-9-27自适应、学习能力u 传统方法 对线性系统方法成熟、有效u 神经网络 线性、非线性均有效研究生论坛讲座602022-9-27并行机制u 传统的并行计算机制与神经网络不同u 神经网络每一单元均为具有计

19、算能力的单元u 可用于解决实时计算问题，具有冗余性容错能力研究生论坛讲座612022-9-27神经计算n用于优化、矩阵求逆，解方程等计算研究生论坛讲座622022-9-27神经计算机实现l 易于VLSI、光学IC、计算机虚拟实现NNl 神经芯片相当于FPGA，可实现算法级的通用编程研究生论坛讲座632022-9-273.人工神经网络的应用应用十分广泛u 模式识别与分类u 自动控制u 信号处理与滤波u 系统优化各类系统：工程、金融、经济、社会研究生论坛讲座642022-9-27模式识别与分类n手写数字识别n汉字识别n分类研究生论坛讲座652022-9-27英文字母识别研究生论坛讲座662022-

20、9-27肌电信号实时辨识研究生论坛讲座672022-9-27肌电信号实时辨识选择节点上的小波包分解原始 EMG信号小波包变换的参数计算小波包的节点能量原始特征向量特征投影降维后的特征向量使用ANN进行模式分类辨识结果研究生论坛讲座682022-9-27肌电信号实时辨识肌电信号实时辨识肌电信号实时辨识 虚拟现实显示虚拟现实显示视频演示研究生论坛讲座692022-9-27优化计算l将Hopfield网络应用于求解组合优化问题，就是把目标函数转化为网络的能量函数，把问题的变量对应于网络的状态。这样当网络的能量函数收敛于极小值时，问题的最优解也随之求出。l如果联接权矩阵W和输入I，把优化问题中的目标函

21、数、约束条件与Hopfield的能量函数联系起来，电路达到的平衡点就是能量函数的极小点，也是优化中满足约束条件下的目标函数的极小点，达就可以利用人工神经网络来完成优化问题。l例：TSP 问题研究生论坛讲座702022-9-27HNN 优化10城市TSP研究生论坛讲座712022-9-27NN在AC上的应用 1）系统辨识 2）系统控制 3）优化计算 4）故障诊断及容错控制研究生论坛讲座722022-9-271）系统辨识系统辨识 NN系统辨识的统一模式 NN非算法性，可用参数为加权 NN模型作为物理实现，可用于在线控制 问题：网络模型、结构选择、快速学习算法、收敛性分析、输入激励信号选择 研究生论

22、坛讲座732022-9-27倒立摆系统NN辨识 NNARX模型检验结果 研究生论坛讲座742022-9-272）系统控制n控制 提供某种模型 充当各类控制器 作为计算部件实现优化计算对不确定问题：NL系统的自适应控制 线性-NL 无模型直接自适应（single Neuron 控制器）研究生论坛讲座752022-9-27应用举例1）神经网络温度控制2）神经网络智能同期控制3）研究生论坛讲座762022-9-27神经网络PID温度控制用于控制封闭式电热炉，设定值为用于控制封闭式电热炉，设定值为500时时研究生论坛讲座772022-9-27研究生论坛讲座782022-9-27实时仿真试验研究生论坛讲

23、座792022-9-273）优化计算u神经网络求解代数方程u神经网络在预测控制在线求矩阵逆u神经网络在LQR问题中解ARE研究生论坛讲座802022-9-274）故障诊断及容错控制n神经网络用于故障诊断 1)基于模型（BP）2)基于自组织网络（SOM）n神经网络用于容错控制 1）基于整体性设计 2）基于监督学习控制器研究生论坛讲座812022-9-27应用中存在的主要问题1)ANN结构确定需一定经验，存在过拟合和欠拟合现象2)ANN 学习系统为迭代算法，为一非线性优化问题，收敛性分析较困难3)ANN系统本质为非线性系统，其动态系统分析与设计存在一定困难4)目前缺少相应的ANN硬件,实现有一定困

24、难。研究生论坛讲座822022-9-27神经网络工具箱1）MATLAB NN toolbox 通用工具箱，有多种模型2）nnsysyid 3）nnctrl 适用于非线性系统建模和控制研究生论坛讲座832022-9-274.人工神经网络研究趋势简要回顾发展历程1）用于控制系统时,常常利用稳定性原理设计学习算法;2）第3代神经网络脉冲神经网络(SNN)，用于处理生物信息有特有优势;研究生论坛讲座842022-9-27ANN的发展史20世纪40年代：兴起与萧条 1943年 M-P model 心理学家W.S.McCulloch和 数学家W.Pitts提出：形式神经元的数学描述与构造方法 与阀值神经元

25、model基本相同，权值固定 1949年 心理学家D.O.Hebb提出突触强度可调的 假设：学习过程发生在突触上 Hebb规则：jiij研究生论坛讲座852022-9-2720世纪50年代,第一次高潮 1957年：F.Rosenblatt提出感知网络（Perceptron）模型，这是第一个完整的ANN 基本构成为阀值单元、网络 初具并行处理、分布存储、学习等功能 用于模式识别、联想记忆 引起NN研究的第一次高潮研究生论坛讲座862022-9-2720世纪60年代,低潮n1969年年 Minsky和和Papert编写的编写的Perceptron 出版，使出版，使NN的研究进入低潮的研究进入低潮

26、Problems：single lager P.仅可解线性问题，NL XOR无法求解；求解XOR 应该是MLP，但MLP是否有意义，理论上不能得到有力证明 当时现状：数字计算机发达，认为可解决一切问题 工业水平上，NNC不存在 但工作并未但工作并未停止。停止。研究生论坛讲座872022-9-27n1975年 Albus提出CMAC网络（Cerebella Model Articulation Controller）n1977年 英国 Grossberg提出ART网络 （Adaptive Resonance Theory）Kohonen提出自组织映射理论 福岛邦彦（K.Fukushima）提出认

27、识 机（Neocognitron）模型 甘利俊（S.Amari）：NN数学理论n其它NL系统理论 Prigogine 非平衡系统的自组织理论 Haken 协同学研究生论坛讲座882022-9-2720世纪80年代 第二次高潮Reasons:1）AI理论、Neumann计算机功能受挫（智能、视觉处理等）2）ANN有新成果、脑科学、神经科学、VLSI、光电技术的发展 研究生论坛讲座892022-9-27uJ.J.Hopfield 1982年年 Hopfield网络模型：网络能量、网络稳定性判据 1984年年 HNN用电子线路 实现 HNN用途：联想记忆、优化计算机的新途径u1984年年 Hilto

28、n 引入模拟退火法，提出Boltzmann机网络u1986年年 Rumelhart提出EBP学习算法，解决了MLP隐含层的 weights 学习问题（error Back-Propagation）研究生论坛讲座902022-9-27n1987年年 Nielson提出了对向传播（Counter Propagation）神经网络n1988年年 L.O.Chua提出细胞神经网络（CNN）模型，n1988 Broomhead and Lowe提出 RBF网络n1990 Vapnik 支持向量机SVMn自自1958年来已有近年来已有近40种种NN model研究生论坛讲座912022-9-27Histo

29、ry spiking neural networks (Feng,Cogs)Vapnik(1990)-support vector machineBroomhead&Lowe (1988)-Radial basis functions(RBF)Linsker(1988)-Informax principleRumelhart,Hinton -Back-propagation&Williams(1986)Kohonen(1982)-Self-organizing mapsHopfield(1982)-Hopfield NetworksMinsky&Papert(1969)-Perceptrons

30、 Rosenblatt(1960)-PerceptronMinsky(1954)-Neural Networks(PhD Thesis)Hebb(1949)-The organization of behaviourMcCulloch&Pitts(1943)-neural networks and artificial intelligence were born研究生论坛讲座922022-9-27NN研究学术机构 1987年 国际神经网络学会 定期召开ICNN会议 1988年 IEEE Transaction on Neural Networks创刊 1990.12 CCNN（中国）第一次会

31、议 1991年 中国神经网络学会研究生论坛讲座932022-9-27AC需求处理不断复杂的对象完成不断复杂的设计在对象和环境的知识所知甚少的情况下达到以上两点要求研究生论坛讲座942022-9-27AC历史n1932年 Nyquist反馈放大器 n20世纪60年代 状态空间理论n20世纪70年代 大系统理论n20世纪90年代 智能控制方法及理论研究生论坛讲座952022-9-27第3代神经网络 SNN几种主要形式1）SNN2）LSM3）ESN研究生论坛讲座962022-9-27Spike Neural Networks研究生论坛讲座972022-9-27reach-to-grasp分类生物实验

32、装置示意图 CHTCRTMTTHTCenter HitOne Target OnCenter OffCenter ReleaseTarget OffTarget HitTarget ReleaseTrial EndTrial StartCenter On研究生论坛讲座982022-9-27reach-to-grasp分类结果 SNN与ANN分类正确率比较 研究生论坛讲座992022-9-27液体状态机(LSM)研究生论坛讲座1002022-9-27Leaky Integrate Fire(LIF)神经元LIF示意图研究生论坛讲座1012022-9-27轨迹建模实验记录的三维运动轨迹实验方案示意

33、图研究生论坛讲座1022022-9-27运动方向分类及轨迹建模21222324252627280.650.70.750.80.850.90.951方向分类的结果随着训练集变大方向分类的结果随着训练集变大而变大而变大分类精度分类精度训练数据集训练数据集-40-35-30-25-20-15-10-50-80-60-40-20020010203040506070 orientation 8X cmY cm Z cmoriginal trackforecasted track轨迹拟合研究生论坛讲座1032022-9-27回声状态神经网络(ESN)ESN最先是由Jaeger提出来的，它是一种离散型的神经

34、网络，其中内部网络包含了比传统的递归神经网络多得多的神经元，它们彼此稀疏连接，构成了一个动态存储器适用于时间序列数据的学习。输出Wout是唯一需要训练的权值矩阵，其他的权值均是根据经验在一定范围内随机给定并且一经给定则保持不变。研究生论坛讲座1042022-9-27回声特性当满足一定的条件时，内部神经元的激活状态是对历史输入数据及教师输出信号的一种映射。outout(),(1),.,(1),(2)()()()(),(1),.(1),(2).iiiie u n u nd nd nd ny nx ne u n u ny ny n研究生论坛讲座1052022-9-27建模结果 训练数据 测试数据研究生论坛讲座1062022-9-275.结束语u神经网络是处理非线性系统的一种有效方法u神经网络在工程系统中得到了广泛应用u神经网络可以、也应该与其他智能方法相结合，以取得更好的效果