神经网络基本理论d课件.ppt

1、神经网络基本理论神经网络基本理论2v 模糊控制从人的经验出发，解决了智能控制中人类语言的模糊控制从人的经验出发，解决了智能控制中人类语言的描述和推理问题，尤其是一些不确定性语言的描述和推理描述和推理问题，尤其是一些不确定性语言的描述和推理问题，从而在机器模拟人脑的感知、推理等智能行为方面问题，从而在机器模拟人脑的感知、推理等智能行为方面迈出了重大的一步。模糊控制在处理数值数据、自学习能迈出了重大的一步。模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。力等方面还远没有达到人脑的境界。v 人工神经网络从另一个角度出发，即从人恼的生理学和心人工神经网络从另一个角度出发，即从人恼的生理

2、学和心理学着手，通过人工模拟人脑的工作机理来实现机器的部理学着手，通过人工模拟人脑的工作机理来实现机器的部分智能行为。分智能行为。神经网络简介神经网络简介3神经网络简介神经网络简介4v 神经网络的发展历程经过神经网络的发展历程经过4 4个阶段。个阶段。v 1 1 启蒙期（启蒙期（1890-19691890-1969年）年）v 18901890年，年，W.JamesW.James发表专著发表专著心理学心理学，讨论了脑的结构，讨论了脑的结构和功能。和功能。v 19431943年，心理学家年，心理学家W.S.McCullochW.S.McCulloch和数学家和数学家W.PittsW.Pitts提出

3、了提出了描述脑神经细胞动作的数学模型，即描述脑神经细胞动作的数学模型，即M-PM-P模型（第一个神模型（第一个神经网络模型）。经网络模型）。v 19491949年，心理学家年，心理学家HebbHebb实现了对脑细胞之间相互影响的数实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的着重要影响的HebbHebb学习法则。学习法则。v 19581958年，年，E.RosenblattE.Rosenblatt提出了描述信息在人脑中贮存和记提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（忆的数学模

4、型，即著名的感知机模型（PerceptronPerceptron）。）。v 19621962年，年，WidrowWidrow和和HoffHoff提出了自适应线性神经网络，即提出了自适应线性神经网络，即AdalineAdaline网络，并提出了网络学习新知识的方法，即网络，并提出了网络学习新知识的方法，即WidrowWidrow和和HoffHoff学习规则（即学习规则（即学习规则），并用电路进行学习规则），并用电路进行了硬件设计。了硬件设计。神经网络简介神经网络简介5v 2 2 低潮期（低潮期（1969-19821969-1982）v 受当时神经网络理论研究水平的限制及冯受当时神经网络理论研究水

5、平的限制及冯诺依曼式计算诺依曼式计算机发展的冲击等因素的影响，神经网络的研究陷入低谷。机发展的冲击等因素的影响，神经网络的研究陷入低谷。v 在美、日等国有少数学者继续着神经网络模型和学习算法在美、日等国有少数学者继续着神经网络模型和学习算法的研究，提出了许多有意义的理论和方法。例如，的研究，提出了许多有意义的理论和方法。例如，19691969年，年，S.GroisbergS.Groisberg和和A.CarpentetA.Carpentet提出了至今为止最复杂的提出了至今为止最复杂的ARTART网络，该网络可以对任意复杂的二维模式进行自组织、自网络，该网络可以对任意复杂的二维模式进行自组织、自

6、稳定和大规模并行处理。稳定和大规模并行处理。19721972年，年，KohonenKohonen提出了自组织提出了自组织映射的映射的SOMSOM模型。模型。神经网络简介神经网络简介6神经网络简介神经网络简介v 3 3 复兴期（复兴期（1982-19861982-1986）v 19821982年，物理学家年，物理学家HoppieldHoppield提出了提出了HoppieldHoppield神经网络模型，神经网络模型，该模型通过引入能量函数，实现了问题优化求解，该模型通过引入能量函数，实现了问题优化求解，19841984年年他用此模型成功地解决了旅行商路径优化问题他用此模型成功地解决了旅行商路径

7、优化问题(TSP)(TSP)。v 在在19861986年，在年，在RumelhartRumelhart和和McCellandMcCelland等出版等出版Parallel Parallel Distributed ProcessingDistributed Processing一书，提出了一种著名的多层一书，提出了一种著名的多层神经网络模型，即神经网络模型，即BPBP网络。该网络是迄今为止应用最普遍网络。该网络是迄今为止应用最普遍的神经网络。的神经网络。7神经网络简介神经网络简介v 4 4 新连接机制时期（新连接机制时期（1986-1986-现在）现在）v 神经网络从理论走向应用领域，出现了神

8、经网络芯片和神神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。经计算机。v 神经网络主要应用领域有：模式识别与图象处理（语音、神经网络主要应用领域有：模式识别与图象处理（语音、指纹、故障检测和图象压缩等）、控制与优化、预测与管指纹、故障检测和图象压缩等）、控制与优化、预测与管理（市场预测、风险分析）、通信等。理（市场预测、风险分析）、通信等。8神经网络简介神经网络简介神经网络原理神经网络原理v 神经生理学和神经解剖学的研究表明，人脑极其复杂，由神经生理学和神经解剖学的研究表明，人脑极其复杂，由一千多亿个神经元交织在一起的网状结构构成，其中大脑一千多亿个神经元交织在一起的网状结构构成

9、，其中大脑皮层约皮层约140140亿个神经元，小脑皮层约亿个神经元，小脑皮层约10001000亿个神经元。亿个神经元。v 人脑能完成智能、思维等高级活动，为了能利用数学模型人脑能完成智能、思维等高级活动，为了能利用数学模型来模拟人脑的活动，导致了神经网络的研究。来模拟人脑的活动，导致了神经网络的研究。v 神经系统的基本构造是神经元神经系统的基本构造是神经元(神经细胞神经细胞)，它是处理人体，它是处理人体内各部分之间相互信息传递的基本单元。内各部分之间相互信息传递的基本单元。9神经网络简介神经网络简介v 每个神经元都由一个细胞体，一个连接其他神经元的轴突每个神经元都由一个细胞体，一个连接其他神经

10、元的轴突和一些向外伸出的其它较短分支和一些向外伸出的其它较短分支树突组成。树突组成。v 轴突功能是将本神经元的输出信号轴突功能是将本神经元的输出信号(兴奋兴奋)传递给别的神经传递给别的神经元，其末端的许多神经末梢使得兴奋可以同时传送给多个元，其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。神经元。v 树突的功能是接受来自其它神经元的兴奋。树突的功能是接受来自其它神经元的兴奋。v 神经元细胞体将接收到的所有信号进行简单地处理后，由神经元细胞体将接收到的所有信号进行简单地处理后，由轴突输出。轴突输出。v 神经元的轴突与另外神经元神经末梢相连的部分称为突触。神经元的轴突与另外神经元神经末梢相连

11、的部分称为突触。10神经网络简介神经网络简介n生物神经元模型生物神经元模型生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若代数和超过某个阈值，神经元将产生冲动。代数和超过某个阈值，神经元将产生冲动。11神经网络简介神经网络简介v 神经元由三部分构成：神经元由三

12、部分构成：v（1 1）细胞体（主体部分）：包括细胞质、细胞膜和细胞）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；核；v（2 2）树突：用于为细胞体传入信息；）树突：用于为细胞体传入信息；v（3 3）轴突：为细胞体传出信息，其末端是轴突末梢，含）轴突：为细胞体传出信息，其末端是轴突末梢，含传递信息的化学物质；传递信息的化学物质；v（4 4）突触：是神经元之间的接口（）突触：是神经元之间的接口（104105104105个个/每个神经每个神经元）。一个神经元通过其轴突的神经末梢，经突触与另外元）。一个神经元通过其轴突的神经末梢，经突触与另外一个神经元的树突连接，以实现信息的传递。由于突触的一个神

13、经元的树突连接，以实现信息的传递。由于突触的信息传递特性是可变的，随着神经冲动传递方式的变化，信息传递特性是可变的，随着神经冲动传递方式的变化，传递作用强弱不同，形成了神经元之间连接的柔性，称为传递作用强弱不同，形成了神经元之间连接的柔性，称为结构的可塑性。结构的可塑性。v 通过树突和轴突，神经元之间实现了信息的传递。通过树突和轴突，神经元之间实现了信息的传递。12神经网络简介神经网络简介神经元具有如下功能：神经元具有如下功能：(1)兴奋与抑制：如果传入神经元的冲动经整和后使细胞膜兴奋与抑制：如果传入神经元的冲动经整和后使细胞膜电位升高，超过动作电位的阈值时即为兴奋状态，产生神电位升高，超过动

14、作电位的阈值时即为兴奋状态，产生神经冲动，由轴突经神经末梢传出。如果传入神经元的冲动经冲动，由轴突经神经末梢传出。如果传入神经元的冲动经整和后使细胞膜电位降低，低于动作电位的阈值时即为经整和后使细胞膜电位降低，低于动作电位的阈值时即为抑制状态，不产生神经冲动。抑制状态，不产生神经冲动。(2)学习与遗忘：由于神经元结构的可塑性，突触的传递作学习与遗忘：由于神经元结构的可塑性，突触的传递作用可增强和减弱，因此神经元具有学习与遗忘的功能。用可增强和减弱，因此神经元具有学习与遗忘的功能。13人工神经元模型人工神经元模型n人工神经元模型人工神经元模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神

15、经元数学模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型x1,xnT为输入向量，为输入向量，y为输出，为输出，f()为激发函数，为激发函数，为阈值。为阈值。Wi为神经元与其它为神经元与其它神经元的连接强度，也称权值。神经元的连接强度，也称权值。14人工神经元模型人工神经元模型常用的激发函数常用的激发函数f 的种类的种类：1）阈值型函数）阈值型函数0 x00 x1f(x)0 x10 x1f(x)15人工神经元模型人工神经元模型2）饱和型函数）饱和型函数k1x1k1xk1kxk1x1f(x)3）双曲函数）双曲函数arctan(x)f(x)16 人工神经元模型人工神经元模型4）

16、S型函数型函数0,x)exp(11f(x)5）高斯函数）高斯函数)bxexp(f(x)2217神经网络的定义和特点神经网络的定义和特点 神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。统。n 定义定义n 特点特点（1）非线性映射逼近能力。非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。任意精度加以逼近。（2）自适应性和自组织性自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接神经元之间的连接具有多样性，各神经元

17、之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。（3）并行处理性。并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。处理方式是大规模并行的，可以大大加快对信息处理的速度。（4）分布存储和容错性。分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信

18、息的存储具有等势作用，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。能。（5）便于集成实现和计算模拟。便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。特别适合于用大规模集成电路实现。18感知器感知器(Perceptron)是由美国学者是由美国学者F.Rosenblatt于于1957年提出的，它是一个具有单年提出的，它是一个具

19、有单层计算单元的神经网络，并由线性阈值元件组成。层计算单元的神经网络，并由线性阈值元件组成。l 激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为1，否，否则为则为0或或-1。l它的权系它的权系W可变，这样它就可以学习。可变，这样它就可以学习。n感知器的结构感知器的结构感知器模型感知器模型19感知器模型感知器模型n感知器的学习算法感知器的学习算法为方便起见，将阈值为方便起见，将阈值(它也同样需要学习它也同样需要学习)并入并入W中，令中，令Wn+1=-，X向量也相向量也相应地增加一个分量应地增加一个分量xn+1=1，则，则

20、1n1iii)xWf(y学习算法：学习算法：给定初始值：赋给给定初始值：赋给Wi(0)各一个较小的随机非零值，这里各一个较小的随机非零值，这里Wi(t)为为t时刻第时刻第i个个输入的权输入的权(1in)，Wn+1(t)为为t时刻的阈值；时刻的阈值；输入一样本输入一样本X=(xi,xn,1)和它的希望输出和它的希望输出d；计算实际输出计算实际输出1n1iii)(t)xWf(Y(t)修正权修正权W：Wi(t+1)=Wi(t)+d-Y(t)xi,i=1,2,n+1 转到转到直到直到W对一切样本均稳定不变为止。对一切样本均稳定不变为止。20感知器模型感知器模型根据某样本训练时，均方差随训练次数的收敛情

21、况根据某样本训练时，均方差随训练次数的收敛情况21神经网络的构成和分类神经网络的构成和分类n 构成构成 l 从从Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加模型可以看出神经网络通过一组状态方程和一组学习方程加以描述。以描述。l 状态方程描述每个神经元的输入、输出、权值间的函数关系。状态方程描述每个神经元的输入、输出、权值间的函数关系。l 学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，从而调整整个神经网络的输入输出关系。从而调整整个神经网络的输入输出关系。n分类分类（1）从结构上划分

22、）从结构上划分 通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构上来说，主要分为层状和网状结构。上来说，主要分为层状和网状结构。22神经网络的构成和分类神经网络的构成和分类层状结构层状结构：网络由若干层组成，每层中有一定数量的神经元，相邻层中神经网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内神经元不能联接。元单向联接，一般同层内神经元不能联接。前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每个神经元从前

23、一层接收输入，发送输出给下一层。每个神经元从前一层接收输入，发送输出给下一层。23神经网络的构成和分类神经网络的构成和分类网状结构：网络中任何两个神经元之间都可能双向联接。网状结构：网络中任何两个神经元之间都可能双向联接。反馈网络：从输出层到输入层有反馈，反馈网络：从输出层到输入层有反馈，每一个神经元同时接收外来输入和来自其每一个神经元同时接收外来输入和来自其它神经元的反馈输入，其中包括神经元输它神经元的反馈输入，其中包括神经元输出信号引回自身输入的自环反馈。出信号引回自身输入的自环反馈。混合型网络：前向网络的同一层神经混合型网络：前向网络的同一层神经元之间有互联的网络。元之间有互联的网络。2

24、4神经网络的构成和分类神经网络的构成和分类（2）从激发函数的类型上划分从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等（3）从网络的学习方式上划分从网络的学习方式上划分有导师学习神经网络有导师学习神经网络为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼近样本数据的输入输出关系。近样本数据的输入输出关系。无导师学习神经网络无导师学习神经网络不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提不为神经网络提供样本数

25、据，学习过程中网络自动将输入数据的特征提取出来。取出来。（4）从学习算法上来划分：）从学习算法上来划分：基于基于BP算法的网络、基于算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。基于遗传算法的网络。25典型神经网络典型神经网络26神经网络学习算法神经网络学习算法27神经网络学习算法神经网络学习算法28神经网络学习算法神经网络学习算法29神经网络学习算法神经网络学习算法30jiijijIIkwkw)()1(神经网络学习算法神经网络学习算法31其中，其中，为连接从神经元为连接从神经元 到神经元到神经元 的当前权的当前权值，值

26、，和和 为神经元的激活水平。为神经元的激活水平。Hebb学习规则是一种无教师的学习方法，它只学习规则是一种无教师的学习方法，它只根据神经元连接间的激活水平改变权值，因此，这根据神经元连接间的激活水平改变权值，因此，这种方法又称为相关学习或并联学习。种方法又称为相关学习或并联学习。)(kwijijiIjIjiijijIIkwkw)()1(神经网络学习算法神经网络学习算法32PppPpppEydE112)(21pdpy)(ppWXfy WTnwwwW,1,0pX神经网络学习算法神经网络学习算法33TpnpppxxxX,10Pp,2,1iWEW神经网络学习算法神经网络学习算法34PpipiWEWE1

27、其中其中221pppydE令令则则ppWxippppipppppipppipXfydXyyEWEWE)()(W的修正规则为的修正规则为PpippppiXfydW1)()(上式称为上式称为学习规则，又称误差修正规则。学习规则，又称误差修正规则。神经网络学习算法神经网络学习算法351.1.神经网络特征神经网络特征v 神经网络具有以下几个特征：神经网络具有以下几个特征：v（1 1）能逼近任意非线性函数；）能逼近任意非线性函数；v（2 2）信息的并行分布式处理与存储；）信息的并行分布式处理与存储；v（3 3）可以多输入、多输出；）可以多输入、多输出；v（4 4）便于用超大规模集成电路（）便于用超大规模

28、集成电路（VISIVISI）或光学集成电路系）或光学集成电路系统实现，或用现有的计算机技术实现；统实现，或用现有的计算机技术实现；v（5 5）能进行学习，以适应环境的变化。）能进行学习，以适应环境的变化。神经网络特征及要素神经网络特征及要素362 2 神经网络要素神经网络要素 决定神经网络模型性能的三大要素为：决定神经网络模型性能的三大要素为：（1 1）神经元（信息处理单元）的特性；）神经元（信息处理单元）的特性；（2 2）神经元之间相互连接的形式）神经元之间相互连接的形式拓扑结构；拓扑结构；（3 3）为适应环境而改善性能的学习规则。）为适应环境而改善性能的学习规则。神经网络特征及要素神经网络

29、特征及要素37神经网络控制的研究领域神经网络控制的研究领域（1 1）基于神经网络的系统辨识基于神经网络的系统辨识 将神经网络作为被辨识系统的模型，可在已知常规模型将神经网络作为被辨识系统的模型，可在已知常规模型结构的情况下，估计模型的参数。结构的情况下，估计模型的参数。利用神经网络的线性、非线性特性，可建立线性、非线利用神经网络的线性、非线性特性，可建立线性、非线性系统的静态、动态、逆动态及预测模型，实现非线性性系统的静态、动态、逆动态及预测模型，实现非线性系统的建模和辨识。系统的建模和辨识。38(2)(2)神经网络控制器神经网络控制器 神经网络作为实时控制系统的控制器，对不神经网络作为实时控

30、制系统的控制器，对不确定、不确知系统及扰动进行有效的控制，使控确定、不确知系统及扰动进行有效的控制，使控制系统达到所要求的动态、静态特性。制系统达到所要求的动态、静态特性。(3)(3)神经网络与其他算法相结合神经网络与其他算法相结合 将神经网络与专家系统、模糊逻辑、遗传算法将神经网络与专家系统、模糊逻辑、遗传算法等相结合，可设计新型智能控制系统。等相结合，可设计新型智能控制系统。神经网络控制的研究领域神经网络控制的研究领域 39(4)(4)优化计算优化计算 在常规的控制系统中，常遇到求解约束优化问题，神经在常规的控制系统中，常遇到求解约束优化问题，神经网络为这类问题的解决提供了有效的途径。网络

31、为这类问题的解决提供了有效的途径。目前，神经网络控制已经在多种控制结构中得到应用，目前，神经网络控制已经在多种控制结构中得到应用，如如PIDPID控制、模型参考自适应控制、前馈反馈控制、内模控制、模型参考自适应控制、前馈反馈控制、内模控制、预测控制、模糊控制等。控制、预测控制、模糊控制等。神经网络控制的研究领域神经网络控制的研究领域 40多层前向多层前向BP神经网络神经网络 最早由最早由werbos在在1974年提出的，年提出的，1985年由年由Rumelhart再次进行发展。再次进行发展。n 多层前向神经网络的结构多层前向神经网络的结构多层前向神经网络由输入层、隐层（不少于多层前向神经网络由

32、输入层、隐层（不少于1层）、输出层组成，信号沿层）、输出层组成，信号沿输入输入输出的方向逐层传递。输出的方向逐层传递。41多层前向多层前向BP神经网络神经网络沿信息的传播方向，给出网络的状态方程，用沿信息的传播方向，给出网络的状态方程，用Inj(i)，Outj(i)表示第表示第i层第层第j个神经元个神经元的输入和输出，则各层的输入输出关系可描述为：的输入和输出，则各层的输入输出关系可描述为：第一层（输入层）：将输入引入网络第一层（输入层）：将输入引入网络 iiixInOut)1()1(ni,2,1第二层（隐层）第二层（隐层）niiijjOutwIn1)1()1()2()()2()2(jjInf

33、Outlj,2,1第三层（输出层）第三层（输出层）ljjjOutwInOuty1)2()2()3()3(42多层前向多层前向BP神经网络神经网络n网络的学习网络的学习 学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可能接近期望的输出。能接近期望的输出。MkyXkk,2,1),(TknkkkxxxX,21假设有假设有M个样本个样本:将第将第k个样本个样本Xk输入网络，得到的网络输出为输入网络，得到的网络输出为 ky定义学习的目标函数为定义学习的目标函数为：MkkkyyJ12)(2143多层前向多层前向BP神经网络

34、神经网络为使目标函数最小，训练算法是：为使目标函数最小，训练算法是：)()()1(twJtwtw)()()1()2(1)2()2(twJtwtwjjj)()()1()1(2)1()1(twJtwtwijijij令令 2)(21kkkyyJ则则MkkwJwJ1)2()2()2()(jkkjkkkjkOutyywyyJwJ)1()2()1()2()2()2()2()1()(ijkkijjjjjkkkijkOutfwyywininoutoutyyJwJ 44多层前向多层前向BP神经网络神经网络学习的步骤：学习的步骤：（1）依次取第）依次取第k组样本组样本 MkyXkk,2,1),(，将，将Xk输入网

35、络。输入网络。（2）依次计算）依次计算 MkkkyyJ12)(21，如果，如果 J，退出。，退出。（3）计算）计算wJk（4）计算）计算MkkwJwJ1（5）)()()1(twJtwtw，修正权值，返回（，修正权值，返回（1）如果样本数少，则学习知识不够；如果样本多，则需计算更多的如果样本数少，则学习知识不够；如果样本多，则需计算更多的dJk/dw,，训练，训练时间长。可采用随机学习法每次以样本中随机选取几个样本，计算时间长。可采用随机学习法每次以样本中随机选取几个样本，计算 dJk/dw,，调，调整权值。整权值。45例例4.1 多层前向多层前向BP网络训练网络训练训练样本训练样本SISO：S

36、ampleInput=0 0.1 0.2 0.3 0.4;SampleOutput=4 2 2 2 2;网络结构：网络结构：46网络输入输出关系：网络输入输出关系：)(2iiiizfwy)exp(11)(iiiizzfiiixwz1需训练的量：需训练的量：iiiiww,2147训练算法：训练算法：515125122)()(kiikikkkkikizfkewyyJwJwJ51221515111)()exp()()()(kiiiiiiiiiiikiikkkkikixzfzwkewzzzfzfyyJwJwJ51225151)()exp()()()(kiiiiiiiiikiikkkkikizfzzwk

37、ezfzfyyJJJ51225151)()exp()()()(kiiiiiiiiiiikiikkkkikizfzwkezzzfzfyyJJJ25151251)()(2121kykyeJJkkkkk481111iiiwJww2222iiiwJwwiiiJ3iiiJ4训练初始参数：训练初始参数：W1=rand(1,5);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;49训练后参数：训练后参数：W1-0.4059 8

38、.5182 -0.5994 -0.1153 -1.1916;W2=0.6245 2.8382 0.6632 0.5783 3.5775;Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858;Theta=1.5832 0.1900 1.5406 1.6665 -0.1441;50训练训练1000次目标函数的变化曲线：次目标函数的变化曲线：51训练结束后神经网络的输出与样本的拟和情况训练结束后神经网络的输出与样本的拟和情况52BPBP网络的优点为：网络的优点为：（1 1）只要有足够多的隐层和隐层节点，）只要有足够多的隐层和隐层节点，BPBP网络可以逼近任网络可以逼近任

39、意的非线性映射关系；意的非线性映射关系；（2 2）BPBP网络的学习算法属于全局逼近算法，具有较强的泛网络的学习算法属于全局逼近算法，具有较强的泛化能力。化能力。（3 3）BPBP网络输入输出之间的关联信息分布地存储在网络的网络输入输出之间的关联信息分布地存储在网络的连接权中，个别神经元的损坏只对输入输出关系有较小的连接权中，个别神经元的损坏只对输入输出关系有较小的影响，因而影响，因而BPBP网络具有较好的容错性。网络具有较好的容错性。53BPBP网络的主要缺点为：网络的主要缺点为：（1 1）待寻优的参数多，收敛速度慢；）待寻优的参数多，收敛速度慢；（2 2）目标函数存在多个极值点，按梯度下降

40、法进行）目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值；学习，很容易陷入局部极小值；（3 3）难以确定隐层及隐层节点的数目。目前，如何）难以确定隐层及隐层节点的数目。目前，如何根据特定的问题来确定具体的网络结构尚无很好根据特定的问题来确定具体的网络结构尚无很好的方法，仍需根据经验来试凑。的方法，仍需根据经验来试凑。54v由于由于BPBP网络具有很好的逼近非线性映射的能力，网络具有很好的逼近非线性映射的能力，该网络在模式识别、图像处理、系统辨识、函数该网络在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域拟合、优化计算、最优预测和自适应控制等领域有

41、着较为广泛的应用。有着较为广泛的应用。v 由于由于BPBP网络具有很好的逼近特性和泛化能力，网络具有很好的逼近特性和泛化能力，可用于神经网络控制器的设计。但由于可用于神经网络控制器的设计。但由于BPBP网络收网络收敛速度慢，难以适应实时控制的要求。敛速度慢，难以适应实时控制的要求。55v BPBP网络逼近仿真实例网络逼近仿真实例v 使用使用BPBP网络逼近对象：网络逼近对象：BPBP网络逼近程序见网络逼近程序见chap7_1.m chap7_1.m 23)1(1)1()()(kykykuky56v BPBP网络模式识别网络模式识别v 由于神经网络具有自学习、自组织和并行处理等特征，并由于神经网

42、络具有自学习、自组织和并行处理等特征，并具有很强的容错能力和联想能力，因此，神经网络具有模具有很强的容错能力和联想能力，因此，神经网络具有模式识别的能力式识别的能力v 在神经网络模式识别中，根据标准的输入输出模式对，采在神经网络模式识别中，根据标准的输入输出模式对，采用神经网络学习算法，以标准的模式作为学习样本进行训用神经网络学习算法，以标准的模式作为学习样本进行训练，通过学习调整神经网络的连接权值。当训练满足要求练，通过学习调整神经网络的连接权值。当训练满足要求后，得到的神经网络权值构成了模式识别的知识库，利用后，得到的神经网络权值构成了模式识别的知识库，利用神经网络并行推理算法对所需要的输

43、入模式进行识别。神经网络并行推理算法对所需要的输入模式进行识别。57v 当待识别的输入模式与训练样本中的某个输入模式相同时，当待识别的输入模式与训练样本中的某个输入模式相同时，神经网络识别的结果就是与训练样本中相对应的输出模式。神经网络识别的结果就是与训练样本中相对应的输出模式。v 当待识别的输入模式与训练样本中所有输入模式都不完全当待识别的输入模式与训练样本中所有输入模式都不完全相同时，则可得到与其相近样本相对应的输出模式。相同时，则可得到与其相近样本相对应的输出模式。v 当待识别的输入模式与训练样本中所有输入模式相差较远当待识别的输入模式与训练样本中所有输入模式相差较远时，就不能得到正确的

44、识别结果，此时可将这一模式作为时，就不能得到正确的识别结果，此时可将这一模式作为新的样本进行训练，使神经网络获取新的知识，并存储到新的样本进行训练，使神经网络获取新的知识，并存储到网络的权值矩阵中，从而增强网络的识别能力。网络的权值矩阵中，从而增强网络的识别能力。v BPBP网络的训练过程如下：正向传播是输入信号从输入层经网络的训练过程如下：正向传播是输入信号从输入层经隐层传向输出层，若输出层得到了期望的输出，则学习算隐层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播法结束；否则，转至反向传播58RBF神经网络神经网络596061vRBF网络的逼近网络的逼近62Tnx

45、xxX,.,21Th.,h,hm21jhHmjbXjj,2,1),2C-exp(-h22jTn21jcc,c Cjijjjc 63T21,Bmbbbjb,W21mjwwww h+w+h+whw=whkymmm2211)(2m(k)-(k)(21yykE)(64)2()1(kwkwhyywwjjjmjj(k)-(k)(1)-(k(k)32jjjjmjbCXhwyyb-(k)-(k)(2)-(k-1)-(k(1)-(k(k)jjjjjbbbbb2jjijjmjibcxwyyc-(k)-(k)(2)-(k-1)-(k(1)-(k(k)ijijijijijccccc 65阵阵(即为即为对象的输出对控制

46、输入的灵敏度信息对象的输出对控制输入的灵敏度信息)算法为算法为：Jacobianmjjjjjmbxchwkukykuky1211)()()()(k)ux 16623)1(1)1()()(kykykuky使用使用RBFRBF网络逼近下列对象：网络逼近下列对象：RBFRBF网络逼近程序见网络逼近程序见chap7_3.mchap7_3.m。67回归神经网络回归神经网络686970nIIII,21(t)iI(k)jX(k)jSj(.)f(k)ODWOWIW71 DRNNDRNN网络逼近的结构如图所示，图中网络逼近的结构如图所示，图中k k为网络的迭代步骤，为网络的迭代步骤，u(k)u(k)和和y(k)

47、y(k)为辨识器的输入。为辨识器的输入。DRNNDRNN为网络辨识器。为网络辨识器。y(k)y(k)为为被控对象实际输出，被控对象实际输出，y ym m(k)(k)为为DRNNDRNN的输出。将系统输出的输出。将系统输出y(k)y(k)及输入及输入u(k)u(k)的值作为辨识器的值作为辨识器DRNNDRNN的输入，将系统输出与网的输入，将系统输出与网络输出的误差作为辨识器的调整信号。络输出的误差作为辨识器的调整信号。72)()()(kXwkOkyjjojm)()(kSfkXjj)()1()(kIwkXwkSiIijijojj732(k)21ekE)()()()(kykytem)()()()()

48、(kXkewykewkEkwjojmojoj74)2()1()(kwkwkwwwojojojoojoj1)-(k(k)()()()()()()()(kQwkewXXkykewkykewkEkwijojIijjjmIijmIijIij)2()1()(kwkwkwwwIijIijIijIIijIij1)-(k(k)()()()()(kPwtewXXykewkEkwjojDjjjmDjDj)2()1()(kwkwkwwwDjDjDjDDjDj1)-(k(k)75xxxfe1e1)()1()()(kXSfwXkPjjDjjj)()()(kISfwXkQijIijjijIo,D76使用DRNN网络逼近下

49、列对象：23)1(1)1()()(kykykukyDRNN网络逼近程序见chap7_4.m。77是一种无导师学习的网络是一种无导师学习的网络脑神经科学研究表明：脑神经科学研究表明：传递感觉的神经元排列是按某种规律有序进行的，这种传递感觉的神经元排列是按某种规律有序进行的，这种排列往往反映所感受的外部刺激的某些物理特征。排列往往反映所感受的外部刺激的某些物理特征。大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对不同的模式具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的不同的模式具有不同的响应特征，即

50、不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的有序排列信号激励，从而形成一种拓扑意义上的有序排列 在这种网络中，输出节点与其邻域其他节点在这种网络中，输出节点与其邻域其他节点广泛相连，并互相激励。输入节点和输出节广泛相连，并互相激励。输入节点和输出节点之间通过强度点之间通过强度wij(t)相连接。通过某种规则，相连接。通过某种规则，不断地调整不断地调整wij(t)，使得在稳定时，每一邻域，使得在稳定时，每一邻域的所有节点对某种输入具有类似的输出，并的所有节点对某种输入具有类似的输出，并且这种聚类的概率分布与输入模式的概率分且这种聚类的概率分布与输入模式的概率分布相接近。