第4章神经网络基本理论课件.ppt

1、第四章 神经网络基本理论4.1 人工神经元模型人工神经元模型 人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。人工神经元是对人或其它生物的神经元细胞的若干基本特性的抽象和模拟。n生物神经元模型生物神经元模型生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出生物神经元主要由细胞体、树突和轴突组成，树突和轴突负责传入和传出信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；信息，兴奋性的冲动沿树突抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位进行累加，若相反，抑制性冲动到达细胞膜则形成抑制性电位。两种电位

2、进行累加，若代数和超过某个阈值，神经元将产生冲动。代数和超过某个阈值，神经元将产生冲动。4.1 人工神经元模型人工神经元模型n人工神经元模型人工神经元模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型模仿生物神经元产生冲动的过程，可以建立一个典型的人工神经元数学模型x1,xnT为输入向量，为输入向量，y为输出，为输出，f()为激发函数，为激发函数，为阈值。为阈值。Wi为神经元与其它为神经元与其它神经元的连接强度，也称权值。神经元的连接强度，也称权值。4.1 人工神经元模型人工神经元模型常用的激发函数常用的激发函数f 的种类的种类：1）阈值型函数）阈值型函数0 x00 x1f

3、(x)0 x10 x1f(x)4.1 人工神经元模型人工神经元模型2）饱和型函数）饱和型函数k1x1k1xk1kxk1x1f(x)3）双曲函数）双曲函数arctan(x)f(x)4.1 人工神经元模型人工神经元模型4）S型函数型函数0,x)exp(11f(x)5）高斯函数）高斯函数)bxexp(f(x)224.2 神经网络的定义和特点神经网络的定义和特点 神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。统。n 定义定义n 特点特点（1）非线性映射逼近能力。非线性映射逼近能力。任意的连续非线性函数映射关系可由

4、多层神经网络以任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。任意精度加以逼近。（2）自适应性和自组织性自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。（3）并行处理性。并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络的信息网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。处理方式是大规模并行的，

5、可以大大加快对信息处理的速度。（4）分布存储和容错性。分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。能。（5）便于集成实现和计算模拟。便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，神经网络在结构上是相同神经元

6、的大规模组合，特别适合于用大规模集成电路实现。特别适合于用大规模集成电路实现。4.3 感知器模型感知器模型感知器感知器(Perceptron)是由美国学者是由美国学者F.Rosenblatt于于1957年提出的，它是一个具有单年提出的，它是一个具有单层计算单元的神经网络，并由线性阈值元件组成。层计算单元的神经网络，并由线性阈值元件组成。l 激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为激发函数为阈值型函数，当其输入的加权和大于或等于阈值时，输出为1，否，否则为则为0或或-1。l它的权系它的权系W可变，这样它就可以学习。可变，这样它就可以学习。n感知器的结构感知器的结构 感知器的

7、学习算法感知器的学习算法 v 感知器的学习是有导师学习。感知器的学习是有导师学习。v 感知器的训练算法的基本原理来源于著名的感知器的训练算法的基本原理来源于著名的Hebb学习律。学习律。v 基本思想：逐步地将样本集中的样本输入到网基本思想：逐步地将样本集中的样本输入到网络中络中,根据输出结果和理想输出之间的差别来调整根据输出结果和理想输出之间的差别来调整网络中的权矩阵。网络中的权矩阵。离散单输出感知器训练算法离散单输出感知器训练算法 v 二值网络：自变量及其函数的值、向量分量的值二值网络：自变量及其函数的值、向量分量的值只取只取0和和1v 权向量：权向量：W=(w1，w2，wn)v 输入向量：

8、输入向量：X=(x1，x2，xn)v 训练样本集：训练样本集：(X，Y)|Y为输入向量为输入向量X对应的输出对应的输出 离散单输出感知器训练算法离散单输出感知器训练算法 1.初始化权向量初始化权向量W；2.重复下列过程，直到训练完成：重复下列过程，直到训练完成：2.1 对每个样本（对每个样本（X，Y），重复如下过程：），重复如下过程：2.1.1 输入输入X；2.1.2 计算计算o=F（XW）；）；2.1.3 如果输出不正确，则如果输出不正确，则当当o=0时，取时，取 W=W+X，当当o=1时，取时，取 W=W-X 离散多输出感知器训练算法离散多输出感知器训练算法 v样本集：样本集：(X,Y)|

9、Y为输入向量为输入向量X对应的输出对应的输出v输入向量：输入向量：X=(x1,x2,xn)v理想输出向量：理想输出向量：Y=(y1,y2,ym)v激活函数：激活函数：F v权矩阵权矩阵W=(wij)v实际输出向量：实际输出向量：O=(o1,o2,om)o1多输出感知器多输出感知器x1x2o2omxn 输入层输入层输出层输出层离散多输出感知器训练算法 1.初始化权矩阵初始化权矩阵W；2.重复下列过程，直到训练完成：重复下列过程，直到训练完成：2.1 对每个样本（对每个样本（X，Y），重复如下过程：），重复如下过程：2.1.1 输入输入X；2.1.2 计算计算O=F（XW）；）；2.1.3 for

10、 j=1 to m do 执行如下操作：执行如下操作：if oj yj then if oi=0 then for i=1 to n wij=wij+xi else for i=1 to n do wij=wij-xi离散多输出感知器训练算法离散多输出感知器训练算法v算法思想算法思想：将单输出感知器的处理逐个地用于多：将单输出感知器的处理逐个地用于多输出感知器输出层的每一个神经元的处理。输出感知器输出层的每一个神经元的处理。v第第1步，步，权矩阵的初始化权矩阵的初始化：一系列小伪随机数。：一系列小伪随机数。离散多输出感知器训练算法v第第2步，步，循环控制。循环控制。v方法方法1：循环次数控制法

11、：循环次数控制法：对样本集执行规定次数：对样本集执行规定次数的迭代的迭代v改进改进分阶段迭代控制：设定一个基本的迭代分阶段迭代控制：设定一个基本的迭代次数次数N，每当训练完成，每当训练完成N次迭代后，就给出一个中次迭代后，就给出一个中间结果间结果离散多输出感知器训练算法v方法方法2：精度控制法：精度控制法：给定一个精度控制参数给定一个精度控制参数 精度度量：实际输出向量与理想输出向精度度量：实际输出向量与理想输出向量的对应分量的差的绝对值之和；量的对应分量的差的绝对值之和；实际输出向量与理想输出向量的欧氏距实际输出向量与理想输出向量的欧氏距离的和离的和;“死循环死循环”：网络无法表示样本所代表

12、：网络无法表示样本所代表的问题的问题;离散多输出感知器训练算法离散多输出感知器训练算法v方法方法3：综合控制法：综合控制法：将这两种方法结合起来使用将这两种方法结合起来使用 v注意：精度参数的设置。根据实际问题选定；初注意：精度参数的设置。根据实际问题选定；初始测试阶段，精度要求低，测试完成后，再给出始测试阶段，精度要求低，测试完成后，再给出实际的精度要求。实际的精度要求。连续多输出感知器训练算法连续多输出感知器训练算法 v用公式用公式wij=wij+（yj-oj）xi取代了算法取代了算法3-2 第第2.1.3步中的多个判断步中的多个判断vyj与与oj之间的差别对之间的差别对wij的影响由的影

13、响由（yj-oj）xi表现出表现出来来v好处：不仅使得算法的控制在结构上更容易理解，好处：不仅使得算法的控制在结构上更容易理解，而且还使得它的适应面更宽而且还使得它的适应面更宽 连续多输出感知器训练算法连续多输出感知器训练算法 1用适当的小伪随机数初始化权矩阵用适当的小伪随机数初始化权矩阵W；2.初置精度控制参数初置精度控制参数，学习率，学习率，精度控制变量，精度控制变量d=+1；3While d do 3.1 d=0；3.2 for 每个样本（每个样本（X，Y）do3.2.1 输入输入X（=(x1，x2，xn)）；）；3.2.2 求求O=F（XW）；）；3.2.3 修改权矩阵修改权矩阵W：f

14、or i=1 to n，j=1 to m dowij=wij+(yj-oj)xi；3.2.4 累积误差累积误差for j=1 to m dod=d+(yj-oj)2线性不可分问题线性不可分问题 异或异或(Exclusive OR)问题问题 g（x，y）y01x001110用于求解用于求解XOR的单神经元感知器的单神经元感知器 xyo单神经元感知器单神经元感知器的图像的图像ax+by=1yx1(0,0)(1,1)线性不可分函数线性不可分函数变量变量函数及其值函数及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f16000000000011111111010000

15、111100001111100011001100110011110101010101010101线性不可分函数线性不可分函数vR.O.Windner 1960年 自变量个数自变量个数函数的个数函数的个数线性可分函数的个数线性可分函数的个数144216143256104465,536188254.3*10994,57261.8*10195,028,134线性不可分问题的克服线性不可分问题的克服 v用多个单级网组合在一起，并用其中的一个去综用多个单级网组合在一起，并用其中的一个去综合其它单级网的结果，我们就可以构成一个两级合其它单级网的结果，我们就可以构成一个两级网络，该网络可以被用来在平面上划分

16、出一个封网络，该网络可以被用来在平面上划分出一个封闭或者开放的凸域来闭或者开放的凸域来v一个非凸域可以拆分成多个凸域。按照这一思路，一个非凸域可以拆分成多个凸域。按照这一思路，三级网将会更一般一些，我们可以用它去识别出三级网将会更一般一些，我们可以用它去识别出一些非凸域来。一些非凸域来。v解决好隐藏层的联接权的调整问题是非常关键的解决好隐藏层的联接权的调整问题是非常关键的 4.4 神经网络的构成和分类神经网络的构成和分类n 构成构成 l 从从Perceptron模型可以看出神经网络通过一组状态方程和一组学习方程加模型可以看出神经网络通过一组状态方程和一组学习方程加以描述。以描述。l 状态方程描

17、述每个神经元的输入、输出、权值间的函数关系。状态方程描述每个神经元的输入、输出、权值间的函数关系。l 学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，学习方程描述权值应该怎样修正。神经网络通过修正这些权值来进行学习，从而调整整个神经网络的输入输出关系。从而调整整个神经网络的输入输出关系。n分类分类（1）从结构上划分）从结构上划分 通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构通常所说的网络结构，主要是指它的联接方式。神经网络从拓扑结构上来说，主要分为层状和网状结构。上来说，主要分为层状和网状结构。4.4 神经网络的构成和分类神经网络的构成和分类层状结构层状结构：

18、网络由若干层组成，每层中有一定数量的神经元，相邻层中神经网络由若干层组成，每层中有一定数量的神经元，相邻层中神经元单向联接，一般同层内神经元不能联接。元单向联接，一般同层内神经元不能联接。前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。前向网络：只有前后相邻两层之间神经元相互联接，各神经元之间没有反馈。每个神经元从前一层接收输入，发送输出给下一层。每个神经元从前一层接收输入，发送输出给下一层。4.4 神经网络的构成和分类神经网络的构成和分类网状结构：网络中任何两个神经元之间都可能双向联接。网状结构：网络中任何两个神经元之间都可能双向联接。反馈网络：从输出层到输入层有反馈，反

19、馈网络：从输出层到输入层有反馈，每一个神经元同时接收外来输入和来自其每一个神经元同时接收外来输入和来自其它神经元的反馈输入，其中包括神经元输它神经元的反馈输入，其中包括神经元输出信号引回自身输入的自环反馈。出信号引回自身输入的自环反馈。混合型网络：前向网络的同一层神经混合型网络：前向网络的同一层神经元之间有互联的网络。元之间有互联的网络。4.4 神经网络的构成和分类神经网络的构成和分类（2）从激发函数的类型上划分从激发函数的类型上划分 高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等高斯基函数神经网络、小波基函数神经网络、样条基函数神经网络等等（3）从网络的学习方式上划分从网络的

20、学习方式上划分有导师学习神经网络有导师学习神经网络为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼为神经网络提供样本数据，对网络进行训练，使网络的输入输出关系逼近样本数据的输入输出关系。近样本数据的输入输出关系。无导师学习神经网络无导师学习神经网络不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提不为神经网络提供样本数据，学习过程中网络自动将输入数据的特征提取出来。取出来。（4）从学习算法上来划分：）从学习算法上来划分：基于基于BP算法的网络、基于算法的网络、基于Hebb算法的网络、基于竞争式学习算法的网络、算法的网络、基于竞争式学习算法的网络、基于遗传算法的网络。基

21、于遗传算法的网络。4.4 多层前向多层前向BP神经网络神经网络 最早由最早由werbos在在1974年提出的，年提出的，1985年由年由Rumelhart再次进行发展。再次进行发展。n 多层前向神经网络的结构多层前向神经网络的结构多层前向神经网络由输入层、隐层（不少于多层前向神经网络由输入层、隐层（不少于1层）、输出层组成，信号沿层）、输出层组成，信号沿输入输入输出的方向逐层传递。输出的方向逐层传递。4.4 多层前向多层前向BP神经网络神经网络沿信息的传播方向，给出网络的状态方程，用沿信息的传播方向，给出网络的状态方程，用Inj(i)，Outj(i)表示第表示第i层第层第j个神经元个神经元的输

22、入和输出，则各层的输入输出关系可描述为：的输入和输出，则各层的输入输出关系可描述为：第一层（输入层）：将输入引入网络第一层（输入层）：将输入引入网络 iiixInOut)1()1(ni,2,1第二层（隐层）第二层（隐层）niiijjOutwIn1)1()1()2()()2()2(jjInfOutlj,2,1第三层（输出层）第三层（输出层）ljjjOutwInOuty1)2()2()3()3(4.4 多层前向多层前向BP神经网络神经网络n网络的学习网络的学习 学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可学习的基本思想是：误差反传算法调整网络的权值，使网络的实际输出尽可能接近

23、期望的输出。能接近期望的输出。MkyXkk,2,1),(TknkkkxxxX,21假设有假设有M个样本个样本:将第将第k个样本个样本Xk输入网络，得到的网络输出为输入网络，得到的网络输出为 ky定义学习的目标函数为定义学习的目标函数为：MkkkyyJ12)(214.4 多层前向多层前向BP神经网络神经网络为使目标函数最小，训练算法是：为使目标函数最小，训练算法是：)()()1(twJtwtw)()()1()2(1)2()2(twJtwtwjjj)()()1()1(2)1()1(twJtwtwijijij令令 2)(21kkkyyJ则则MkkwJwJ1)2()2()2()(jkkjkkkjkOu

24、tyywyyJwJ)1()2()1()2()2()2()2()1()(ijkkijjjjjkkkijkOutfwyywininoutoutyyJwJ 4.4 多层前向多层前向BP神经网络神经网络学习的步骤：学习的步骤：（1）依次取第）依次取第k组样本组样本 MkyXkk,2,1),(，将，将Xk输入网络。输入网络。（2）依次计算）依次计算 MkkkyyJ12)(21，如果，如果 J，退出。，退出。（3）计算）计算wJk（4）计算）计算MkkwJwJ1（5）)()()1(twJtwtw，修正权值，返回（，修正权值，返回（1）如果样本数少，则学习知识不够；如果样本多，则需计算更多的如果样本数少，则

25、学习知识不够；如果样本多，则需计算更多的dJk/dw,，训练，训练时间长。可采用随机学习法每次以样本中随机选取几个样本，计算时间长。可采用随机学习法每次以样本中随机选取几个样本，计算 dJk/dw,，调，调整权值。整权值。例例4.1 多层前向多层前向BP网络训练网络训练训练样本训练样本SISO：SampleInput=0 0.1 0.2 0.3 0.4;SampleOutput=4 2 2 2 2;网络结构：网络结构：网络输入输出关系：网络输入输出关系：)(2iiiizfwy)exp(11)(iiiizzfiiixwz1需训练的量：需训练的量：iiiiww,21训练算法：训练算法：515125

26、122)()(kiikikkkkikizfkewyyJwJwJ51221515111)()exp()()()(kiiiiiiiiiiikiikkkkikixzfzwkewzzzfzfyyJwJwJ51225151)()exp()()()(kiiiiiiiiikiikkkkikizfzzwkezfzfyyJJJ51225151)()exp()()()(kiiiiiiiiiiikiikkkkikizfzwkezzzfzfyyJJJ25151251)()(2121kykyeJJkkkkk1111iiiwJww2222iiiwJwwiiiJ3iiiJ4训练初始参数：训练初始参数：W1=rand(1,5

27、);W2=rand(1,5);theta=rand(1,5);beta=rand(1,5);LearningRate1=0.2;LearningRate2=0.4;LearningRate3=0.2;LearningRate4=0.2;训练后参数：训练后参数：W1-0.4059 8.5182 -0.5994 -0.1153 -1.1916;W2=0.6245 2.8382 0.6632 0.5783 3.5775;Beta=1.6219 -4.9403 1.6041 1.5145 -0.3858;Theta=1.5832 0.1900 1.5406 1.6665 -0.1441;训练训练100

28、0次目标函数的变化曲线：次目标函数的变化曲线：训练结束后神经网络的输出与样本的拟和情况训练结束后神经网络的输出与样本的拟和情况4.4 多层前向多层前向BP神经网络神经网络n前向网络进一步需研究的问题前向网络进一步需研究的问题 局部最优问题，（网络初值选取不恰当）。局部最优问题，（网络初值选取不恰当）。学习算法收敛速度慢，学习算法收敛速度慢，Sigmaid函数本身存在无穷多闪导数，而函数本身存在无穷多闪导数，而BP算法只用了一次导数，致使收敛速度慢。算法只用了一次导数，致使收敛速度慢。网络的运行是单向传播，没有反馈，是一个非浅性映射，而不是非网络的运行是单向传播，没有反馈，是一个非浅性映射，而不

29、是非浅性动力系统。浅性动力系统。网络隐层节点个数和初始权值的选取，尚无理论指导。网络隐层节点个数和初始权值的选取，尚无理论指导。4.5 大脑自组织神经网络大脑自组织神经网络 是一种无导师学习的网络是一种无导师学习的网络脑神经科学研究表明：脑神经科学研究表明：传递感觉的神经元排列是按某种规律有序进行的，这种传递感觉的神经元排列是按某种规律有序进行的，这种排列往往反映所感受的外部刺激的某些物理特征。排列往往反映所感受的外部刺激的某些物理特征。大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对大脑自组织神经网络在接受外界输入时，将会分成不同的区域，不同的区域对不同的模式具有不同的响

30、应特征，即不同的神经元以最佳方式响应不同性质的不同的模式具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的有序排列信号激励，从而形成一种拓扑意义上的有序排列 在这种网络中，输出节点与其邻域其他节点在这种网络中，输出节点与其邻域其他节点广泛相连，并互相激励。输入节点和输出节广泛相连，并互相激励。输入节点和输出节点之间通过强度点之间通过强度wij(t)相连接。通过某种规则，相连接。通过某种规则，不断地调整不断地调整wij(t)，使得在稳定时，每一邻域，使得在稳定时，每一邻域的所有节点对某种输入具有类似的输出，并的所有节点对某种输入具有类似的输出，并且这种聚

31、类的概率分布与输入模式的概率分且这种聚类的概率分布与输入模式的概率分布相接近。布相接近。4.5 大脑自组织神经网络大脑自组织神经网络自组织学习算法：自组织学习算法：(1)权值初始化并选定领域的大小权值初始化并选定领域的大小；(2)输入模式；输入模式；(3)计算空间距离计算空间距离102)()(Niijijtwtxd式中式中xi(t)是是t时刻时刻i节点的输入，节点的输入，wij(t)是输入节点是输入节点i与输出节点与输出节点j 的连接强的连接强度，度，N为输入节点的数目；为输入节点的数目；(4)选择节点选择节点j*，它满足，它满足jjdmin(5)按下式改变按下式改变j*和其领域节点的连接强度

32、和其领域节点的连接强度 wij(t+1)=wij(t)+(t)xi(t)-wij(t),jj*的领域，的领域，0i iN N-1 -1 式中式中(t)称之为衰减因子。称之为衰减因子。(6)返回到第返回到第(2)步，直至满足步，直至满足xi(t)-wij(t)2(为给定的误差为给定的误差)。4.5 大脑自组织神经网络大脑自组织神经网络例例4.2 大脑自组织网络的训练大脑自组织网络的训练输入模式：输入模式：Xx1,x2,x3网络节点数量：网络节点数量：9 邻域：邻域：1网络初始权值：网络初始权值：W=0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.5208

33、0.4608 0.4435 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 0.7181 0.4453 0.3663 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.5692 0.0877 0.3025;4.5 大脑自组织神经网络大脑自组织神经网络1.单模式训练情况单模式训练情况输入为：输入为：X=0 0 1结果：结果：W=0.1122 0.0000 0.0000 0.0000 0.9028 0.8289 0.5208 0.4608 0.4435 0.4433 0.0000 0.0000 0.0000 0.4511 0

34、.1663 0.7181 0.4453 0.3663 0.4668 1.0000 1.0000 1.0000 0.8045 0.3939 0.5692 0.0877 0.3025输入为：输入为：X=0 1 0结果：结果：W=0.1122 0.0147 0.2816 0.7839 0.9028 0.8289 0.0000 0.0000 0.0000 0.4433 0.6641 0.2618 0.9862 0.4511 0.1663 1.0000 1.0000 1.0000 0.4668 0.7241 0.7085 0.4733 0.8045 0.3939 0.0000 0.0000 0.0000

35、4.5 大脑自组织神经网络大脑自组织神经网络2.多模式训练情况多模式训练情况1 0 00 1 00 0 1Input=训练结果：训练结果：0.0000 0.0000 1.0000 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000W网络输出：网络输出：Output=Input*W=0.0000 0.0000 1.000

36、0 1.0000 1.0000 0.0000 0.0000 0.0000 0.00000.0000 0.0000 0.0000 0.0000 0.0000 1.0000 1.0000 1.0000 1.00001.0000 1.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000 0.0000模式模式1模式模式2模式模式3模式模式2模式模式1模式模式3模式模式1模式模式2模式模式34.6 小脑神经网络小脑神经网络小脑模型关节控制器（小脑模型关节控制器（CMAC）是由）是由Albus最初于最初于1975年基于神经生理学提出年基于神经生理学提出的，它是一种基

37、于局部逼近的简单快速的神经网络，能够学习任意多维非线性的，它是一种基于局部逼近的简单快速的神经网络，能够学习任意多维非线性映射映射,迄今已广泛用于许多领域。迄今已广泛用于许多领域。CMAC具有优点：具有优点：n 具有局部逼近能力，每次修正的权值极少，学习速度快，适合于在线具有局部逼近能力，每次修正的权值极少，学习速度快，适合于在线学习；学习；n 一定的泛化能力，相近输入给出相近输出，不同输入给出不同输出；一定的泛化能力，相近输入给出相近输出，不同输入给出不同输出；4.6 小脑神经网络小脑神经网络nCMAC的原理的原理CMAC是一种模仿人类小脑的学习结构。在这种技术里，每个状态变量被量化并且输入

38、是一种模仿人类小脑的学习结构。在这种技术里，每个状态变量被量化并且输入空间被划分成离散状态。量化的输入构成的向量指定了一个离散状态并且被用于产生地空间被划分成离散状态。量化的输入构成的向量指定了一个离散状态并且被用于产生地址来激活联想单元中存储的联想强度从而恢复这个状态的信息。址来激活联想单元中存储的联想强度从而恢复这个状态的信息。对于输入空间大的情况，联想单元数量巨大，为了节省存储空间，对于输入空间大的情况，联想单元数量巨大，为了节省存储空间，Albus提出了提出了hash编编码，将联想强度存于数量大大少于联想单元的码，将联想强度存于数量大大少于联想单元的hash单元中，联想单元中只存储单元

39、中，联想单元中只存储hash单单元的散列地址编码元的散列地址编码状态空间联想单元hash单元加法器输出输入空间状态划分4.6 小脑神经网络小脑神经网络n CMAC的空间划分和量化机制的空间划分和量化机制超立方体联想单元“块”1234876510912341234111213141516ABCDEFbacdef量化的第1 种方式量化的第2 种方式量化的第3 种方式量化的第1 种方式量化的第2 种方式量化的第3 种方式4.6 小脑神经网络小脑神经网络nCMAC学习的数学推导学习的数学推导1)无无hash映射的映射的CMAC在在CMAC中，每个量化的状态对应中，每个量化的状态对应Ne个联想单元。假设

40、个联想单元。假设Nh是总的联想单元是总的联想单元的数量，该数量与没有的数量，该数量与没有hash映射时的物理存储空间大小一致。用映射时的物理存储空间大小一致。用CMAC技技术，第术，第s个状态对应的输出数据个状态对应的输出数据ys可以被表示为：可以被表示为：hhhNjjjsNNsssTssccccWCy1,21,2,1,式中式中W是代表存储内容（联想强度）的向量，是代表存储内容（联想强度）的向量，Cs是存储单元激活向量，该向是存储单元激活向量，该向量包含量包含Ne个个1。在决定了空间的划分方式后，对于指定的状态，单元激活向。在决定了空间的划分方式后，对于指定的状态，单元激活向量量Cs也随之确定

41、。也随之确定。4.6 小脑神经网络小脑神经网络n CMAC的空间划分和量化机制的空间划分和量化机制1234876510912341234111213141516ABCDEFbacdef量化的第1 种方式量化的第2 种方式量化的第3 种方式量化的第1 种方式量化的第2 种方式量化的第3 种方式1.16个离散状态如右图所示；个离散状态如右图所示；2.12个联想单元分别对应超立方体，这些单元从个联想单元分别对应超立方体，这些单元从1到到12按升序按升序排列；排列；3.则第则第1个状态被超立方体个状态被超立方体Aa,Cc,Ee覆盖，将激活与这覆盖，将激活与这3个超个超立方体相对应的联想单元，对应于该状

42、态的激活向量为：立方体相对应的联想单元，对应于该状态的激活向量为：001000100010TsC4.6 小脑神经网络小脑神经网络2)有有hash映射的映射的CMAC hash映射将几个联想单元和一个物理存储位置映射将几个联想单元和一个物理存储位置(hash单元单元)相对应。相对应。hash单元单元中存储联想强度，而此时的联想单元是虚拟的存储空间，只存储中存储联想强度，而此时的联想单元是虚拟的存储空间，只存储hash单元的单元的散列地址编码。有散列地址编码。有hash映射的映射的CMAC特别适用于存储空间小于超立方体数量特别适用于存储空间小于超立方体数量时的情况。用有时的情况。用有hash映射的

43、映射的CMAC技术，第技术，第s个状态对应的输出数据个状态对应的输出数据ys可以被可以被表示为：表示为：pphhphMMNNMNsssTsshhhhcccHWCy21,1,111,2,1,式中式中Mp是是hash单元的数量，它小于联想单元数单元的数量，它小于联想单元数Nh。hij=1表示联想单元表示联想单元i激活激活hash单元单元j。由于每个联想单元仅仅和一个。由于每个联想单元仅仅和一个hash单元相对应，所以单元相对应，所以hash矩阵矩阵H的每一行仅有一个单元等于的每一行仅有一个单元等于1，其余的都等于，其余的都等于0。4.6 小脑神经网络小脑神经网络WaaaWAyhNsssTss,2,

44、1,没有没有hash映射的公式和有映射的公式和有hash映射的公式可以合并为一个式子：映射的公式可以合并为一个式子：映射有映射无hash hash HCCATsTsTsnCMAC的学习的学习CMAC用迭代算法来训练联想强度。在学习中，我们将用迭代算法来训练联想强度。在学习中，我们将Ns个训练数据重复个训练数据重复用于学习。在第用于学习。在第i次迭代中用第次迭代中用第s个样本学习的迭代算法为：个样本学习的迭代算法为：)()(1111)(1)(1)(1)(isTssseisisisisWAyANWWWW S：样本数i：迭代次数：学习率期望输出4.6 小脑神经网络小脑神经网络4.6 小脑神经网络小脑

45、神经网络例例4.3 CMAC训练训练样本：样本：SampleInput1=0.05 0.15 0.25 0.35;SampleInput2=0.05 0.15 0.25 0.35;SampleOutput=4 4 4 4;2 2 2 2;3 3 3 3;1 1 1 1;量化：两输入均量化为四个元素量化：两输入均量化为四个元素 if x10&x10.1&x10.2&x10.3&x1=0.4 indexX1=4;end4.6 小脑神经网络小脑神经网络状态编号：状态编号：MSTATENUM=1 2 3 45 6 7 89 10 11 1213 14 15 16激活向量矩阵：激活向量矩阵：1 0 0

46、0 1 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 1 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 0 1 1 0 0 0 1 0 0 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 1 0 1 0 0 1 0 0 0 0 0 1 0 0 0 1 0 1 0 0 0 0 0 0 1 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 1 0 1 0 0 0 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0

47、0 1 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1MC=4.6 小脑神经网络小脑神经网络联想强度初始值：联想强度初始值：Weight=rand(12,1);学习率：学习率：learningRate=0.005;训练训练2000次，均方差结果：次，均方差结果：训练训练2000次，联想强度：次，联想强度：2.0167 2.0167 0.0168 0.0169 1.7736 1.7739 -0.2261 -0.2261 0.2094 0.2093 1.2093 1.20924.6 小脑神经网络小脑神经网络输出跟踪结果：输出跟踪结果：4.6 小脑神经网络小脑神经网络样本样本2：SampleInput1=0.05 0.15 0.25 0.35;SampleInput2=0.05 0.15 0.25 0.35;SampleOutput=4 4 4 4;2 2 2 2;3 3 2 2;1 1 1 1;1.6917 1.5671 0.0690 0.4412 1.7003 1.7008 -0.2995 -0.2989 0.6077 0.6699 1.4182 0.8577联想强度结果：联想强度结果：4.6 小脑神经网络小脑神经网络输出跟踪结果：输出跟踪结果：