《前馈神经网络》课件.ppt

1、3.3.前馈神经网络前馈神经网络 前馈神经网络是神经网络中一种典型分层结构，信前馈神经网络是神经网络中一种典型分层结构，信息息 流从输入层进入网络后逐层向前传递至输出层。根据前流从输入层进入网络后逐层向前传递至输出层。根据前愦网络中神经元转移函数、隐层数以及权值调整规则的不同，愦网络中神经元转移函数、隐层数以及权值调整规则的不同，可形成具有各种功能特点的神经网络。可形成具有各种功能特点的神经网络。3.13.1单层感知器单层感知器 19581958年，美国心理学家年，美国心理学家 Frank Rosenblatt Frank Rosenblatt 提出一种具提出一种具有单层计算单元的神经网络，称

2、有单层计算单元的神经网络，称 Perceptron,Perceptron,即感知器。感即感知器。感知器是模拟人的视觉接受环境信息，并由神经冲动进行信息知器是模拟人的视觉接受环境信息，并由神经冲动进行信息传递。感知器研究中首次提出了自组织、自学习的思想，而传递。感知器研究中首次提出了自组织、自学习的思想，而且对所能解决的问题存在着收敛算法，并能从数学上严格证且对所能解决的问题存在着收敛算法，并能从数学上严格证明，因而对神经网络的研究起了重要的推动作用。明，因而对神经网络的研究起了重要的推动作用。单层感知器的结构与功能都很简单，以至于目前很单层感知器的结构与功能都很简单，以至于目前很少被应用来解决

3、实际问题，但它是研究其他神经网络的基础。少被应用来解决实际问题，但它是研究其他神经网络的基础。3.1.1 3.1.1 感知器模型感知器模型y y1 1y yj jy ym mW W1 1W Wj jW Wm mx x1x x2x xix xn单层感知器单层感知器处理层处理层输入层输入层处理层，处理层，m m个神经接点，每节点个神经接点，每节点均有信息处理能力，均有信息处理能力，m m个节点向个节点向外部处理输出信息，构成输出列外部处理输出信息，构成输出列向量向量Y Y。Y=YY=Y1 1 Y Y2 2.Y.Yj jYYm m T T输入层，感知层，输入层，感知层，n n个神经节点，个神经节点，

4、无信息处理能力，只负责引入外无信息处理能力，只负责引入外部信息部信息X X。X=xX=x1 1 x x2 2 x xi i x xn n T T两层间连接权值用权值列向量两层间连接权值用权值列向量WjWj表示，表示，m m个权向量构成单层感知器的权值矩阵个权向量构成单层感知器的权值矩阵W W。W Wj j=w w1j1j w w2j2j w wijijwwnjnj T T W=W W=W1 1 W W2 2 W Wj jWWm m T T由神经元数学模型，处理层中任一节点，其净输入由神经元数学模型，处理层中任一节点，其净输入netnetj j来自输入层各节点来自输入层各节点的输入加权和：的输入

5、加权和：niiijjxwnet1离散型单计算层感知器采用符号型转移函数，则离散型单计算层感知器采用符号型转移函数，则j j节节点输出为：点输出为：niTjiijjjjXWxwnety0)sgn()sgn()sgn(3.1.2 3.1.2 感知器的功能感知器的功能为便于直观分析，现考虑单计算节点感知器的情况：为便于直观分析，现考虑单计算节点感知器的情况：y yj jW Wj jx x1x x2x xix xnw w1j1jw w2j2jw wijijw wnjnjj j明显看出：单计算节点感知器实际上明显看出：单计算节点感知器实际上就是一个就是一个M-PM-P神经元模型。神经元模型。因为采用符号

6、转移函数，又称符号单元。因为采用符号转移函数，又称符号单元。下面分三种情况讨论单计算节点感下面分三种情况讨论单计算节点感知器的功能：知器的功能：(1)(1)设输入向量设输入向量X=xX=x1 1 x x2 2 T T两个输入分量两个输入分量x x1 1 和和x x2 2构成一个二维平面构成一个二维平面,输入样本输入样本X X可用该平面上一个点表示。可用该平面上一个点表示。节点节点j j的输出的输出y yj j为：为：11jy0022112211jjjjjjxwxwxwxw则方程则方程02211jjjxwxw成为二维输入样本空间上的一条分界线。成为二维输入样本空间上的一条分界线。0101XWXW

7、yTjTjj线上方的样本用表示，它们线上方的样本用表示，它们使使 ，的区的区域都会使域都会使y yj j=1;=1;0jnet线下方样本用表示，它们线下方样本用表示，它们使使 ，的区的区域都会使域都会使y yj j=-1.=-1.0jnet显然，由感知器权值和阈值确定的直线方程规定了分界线在样本空间的位置，显然，由感知器权值和阈值确定的直线方程规定了分界线在样本空间的位置，可将输入样本分为两类。可将输入样本分为两类。x1x202211jjjxwxw(2)(2)设输入向量设输入向量X=xX=x1 1 x x2 2 x x3 3T,T,则则x x1 1,x,x2 2,x,x3 3几何上构成一个三维

8、空间。几何上构成一个三维空间。节点节点j j的输出为：的输出为：11jy00332211332211jjjjjjjjxwxwxwxwxwxw方程方程0332211jjjjxwxwxw确定的平面成为三维输入样本空间的确定的平面成为三维输入样本空间的一个分界面。把输入样本和正确分两类（对应一个分界面。把输入样本和正确分两类（对应y yj j=1=1和和-1-1）（3 3）推广到）推广到n n维空间的一般情况，输入向量维空间的一般情况，输入向量X=xX=x1 1 x x2 2 xxn n T T,则则n n个输入分量个输入分量构成几何构成几何n n维空间。维空间。方程方程02211jnnjjjxwx

9、wxw定义的定义的n n维空间超平面，将输入维空间超平面，将输入样本分为样本分为2 2类。类。看出，一个简单的单计算节点感知器具有分类功能，其分类原理是将分类看出，一个简单的单计算节点感知器具有分类功能，其分类原理是将分类知识存储于感知器的权向量（包括阈值）中，由权向量确定的分类判决界知识存储于感知器的权向量（包括阈值）中，由权向量确定的分类判决界面（线），可将输入模式分为两类。面（线），可将输入模式分为两类。但是，权重系数和阈值一般是不可事先预知的，在初始人为给定的权值但是，权重系数和阈值一般是不可事先预知的，在初始人为给定的权值和阈值所确定的分界面也不可能将类别正确分开。和阈值所确定的分界

10、面也不可能将类别正确分开。只有用足够多的已知其类别的输入样本只有用足够多的已知其类别的输入样本X X，对神经网络进行训练，让神经，对神经网络进行训练，让神经元通过学习自动地找到那些权重系数和阈值，从而，确定的分界面，才是元通过学习自动地找到那些权重系数和阈值，从而，确定的分界面，才是有实际意义的。有实际意义的。神经元在实现其分类功能以前，必须有学习和训练阶段，在此阶段向神经神经元在实现其分类功能以前，必须有学习和训练阶段，在此阶段向神经元送入足够多数量的样本元送入足够多数量的样本X X，并需要指明每个矢量，并需要指明每个矢量X X所属类别。所以这是一所属类别。所以这是一种教师指导下的学习。种教

11、师指导下的学习。单计算节点感知器实现逻辑运算问题单计算节点感知器实现逻辑运算问题:逻辑逻辑”与与”功能功能:真值表真值表:X1 x2 y0 0 00 1 01 0 01 1 14个样本个样本,两种输出两种输出01属分类问题属分类问题使用单节点感知器使用单节点感知器,用感知器规则训练用感知器规则训练,得到连接权及阈值如图得到连接权及阈值如图:x1x2y0.50.50.75-1令计算节点净输出为令计算节点净输出为0,得分类判决方程得分类判决方程:0.5x1+0.5x2-0.75=0该直线方程正确地把两类样本分类该直线方程正确地把两类样本分类.将输出为将输出为1的样本点作的样本点作、输出为输出为0的

12、样本点作表示。的样本点作表示。按真值表作图，得：按真值表作图，得：（0,1）（1,0）（1,1）（0,0）x1x20.5x1+0.5x2-0.75=0该分类线不唯一该分类线不唯一,取决于具体的权值训练取决于具体的权值训练逻辑逻辑”或或”功能功能:真值表真值表:X1 x2 y0 0 00 1 11 0 11 1 14个样本个样本,两种输出两种输出01属分类问题属分类问题x1x2y11-0.5-1学习训练的学习训练的w1=w2=1,=-0.5,净输入为净输入为0得分类判决方程得分类判决方程:x1+x2-0.5=0（1,0）（1,1）x2（0,1）（0,0）x1x1+x2-0.5=0实现两类样本正确

13、分类实现两类样本正确分类例例:设计一个感知器神经网络设计一个感知器神经网络,完成下列分类完成下列分类,以以MATLAB编程编程仿真程序仿真程序,并画出分类线并画出分类线.15.01P01t5.012P12 t5.013P13 t114P.04 t解解(1)问题分析问题分析输入向量输入向量2个元素个元素,取值范围取值范围-1,1;输出向量一个元素输出向量一个元素,是一个是一个二值节点二值节点,取值取值0或或1.可确定单层感知器神经网络结构可确定单层感知器神经网络结构:一个一个二维输入向量二维输入向量,一个神经元一个神经元,神经元转移函数为神经元转移函数为hardlim(硬限硬限幅函数幅函数)(2

14、)程序设计程序设计已知已知:p1p2a-1%设计一个感知器神经网络，实现二维向量分类功能设计一个感知器神经网络，实现二维向量分类功能clear all;%清除所有内存变量清除所有内存变量%初始化感知器网络初始化感知器网络pr=-1 1;-1 1;%设置感知器网络输入向量每个元素的值域设置感知器网络输入向量每个元素的值域net=newp(pr,1);%定义感知器网络，一个神经元定义感知器网络，一个神经元net.layers1.transferFcn=hardlims;%指定感知层转移函数指定感知层转移函数为对称硬限幅函数为对称硬限幅函数%训练感知器网络训练感知器网络p=0.5-1;1 0.5;-

15、1 0.5;-1-1;%输入向量（训练样本值）输入向量（训练样本值）t=0 1 1 0;%目标向量目标向量net,tr=train(net,p,t);%训练感知器网络训练感知器网络%存储训练后的网络存储训练后的网络save net35 net%Example35Simclear all;%清除所有内存变量清除所有内存变量%加载训练后的网络加载训练后的网络load net35 net%网络仿真网络仿真P=0.5-1;1 0.5;-1 0.5;-1-1%输入向量（测试样本）输入向量（测试样本）a=sim(net,P)%仿真结果仿真结果%绘制网络的分类结果及分类线绘制网络的分类结果及分类线v=-2

16、2-2 2;%设置坐标的范围设置坐标的范围plotpv(P,a,v);%绘制分类结果绘制分类结果plotpc(net.iw1,net.b1);%绘制分类线绘制分类线net.iw1%输出权值输出权值net.b1%输出阈值输出阈值TRAINC,Epoch 0/100TRAINC,Epoch 2/100TRAINC,Performance goal met.P=0.5000 1.0000 -1.0000 -1.0000 -1.0000 0.5000 0.5000 -1.0000a=0 1 1 0ans=0.5000 1.5000(权)ans=0(阈值)3.1.3感知器的局限性感知器的局限性“异或异或

17、”问题问题真值表真值表:X1 x2 y0 0 00 1 11 0 11 1 04个样本个样本,两种输出两种输出01也是二值分也是二值分类问题类问题（1,0）（1,1）x2（0,1）（0,0）x1任何直线均不能将两类样本正确分开任何直线均不能将两类样本正确分开!感知器由于净输入为感知器由于净输入为0,确定的分类判决确定的分类判决方程是线性方程方程是线性方程,因而只能解决线性可分因而只能解决线性可分问题的分类问题的分类,不能解决线性不可分问题不能解决线性不可分问题.这称为单计算层感知器的局限性这称为单计算层感知器的局限性.3.1.4感知器的学习算法感知器的学习算法感知器采用感知器学习规则进行训练感

18、知器采用感知器学习规则进行训练,用用t表示学习步的序号表示学习步的序号,权值看作权值看作t的函的函数数.t=0对应学习开始前的初始状态对应学习开始前的初始状态(此时权值为初始值此时权值为初始值),训练过程如下训练过程如下:(1)对各初始权值对各初始权值w0j(0),w1j(0),wnj(0),j=1,2m(m为计算层的节点数为计算层的节点数)赋予较赋予较小的非零随机数小的非零随机数;(2)输入样本对输入样本对Xp,dp,其中其中Xp=-1 x1p x2p xnpT,dp为期望输出向量为期望输出向量(教师信教师信号号),下标下标p代表样本对的模式序号代表样本对的模式序号,设样本集中的样本总数为设

19、样本集中的样本总数为P,则则p=1,2,P;(3)计算各节点的实际输出计算各节点的实际输出yjp(t)=sgnWjT(t)Xp,j=1,2,m.(4)调整各节点对应的权值调整各节点对应的权值 Wj(t+1)=Wj(t)+djp-yjp(t)Xp j=1,2,m学习率学习率,一般取一般取0 1,用于调整控制速度用于调整控制速度,太大影响训练稳定性太大影响训练稳定性,太小使太小使训练的收敛性变慢训练的收敛性变慢.(5)返回到步骤返回到步骤(2),输入下一对样本输入下一对样本,周而复始直到所有样本使感知器的实周而复始直到所有样本使感知器的实际输出与期望输出相等际输出与期望输出相等(dp-yp=0,p

20、=1,2,P).已经得到证明已经得到证明,如果输入样本线性可分如果输入样本线性可分,无论感知器的初始权向量如何取值无论感知器的初始权向量如何取值,经过有限次调整后经过有限次调整后,总能稳定到一个权向量总能稳定到一个权向量,该权向量确定的超平面能将两该权向量确定的超平面能将两类样本正确分开类样本正确分开.能够将样本正确分类的权向量并不唯一能够将样本正确分类的权向量并不唯一,一般初始权向量不同一般初始权向量不同,训练过程和训练过程和所得到的结果也不同所得到的结果也不同,但都可满足误差为零的要求但都可满足误差为零的要求.例例.单计算节点感知器有单计算节点感知器有3个个 输入输入,现给定现给定3对训练

21、样本对训练样本:X1=-1 1 -2 0T d1=1;X2=-1 0 1.5 -0.5T d2=-1;X3=-1 -1 1 0.5T d3=1.设初始权向量设初始权向量 W(0)=0.5 1 -1 0T =0.1注意注意:输入向量中第一个分量输入向量中第一个分量x0恒等于恒等于-1,权向量中第一个分量为阈值权向量中第一个分量为阈值,试训试训练该感知器网络练该感知器网络.解解:第一步第一步,输入输入X1WT(0)X1=0.5 1 -1 0-1 1 -2 0T=2.5Y1(0)=sgn(2.5)=1W(1)=W(0)+d1-y1X1=0.5 1 -1 0T+0.1(-1-1)-1 1 -2 0T

22、=0.7 0.8 -0.6 0T第二步第二步,输入输入X2WT(1)X2=0.7 0.8 -0.6 0-1 0 1.5 -0.5T=-1.6Y2(1)=sgn(-1.6)=-1W(2)=W(1)+d2-y2(1)X2=0.7 0.8 -0.6 0T+0.1-1-(-1)-1 0 1.5 -0.5T=0.7 0.8 -0.6 0T第三步第三步,输入输入X3WT(2)X3=0.7 0.8 -0.6 0-1 -1 1 0.5T=-2.1Y3(2)=sgn(-2.1)=-1W(3)=W(2)+d3-y3(2)X3=0.5 0.6 -0.4 0.1T第四步第四步,返回到第一步返回到第一步,继续训练继续训

23、练,直到直到dp-yp=0 p=1,2,33.2多层感知器多层感知器单计算层感知器只能解决线性可分问题单计算层感知器只能解决线性可分问题,多层感知器可解决线性不可分问题多层感知器可解决线性不可分问题.如如,采用两计算层感知器解决采用两计算层感知器解决”异或异或”问题问题:123-1-1x1x2y1y2y3w11w12w21w22312输出层节点以隐层两节点输出层节点以隐层两节点y1,y2的输出作为输入的输出作为输入,其结构也相其结构也相当于一个符号单元当于一个符号单元.隐层两节点相当于两个独立的符号单元隐层两节点相当于两个独立的符号单元(单计算节点感知器单计算节点感知器).具有两个计算层感知器

24、具有两个计算层感知器x1、x2构成的平面上构成的平面上,1、2两符号单元确定两条分两符号单元确定两条分界直线界直线s1和和s2,可构成开放式凸域如图可构成开放式凸域如图.（1,0）（1,1）x2（0,1）（0,0）x1s1s2通过网络训练，调整两直线位置，可使通过网络训练，调整两直线位置，可使“异或异或”两类线性不可分样本分别位于两类线性不可分样本分别位于该开放式凸域内部和外部。该开放式凸域内部和外部。（1,0）（1,1）x2（0,1）（0,0）x1s1s2123x1x2y1y2w11w12w21312y3y1=0y2=0y1=1y2=1对隐节点对隐节点1：s1下面的样本，使其输出为下面的样本

25、，使其输出为y1=1,而而s1上面样本使上面样本使y1=0；对隐节点对隐节点2：s2上面的样本，使其输出为上面的样本，使其输出为y2=1,而而s2下面样本使下面样本使y2=0；这样可实现：输入这样可实现：输入类信息时有类信息时有y1=1y2=1(在凸域内）在凸域内）输入类样本时有输入类样本时有y1=0y2=1（同时处在（同时处在s1、s2上上方，即方，即s1上面的）上面的）和有和有y1=1y2=0（同时处在（同时处在s1、s2下下方，即方，即s2下方的）下方的）这样，把输出层节点这样，把输出层节点3以隐层两节点以隐层两节点y1、y2为输入，经训练，使其具有逻辑为输入，经训练，使其具有逻辑“与非

26、与非”功能，则功能，则“异或异或”问题得以解决。问题得以解决。两个计算层的感知器求解两个计算层的感知器求解“异或异或”问题各节点输出情况：问题各节点输出情况：x1 x2 y1 y2 y30 0 1 1 00 1 0 1 11 0 1 0 11 1 1 1 0实现实现 x1 ，x2 y3（“异或异或”逻辑）逻辑）采用采用 y1，y2 y3（“与非与非”逻辑）逻辑）看出：单隐层感知器可以求解异或问题，看出：单隐层感知器可以求解异或问题，具有解决线性不可分问题的分类能力。具有解决线性不可分问题的分类能力。就单隐层感知器，当输入样本为二维向量时，隐层中每个计算节点确定了就单隐层感知器，当输入样本为二维

27、向量时，隐层中每个计算节点确定了二维平面上的一条分界直线。多条直线（隐层中多个节点）经输出节点组二维平面上的一条分界直线。多条直线（隐层中多个节点）经输出节点组合后会构成各种形状凸域（凸域是指其边界上任两点连线均在域内）。合后会构成各种形状凸域（凸域是指其边界上任两点连线均在域内）。开式凸域开式凸域闭式凸域闭式凸域通过训练调整凸域形状，可将两类线性不可分样本分为域内域外。通过训练调整凸域形状，可将两类线性不可分样本分为域内域外。单隐层节点数增加可以使多边凸域边数增加，从而在输出层构建出任意形单隐层节点数增加可以使多边凸域边数增加，从而在输出层构建出任意形状的凸域。如果再增加第二隐层，则该隐层的

28、每节点确定一个凸域，各种状的凸域。如果再增加第二隐层，则该隐层的每节点确定一个凸域，各种凸域经输出节点组合后，会得到任意形状域，分类能力大大提高。凸域经输出节点组合后，会得到任意形状域，分类能力大大提高。凸域组合的任意形状凸域组合的任意形状已经过严格的数学证明，双隐层感知器足以解决任何复杂分类问题。已经过严格的数学证明，双隐层感知器足以解决任何复杂分类问题。另，为提高感知器分类能力，可采用非线性连续函数作为神经元节点的转另，为提高感知器分类能力，可采用非线性连续函数作为神经元节点的转移函数，使区域边界变成曲线，可形成连续光滑曲线域。移函数，使区域边界变成曲线，可形成连续光滑曲线域。多层感知器从

29、理论上讲可解决线性不可分问题，但从感知器的学习规则看，多层感知器从理论上讲可解决线性不可分问题，但从感知器的学习规则看，其权值调整量取决于感知器期望输出与实际输出之差，即：其权值调整量取决于感知器期望输出与实际输出之差，即：Wj(t)=ddj j-y-yj j(t)X(t)X对各隐层节点来说，期望输出无法确定，因而该学习规则对隐层权值不对各隐层节点来说，期望输出无法确定，因而该学习规则对隐层权值不适用。为了改进学习过程，后来提出最小均方、适用。为了改进学习过程，后来提出最小均方、BP算法等。算法等。尽管简单的感知器学习算法有局限性，但这种神经元网络模型在神经元网尽管简单的感知器学习算法有局限性

30、，但这种神经元网络模型在神经元网络研究中有重要意义和地位，它提出了自组织、自学习的思想。络研究中有重要意义和地位，它提出了自组织、自学习的思想。简单的感知器给出了单个神经元的学习和运行算法，如果把多个这样的简单的感知器给出了单个神经元的学习和运行算法，如果把多个这样的神经元连成一个网络，那么这种网络可能有很强的信息处理能力。神经元连成一个网络，那么这种网络可能有很强的信息处理能力。3.3自适应线性单元（自适应线性单元（ADALINE）简介）简介1962年美国斯坦福大学教授年美国斯坦福大学教授widrow提出一种自适应可调的神经网络，其基提出一种自适应可调的神经网络，其基本构成单元称为自适应线性

31、单元，本构成单元称为自适应线性单元，ADALINE（Adaptive Linear Neuron)。这种自适应可调的神经网络主要使用于信号处理中的自适应滤波、预测和这种自适应可调的神经网络主要使用于信号处理中的自适应滤波、预测和模式识别。模式识别。3.3.1ADALINE模型模型+1-1qy+-w0w1w2wiwnx0=-1x1x2xixnLMS算法算法模拟输出模拟输出二值输出二值输出误差误差Widrow-Hoff算法算法输入向量输入向量X=x0 x1 xnT的每个的每个输入分量可以是数输入分量可以是数字量也可以是模拟字量也可以是模拟量。量。ADALINE有两种输出情况：有两种输出情况：（1）

32、转移函数为线性函数，输）转移函数为线性函数，输出模拟量：出模拟量：y=f(WTX)=WTX(2)转移函数为符号函数，输出为转移函数为符号函数，输出为双极数字量双极数字量q=sgn(y)=1y0-1 y 0数值输出情况，数值输出情况，ADALINE与感知器的符号单元完全相同，可进行线性分类。与感知器的符号单元完全相同，可进行线性分类。期望输出期望输出 模拟输出情况，主要实现调节误差手段（如滤波）。由于模拟量输出模拟输出情况，主要实现调节误差手段（如滤波）。由于模拟量输出时的转移函数为线性，故称为自适应线性单元时的转移函数为线性，故称为自适应线性单元ADALINE。其功能是将。其功能是将ADALI

33、NE的期望输出与实际模拟输出相比较，得到一个同为模拟量的误差的期望输出与实际模拟输出相比较，得到一个同为模拟量的误差信号，根据误差信号不断在线调整权向量，以保证在任何时刻始终保持实信号，根据误差信号不断在线调整权向量，以保证在任何时刻始终保持实际输出与期望输出相等（际输出与期望输出相等（y=d）。从而可将一组输入模拟信号转变为任意）。从而可将一组输入模拟信号转变为任意期望的波形期望的波形d.3.2.2 ADALINE学习算法学习算法 ADALINE学习算法采用学习算法采用widrow-Hoff 学习规则学习规则,也称也称LMS(Least Mean Square),即最小二乘算法即最小二乘算法

34、.下面以单个自适应线性单元为例下面以单个自适应线性单元为例,讨论其学习算讨论其学习算法法.权向量调整量权向量调整量 W=(d-WTX)X输出为模拟量时输出为模拟量时,ADALINE的转移函数为单位线性函数的转移函数为单位线性函数,所以有所以有:y=WTX定义输出误差定义输出误差 =d-y 则则 W=(d-y)X=X实际修正权系数中实际修正权系数中,采用输入向量采用输入向量X除以其模的平方除以其模的平方,即即:XXW2看一下误差改变量看一下误差改变量:此式表明此式表明,永远与永远与符号相反符号相反,这意味着在训练中这意味着在训练中,的绝对值是单调下降的绝对值是单调下降的的,即即y总是不断接近总是

35、不断接近d。因此，。因此，LMS算法能保证算法能保证ADALINE在自适应学习时的在自适应学习时的收敛性。收敛性。下面举例说明下面举例说明LMS算法的学习步骤：算法的学习步骤：例例 ADALINE模型，输入向量模型，输入向量X=-1 1.2 2.7 T ,d=2.3,=0.6,初始权值赋予初始权值赋予随机数随机数 W(0)=-1 0.5 1.1T,做做LMS算法学习。算法学习。解：第一步解：第一步 计算初始输出计算初始输出y(0)和初始误差和初始误差(0)y(0)=WT(0)X=-1 0.5 1.1-1 1.2 2.7 T=4.57(0)=d-y(0)=2.3-4.57=-2.27TTXXW3

36、78.0168.014.07.22.11)27.2()7.22.1)1(6.0)0()0(22222TTTWWW722.0332.086.0378.0168.014.01.15.01)0()0()1(XXXXWXWdydTTT2)()(第二步第二步 计算输出计算输出y(1)和误差和误差(1)y(1)=WT(1)X=-0.86 0.332 0.722-1 1.2 2.7T=3.21(1)=d-y(1)=2.3-3.21=-0.91TTXXW151.00672.0056.07.22.11)91.0(73.96.0)1()1(2TTTWWW571.0265.0804.0151.00672.0056.

37、0722.0332.086.0)1()1()2(第三步第三步 计算输出计算输出y(2)和误差和误差(2)得得y(2)=2.518;(2)=-0.218;继续调整权值，继续调整权值，看到：经两步学习，误差由看到：经两步学习，误差由-2.27降到降到-0.218；实际输出由初始；实际输出由初始4.57调整调整到到2.518，大大接近，大大接近d=2.3，收敛速度很快。，收敛速度很快。3.3.3 ADALINE应用应用 ADALINE主要应用于语音识别、天气预报、心电图诊断等医学系统、信主要应用于语音识别、天气预报、心电图诊断等医学系统、信号处理以及系统辩识等方面。号处理以及系统辩识等方面。ADAL

38、INE自适应滤波器自适应滤波器延迟延迟延迟延迟延迟延迟x(t)x(t-1)x(t-2)x(t-m)w0w1w2wmLMSd(t)y(t)期望输出期望输出滤波输出滤波输出x(t)连续信号当前值；连续信号当前值；x(t),x(t-1)信号各时刻采信号各时刻采样值。样值。对语音波形和控制信号等随时间连续变化的信息，可用其采样后的离对语音波形和控制信号等随时间连续变化的信息，可用其采样后的离散信号序列作为网络的输入。散信号序列作为网络的输入。ADALINE滤波器的作用是用期望输出滤波器的作用是用期望输出d(t)与与实际输出实际输出y(t)之间的误差来调整权值，以达到使输入波形之间的误差来调整权值，以达

39、到使输入波形x(t)得到期望波得到期望波形形d(t)，从而达到滤波的目的。，从而达到滤波的目的。系统辩识（建模）系统辩识（建模）未知系统未知系统 SADALINE 滤波器滤波器系统输入系统输入xk系统输出系统输出 yyky=y-ykS未知系统；未知系统；xk已知输入信号，已知输入信号，输入给输入给S和和ADALINE 滤波滤波器；器；y未知系统输出，作为未知系统输出，作为ADALINE滤波器期望响应；滤波器期望响应；ykADALINE滤波器实际输出；滤波器实际输出；=y-yk误差，调节误差，调节ADALINE滤波器的权值。滤波器的权值。通过调节权值通过调节权值wm(m=0,1n),则未知系统则

40、未知系统S的数学模型可表达为：的数学模型可表达为：nmkmmkxwyy1如果未知系统是一个稳定时不变系统，输入信号是频谱较宽的白噪声或如果未知系统是一个稳定时不变系统，输入信号是频谱较宽的白噪声或脉冲，那么脉冲，那么w wm m是可以收敛到定值。这样，未知系统是可以收敛到定值。这样，未知系统S S就可以用此确定的线就可以用此确定的线性模型来描述。性模型来描述。ADALINE线性神经网络用于噪声对消线性神经网络用于噪声对消如如:医学中对胎儿心率的测量问题医学中对胎儿心率的测量问题,由于胎儿的心率一定会受由于胎儿的心率一定会受到母体心率的干扰到母体心率的干扰.而且母亲的心率很强而且母亲的心率很强,

41、但与胎儿的心率是但与胎儿的心率是互相独立的互相独立的.存在着如何将母体心率的影响消除的问题存在着如何将母体心率的影响消除的问题;采用采用ADALINE的线性神经网络进行噪声对消的线性神经网络进行噪声对消,可以得到十分满可以得到十分满意的结果意的结果.把母体心率、电话中自身的声音作为噪声源把母体心率、电话中自身的声音作为噪声源n1输入输入ADALINE中，混有噪声的胎儿心率信号、混有对方声音的信号作为中，混有噪声的胎儿心率信号、混有对方声音的信号作为目标响应，通过对消后，系统可以听到清晰的胎儿心率、目标响应，通过对消后，系统可以听到清晰的胎儿心率、电话中可以清晰听到来自对方的声音。电话中可以清晰

42、听到来自对方的声音。再如再如:电话中的回声对消问题电话中的回声对消问题.在电话通话过程中在电话通话过程中,如果没有回如果没有回声对消措施声对消措施,那么那么,我们自身的声音回声和对方的声音一起传到我们自身的声音回声和对方的声音一起传到听筒中听筒中,而自身的声音更强，影响通话质量而自身的声音更强，影响通话质量.在工程中还有很多类似问题在工程中还有很多类似问题.对于一个优秀的滤波器，希望通过滤波将信号中的噪声去掉，对于一个优秀的滤波器，希望通过滤波将信号中的噪声去掉，这对一般的滤波器很难做到。这对一般的滤波器很难做到。ADALINE自适应线性网络实现噪声对消原理：自适应线性网络实现噪声对消原理：信

43、号源信号源噪声源噪声源n1n0sS+n0yn1ADS原始输入信号；原始输入信号；n0与与s不相关的随机噪声；不相关的随机噪声；n1与与n0相关的信号；相关的信号；-系统输出；系统输出；s+n0为为ADALINE期望输出；期望输出；yADALINE实际输出。实际输出。则则=s+n=s+n0 0-y-y+-通过通过ADALINE滤波调节，可得：滤波调节，可得：Emin2 2=Emins2+Emin(n0-y)2当当 Emin(n0-y)20时，时，yn0,其输出为其输出为s,则噪声抵消。则噪声抵消。设传输信号为正弦波信号，噪声信号为随机信号，正弦波信设传输信号为正弦波信号，噪声信号为随机信号，正弦

44、波信号与随机信号之和为号与随机信号之和为ADALINE神经元的目标向量；输出信号为神经元的目标向量；输出信号为网络调整过程中的误差信号。网络调整过程中的误差信号。现做噪声对消自适应线性神经网络程序实验：现做噪声对消自适应线性神经网络程序实验：%自适应线性神经网络实现噪声对消自适应线性神经网络实现噪声对消clear all;%清楚所有内存变量清楚所有内存变量%定义输入向量和目标向量定义输入向量和目标向量time=0.01:0.01:10;%时间变量时间变量noise=(rand(1,1000)-0.5)*4;%随机噪声随机噪声input=sin(time);%信号信号p=noise;%将噪声作为

45、将噪声作为ADALINE的输入向量的输入向量t=input+noise;%将噪声将噪声+信号作为目标向量信号作为目标向量%创建线性创建线性ADALINE神经网络神经网络net=newlin(-1 1,1,0,0.0005);%线性神经网络自适应调整（训练）线性神经网络自适应调整（训练）net.adaptparam.passes=70;net,y,output=adapt(net,p,t);%输出信号输出信号output为网络调整过程中的误差为网络调整过程中的误差%绘制信号、迭加随机噪声信号、输出信号的波形绘制信号、迭加随机噪声信号、输出信号的波形hold on%绘制信号波形绘制信号波形subp

46、lot(3,1,1);plot(time,input,b);xlabel(t,position,10.5,-1);ylabel(信号波形信号波形 sin(t),fontsize,8)subplot(3,1,2);%绘制迭加随机信号波形绘制迭加随机信号波形plot(time,t,m);xlabel(t,position,10.5,-5);ylabel(随机噪声波形随机噪声波形 sin(t)+noise(t),fontsize,8)%绘制输出信号波形绘制输出信号波形subplot(3,1,3);plot(time,output,g);xlabel(t,position,10.5,-2);ylabe

47、l(输出信号波形输出信号波形 y(t),fontsize,8)hold off网络运行结果如下图：网络运行结果如下图：看出输出信号除含有一定直流分量外，其波形与输入信号波看出输出信号除含有一定直流分量外，其波形与输入信号波形基本一致，消除了迭加的随机噪声。形基本一致，消除了迭加的随机噪声。3.43.4多层前馈神经网络多层前馈神经网络(BP(BP网络网络)多层前馈神经网络的典型结构如图。多层前馈神经网络的典型结构如图。它包含一个输出层和一个输入层，一个或多个隐含层。隐含它包含一个输出层和一个输入层，一个或多个隐含层。隐含层的变换函数一般为非线性函数，如层的变换函数一般为非线性函数，如S型函数或双

48、曲线正切函型函数或双曲线正切函数（数（tanh(x)）。输出层的变换函数可以是非线性的，也可以）。输出层的变换函数可以是非线性的，也可以是线性的，这由输入、输出映射关系的需要而定。是线性的，这由输入、输出映射关系的需要而定。多层前馈神经网络需要解决的关键问题是学习算法。多层前馈神经网络需要解决的关键问题是学习算法。以以Rumelhart和和McClelland为首的科研小组提出的误差反向传为首的科研小组提出的误差反向传播（播（Error Back PropagationBP）算法，为多层前馈神经网）算法，为多层前馈神经网络的研究奠定了基础。络的研究奠定了基础。BP学习算法已在许多科学技术领域中

49、得到成功的应用。在优学习算法已在许多科学技术领域中得到成功的应用。在优化设计中，对复杂非线性优化等问题收到了良好应用效果。化设计中，对复杂非线性优化等问题收到了良好应用效果。人们也常将多层前馈网络直接称为人们也常将多层前馈网络直接称为BP网。网。BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成，如图所示。过程组成，如图所示。正向传播时，输入样本经各隐层逐层处理后，传向输出层。若输出层的实正向传播时，输入样本经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出（教师信号）不符，则转入误差的反向传播阶

50、段。误际输出与期望的输出（教师信号）不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输差反传是将输出误差以某种形式通过隐层向输入入层逐层反传，并将误差分层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。修正各单元权值的依据。信号正向传播与误差反向传播的权值调整过程，周而复始地进行。权值不信号正向传播与误差反向传播的权值调整过程，周而复始地进行。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出断调整的过程，也就是网络的学习训练过程