1、第9章神经网络模式识别第第9章神经网络模式识别章神经网络模式识别9.1神经网络的基本要素神经网络的基本要素9.2前馈神经网络前馈神经网络9.3自组织特征映射神经网络自组织特征映射神经网络9.4支持向量机支持向量机9.5神经网络模式识别神经网络模式识别习题习题第9章神经网络模式识别9.1神经网络的基本要素神经网络的基本要素9.1.1 人工神经元模型人工神经元模型人工神经元是神经网络的基本处理单元，是对生物神经元的简化与模拟，单个的神经元模型如图9-1所示。第9章神经网络模式识别图9-1 单个人工神经元模型第9章神经网络模式识别人工神经元是一个多输入、单输出的非线性元件，其输入输出关系可表示为1n
2、iiiygk u(9-1)其中:u1,u2,un是从外部环境或其他神经元传来的输入信号;k1,k2,kn是对应于输入的连接权值;是一个阈值;函数g:RR为传递函数,也称为激活函数,表示神经元的输出。常用的三种基本激活函数如下:第9章神经网络模式识别(1)阈值型函数。常用的阈值型函数有阶跃函数和符号函数。阶跃函数的表达式为 0 00 1)(xxxg(9-2)符号函数的表达式为0 10 1)(xxxg(9-3)第9章神经网络模式识别(2)分段线性函数。函数表达式为 0,1/2,1/21/21,1/2xg xxxx(9-4)(3)Sigmoid函数。如图9-2所示,函数表达式为)exp(11)(xx
3、g0(9-5)或)exp(1)exp(1)(xxxg0(9-6)第9章神经网络模式识别图 9-2Sigmoid函数示意图(a)取值在(0,1)内;(b)取值在(1,1)内第9章神经网络模式识别9.1.2神经网络结构神经网络结构神经网络是由大量的人工神经元广泛互连而成的网络。根据网络的拓扑结构不同,神经网络可分为层次型网络和网状结构网络。在层次型网络模型中,神经元按层次结构分成若干层顺序相连。网状结构网络又可称为相互结合型网络,在这种模型中,任意两个神经元之间都可能存在连接,网络从某一个状态开始,经过若干次的变化,逐渐趋于某一稳定状态。常见的层次型网络有前馈网络和反馈网络,下面简单介绍这两种神经
4、网络的基本结构。第9章神经网络模式识别1.前馈网络前馈网络前馈网络中神经元分层排列,网络由输入层、中间层(也称隐含层)、输出层组成,每一层的各神经元只能接受前一层神经元的输出,作为自身的输入信号。根据是否有中间层,前馈网络分为单层前馈网络和多层前馈网络。常用的前馈网络有感知器、BP网络、RBF网络等。第9章神经网络模式识别单层前馈网络没有中间层。图9-3给出了输入、输出均为四节点的单层前馈网络。由于输入层只接受外界输入,无任何计算功能,因此输入层不纳入层数的计算中。“单层”是指具有计算节点的输出层。第9章神经网络模式识别图9-3 单层前馈神经网络 第9章神经网络模式识别多层前馈网络有一个或多个
5、隐含层。隐含层节点的输入和输出都是对网络内部的,隐含层节点具有计算功能,所以隐含层纳入层数的计算中。多层前馈神经网络的结构如图9-4 所示。第9章神经网络模式识别图9-4 多层前馈神经网络第9章神经网络模式识别2.反馈网络反馈网络反馈网络和前馈网络的不同在于,反馈网络的输出层接有反馈环路,将网络的输出信号回馈到输入层。一个无隐含层的反馈网络如图9-5所示,网络由单层神经元构成,每个神经元都将其输出反馈到其他所有神经元的输入。图9-5中所描述的结构不存在自反馈环路,即没有输出神经元将输出反馈到其本身输入的情况。单层反馈网络有多种,其中最典型的是Hopfield网络。第9章神经网络模式识别图9-5
6、 单层反馈神经网络第9章神经网络模式识别9.1.3神经网络的学习方法神经网络的学习方法神经网络信息处理包括学习和执行两个阶段。(1)学习阶段也称为训练阶段,给定训练样本集,按一定的学习规则调整权系数,使某种代价函数达到最小,也就是使权系数收敛到最优值。(2)执行阶段是指,利用学习阶段得到的连接权系数,对输入信息进行处理,并产生相应的输出。第9章神经网络模式识别根据学习过程的组织与管理,神经网络的学习可分为两大类:有教师(有监督)学习。对每一个输入训练样本,都有一个期望得到的输出值(也称教师信号),将它和实际输出值进行比较,根据两者之间的差值不断调整网络的连接权值,直到差值减小到预定的要求。无教
7、师(无监督、自组织)学习。网络的学习完全是一种自我调整的过程,不存在教师信号。输入模式进入网络后,网络按照预先设定的某种规则反复地自动调整网络结构和连接权值,使网络最终具有模式分类等功能。第9章神经网络模式识别假设yj为神经元j的输出,xi为神经元i对神经元j的输入,wij是神经元i与神经元j之间的连接权值,wij为连接权值wij的修正值,即wij(n+1)=wij(n)+wij。下面介绍8种常用的学习规则。第9章神经网络模式识别1.Hebb学习规则学习规则Hebb学习规则是假定两个神经元同时兴奋时,它们之间的连接强度应该加强。连接权值的学习规则按下式计算:ijjiwy x(9-7)其中,为学
8、习速率参数。第9章神经网络模式识别2.感知器的学习规则感知器的学习规则感知器的学习规则属于有教师训练,连接权值的学习规则按下式计算:()ijjjiwdyx(9-8)其中:dj为神经元j的期望响应;djyj为误差信号,一般用rj表示,也称为学习信号。第9章神经网络模式识别3.学习规则学习规则学习规则是由输出值和期望值之间的最小均方误差推导出来的。均方误差定义为 221122jjjkjkkEdydgw x(9-9)从而jjkjkikijEdygw xxw(9-10)第9章神经网络模式识别要使期望误差最小,要求在负梯度方向上改变,所以取 ijjjkjkikwdygw xx(9-11)其中,为学习速率
9、参数。一般地,学习速率参数选得很小。4.Widrow-Hoff学习规则 Widrow-Hoff 学习规则也是使期望输出值和实际输出值之间平方误差最小。连接权值的学习规则按下式计算:第9章神经网络模式识别jjjrdy(9-12)ijjiwr x(9-13)该规则可以看做规则的特殊情况。5.相关学习规则相关学习规则相关学习规则为 ijjiwd x(9-14)第9章神经网络模式识别这是Hebb规则的特殊情况,但相关规则是有教师的,要求权初始化wij=0。6.Winner-Take-All(胜者为王)学习规则第m层中有一个神经元有最大响应,这个神经元被宣布为获胜者,则imiimwxw(9-1)其中,是
10、小的学习常数。第9章神经网络模式识别7.内星和外星学习规则内星和外星学习规则内星和外星学习规则按下式计算：1ijijiijwnwnxwn（内星训练法）(9-16)（外星训练法）1ijijjijwnwnywn(9-17)第9章神经网络模式识别8.梯度下降算法梯度下降算法梯度下降算法的学习规则按下式计算:ijijwEw(9-18)其中,E为误差函数。第9章神经网络模式识别9.2前馈神经网络前馈神经网络9.2.1感知器感知器1.单层感知器网络单层感知器网络如图9-6所示,单层感知器网络只含有输入层和输出层,输入层不涉及计算。输入模式为n维矢量x=(x1,x2,xn)T,此时,输入层包含n个节点。输出
11、模式为m个类别1,2,m,输出层有m个输出节点y1,y2,ym,其中,每个输出节点对应一个模式类。输入节点i和输出节点j的连接权为wij(i=1,2,n;j=1,2,m)。输出层第j个神经元的输出为第9章神经网络模式识别)()(1jnijiijjufxwfy(9-19)其中,传递函数 f 采用符号函数。若 yj=1,则将输入模式x判属j类;若yj=1,则输入模式x不属于j类。感知器的学习规则为式(9-8)。第9章神经网络模式识别图 9-6单层感知器网络结构图 第9章神经网络模式识别2.多层感知器网络多层感知器网络单层感知器网络只能解决线性可分问题。在单层感知器网络的输入层和输出层之间加入一层或
12、多层感知器单元作为隐含层,就构成了多层感知器网络。多层感知器网络可以解决线性不可分的输入向量的分类问题。第9章神经网络模式识别9.2.2BP网络网络BP网络是采用误差反向传播(Back Propagation,BP)算法的多层前馈网络,其中,神经元的传递函数为S型函数,网络的输入和输出是一种非线性映射关系。BP网络的学习规则采用梯度下降算法。在网络学习过程中,把输出层节点的期望输出(目标输出)与实际输出(计算输出)的均方误差,逐层向输入层反向传播,分配给各连接节点,并计算出各连接节点的参考误差,在此基础上调整各连接权值,使得网络的期望输出与实际输出的均方误差达到最小。第9章神经网络模式识别第j
13、个样本输入到网络时,均方误差为 00022,11111()()22nnnji ji ji ji jiiiEeeyy(9-20)其中:n0为输出层的节点数;ei,j表示输入第j个样本时,输出层第i个节点的期望输出值yi,j与实际输出值间的差值,即,i jy,i ji ji jeyy。第9章神经网络模式识别连接权的调整主要有逐个处理和成批处理两种方法。逐个处理,是指每输入一个样本就调整一次连接权。成批处理,是指一次性输入所有训练样本,计算总误差,然后调整连接权。采用逐个处理的方法,并根据误差的负梯度修改连接权值,BP网络的学习规则为()()(),1,(),(),rrrp kp kp krkp kr
14、p kE WWWWW(9-21)第9章神经网络模式识别其中:k为迭代次数;W(r)p,k表示第r层(从第一个隐含层开始r=1,输入层r=0)的连接权阵W(r)的第p行,即W(r)p,k是由第r1层各节点到第r层的第p个节点所有连接权值组成的一个行向量;为学习步长,00(形状参数)。BF函数有多种形式,例如:(1)高斯核,其函数表达式为 2()()exp1,2,2TiiiizjLxuxu(i=1,2,L)(9-34)第9章神经网络模式识别(2)三角核,其函数表达式为 111 0 iiiiiiiizxuxuxu(i=1,2,L)(9-35)(3)双指数核,其函数表达式为 1exp 2iiiizxu
15、(i=1,2,L)(9-36)第9章神经网络模式识别最常用的RBF函数形式是高斯核函数。网络学习时,RBF函数的中心矢量ui和形状参数i也参与学习修正。中心矢量修正的方法主要有自组织特征映射方法和K均值聚类方法。RBF函数的形状参数i应根据样本的特性自适应地选择。若i取得较大,则隐含层中节点i能感受较大范围内的模式,容错性好,但局部性差;若i取得较小,则容错性差,但局部性好。第9章神经网络模式识别理论上而言,RBF网络和BP网络一样可近似任何的连续非线性函数,二者的主要差别在于各使用不同的传递函数。BP网络中隐含层单元的传递函数一般为非线性函数,RBF网络隐含层单元的传递函数是关于中心对称的径
16、向基函数。BP网络各层单元间通过权连接,RBF网络输入层和隐含层间为直接连接,隐含层到输出层通过权连接。第9章神经网络模式识别9.3自组织特征映射神经网络自组织特征映射神经网络生理学研究表明,人脑中不同的细胞其作用并不相同,处于空间不同位置的脑细胞区域有各自的分工,控制着人体不同部位的运动。类似地,处于不同区域的脑细胞对来自某一方面的或特定的刺激信号的敏感程度也不同。某一外界信息所引起的兴奋刺激并不只针对某一个神经细胞,而是针对以某一个神经细胞为中心的一个区域内各细胞的兴奋刺激,并且响应强度在区域中心最大,随着与中心距离的增大,强度逐渐减弱,远离中心的神经元反而还要受到抑制。这种特定细胞对特定
17、信号的特别反应能力是由后来的经历和训练形成的。第9章神经网络模式识别9.3.1网络结构网络结构自组织特征映射神经网络由输入层和输出层组成,输出层也称为竞争层。其网络结构如图9-9所示。输入层为输入模式的一维阵列,其节点数为输入模式的维数。输入层和输出层神经元间为全互连方式,即所有输入层节点到所有输出层节点都有权值连接。输出层神经元按二维阵列形式排列,且相互间也可能存在局部连接,每个神经元代表一种输入样本。第9章神经网络模式识别图 9-9自组织特征映射网络结构图第9章神经网络模式识别对于给定的输入模式,网络在学习过程中不断调整连接权值,形成兴奋中心神经元(获胜神经元)j*。在神经元j*的邻域NE
18、j*内的神经元都在不同程度上得到兴奋,而在NEj*以外的神经元都被抑制。这个邻域NEj*可以是任意形状,如正方形、六边形。区域NEj*的大小是时间t的函数,用NEj*(t)表示。随着时间t的增大,NEj*(t)的面积逐渐减小,最后只剩下一组神经元或一个神经元,反映了某一类输入模式的特性。采用正方形的邻域形状图如图9-10所示。第9章神经网络模式识别图 9-10不同时刻特征映射的拓扑邻域(t0t1t2)第9章神经网络模式识别9.3.2自组织特征映射算法自组织特征映射算法设自组织特征映射网络的输入模式x=(x1,x2,xn)T,输出层每个节点(神经元)对应一个权向量Wj=(w1j,w2j,wnj)
19、T,wij是输入节点i到输出节点j的连接权值。输入一个模式x时,将其和输出层每个节点的权向量都进行比较,然后对距离最近的节点及其邻域中的节点的权向量进行修正。第9章神经网络模式识别Kohonen给出了自组织特征映射算法,具体过程如下:(1)初始化权值。初始化从n个输入节点到m个输出节点的权值,取值为小的随机数,设定邻域的半径的初始值。(2)提交t时刻的输入模式:x(t)=(x1(t),x2(t),xn(t)T。(3)计算输入模式到所有输出节点的距离:21()()1,2,njiijidx tw tjm(9-37)第9章神经网络模式识别其中:xi(t)是t时刻输入节点i的输入;wij(t)是t时刻
20、输入节点i到输出节点j的连接权值;dj为输入模式到输出节点j的距离。(4)选择具有最小距离的输出节点j*:*1argminjj mjd(9-38)(5)更新节点j*及其邻域NEj*(t)中的节点的权值:(1)()()()()ijijiijw tw ttx tw t(1in,jNEj*(t)(9-39)第9章神经网络模式识别其中:(t)为增益项,0(t)0时,称它为非齐次多项式核;当c=0时,称为齐次多项式核。(2)高斯径向基函数(RBF),表达式为第9章神经网络模式识别221(,)exp2iiKx xxx(9-58)(3)Sigmoid函数,表达式为(,)tanh,iiKc x xx x(9-
21、59)其中,0,c0。第9章神经网络模式识别9.5神经网络模式识别神经网络模式识别人工神经网络由大量结构和功能简单的处理单元广泛互连组成,用以模拟人类大脑神经网络的结构和功能。模式识别的研究目标是利用计算机实现人类的识别能力,而人对外界感知的主要生理基础就是神经系统,因此,根据人脑生理结构构造而成的人工神经网络系统具有模式识别的理论和结构基础。事实上,模式识别是神经网络理论应用最成功的一个方面。目前,被广泛用于模式识别的神经网络模型包括感知器、BP网络、径向基函数网络、自组织特征映射网络和支持向量机等。第9章神经网络模式识别9.5.1神经网络模式识别与统计模式识别神经网络模式识别与统计模式识别
22、神经网络模式识别与统计模式识别是模式识别的两个重要分支,它们之间关系密切。一方面,统计模式识别为神经网络分类器设计提供指导;另一方面,神经网络分类器可以提高统计分类器的性能。传统的统计模式识别包括Bayes分类器、线性判别函数、分段线性判别函数、近邻分类器、特征提取和聚类分析等内容。这些内容均可以找到相应的神经网络实现方法。例如,单层感知器网络实际上就是一种线性分类器,多层感知器网络则可看做非线性分类器;自组织特征映射网络可以较好地完成聚类的任务;神经网络的隐含层具有特征提取的功能。第9章神经网络模式识别当表征模式的不是特征向量,而是包含特征的原始数值时,统计模式识别必须解决特征提取和选择问题
23、。例如,图像识别中,需要从图像点阵中提取图像特征;语音识别中,需要从采样量化后得到的原始数据中提取语音特征。统计模式识别的性能对特征提取和选择具有很大的依赖性。神经网络具有自学习功能,网络的隐含层具有特征提取的功能,此外,神经网络的并行结构使得它对输入模式信息的不完备或特征的缺损不太敏感。因此,神经网络分类器在背景噪声统计特性未知的情况下,性能优于统计模式识别,并且具有更好的推广性。第9章神经网络模式识别9.5.2神经网络模式识别的基本思想神经网络模式识别的基本思想神经网络用于模式识别时,输入神经元用来输入模式或表征模式的特征向量,输出神经元的输出值对应分类结果。通常,神经网络模式识别分为训练
24、和识别两个阶段。(1)训练阶段根据训练样本集,按一定的学习规则调整权系数,使权系数收敛到最优值,得到神经网络分类器。(2)识别阶段利用训练阶段得到的神经网络分类器,对输入模式进行识别,生成分类结果。第9章神经网络模式识别下面以前馈神经网络为例,介绍神经网络模式识别方法,具体的应用可以参见后续各章。在各种人工神经网络模型中,前馈神经网络在模式识别领域应用较多,特别是BP网络和RBF网络。前馈网络用于模式识别时网络输入是表征模式的特征向量,每一个输入节点对应样本的一个特征,网络的输出值对应分类结果,根据输出节点的数量一般可分为多输出型和单输出型两种。第9章神经网络模式识别1.多输出型多输出型在训练
25、阶段,如果输入训练样本属于第i类,那么,对应于第一种方式,令第i个输出节点的期望输出为1,而其余输出节点的期望输出均设为0;对应于第二种方式,训练时的期望输出应为第i类对应的编码。在识别阶段,当一个未知类别的样本输入时,检查输出层各节点的输出值,根据网络选择的输出方式判定样本所属的类别。对于第一种方式,若输出值最大的节点与其他节点输出的差距较小(如小于某个阈值),则可以做出拒绝决策。第9章神经网络模式识别2.单输出型单输出型单输出型方式,即网络的输出层只有一个神经元。一个单输出型网络只能判断输入样本是否属于某个类别,对每个类别都要构建一个网络,且要对每个网络分别进行训练。在训练阶段,将网络对应
26、类别的样本的期望输出设为1,而把属于其他类别的样本的期望输出设为0。在识别阶段,将未知类别的样本输入到每一个网络,如果某个网络的输出接近1或大于某个阈值,则判断该样本属于这个网络对应的类别;如果多个网络的输出均大于阈值,则可以将样本判属具有最大输出值的网络所对应的类别,或者作出拒绝决策;当所有网络的输出均小于阈值时,也可以采取类似的决策方法。第9章神经网络模式识别习题习题9-1有教师的学习和无教师的学习有什么区别？9-2分析多层感知器网络比单层感知器网络具有更强的分类能力,能解决非线性可分问题。9-3试设计用于分类识别、函数逼近等应用目的的BP网络。第9章神经网络模式识别9-4对两类线性可分问题,将线性判别函数f(x)=w,x+b进行归一化,使两类所有样本都满足|f(x)|1,证明此时样本点到超平面的最小距离为1/w。9-5前馈网络用于模式识别时,多输出型和单输出型的基本思想是什么？
