神经网络-第三章：感知器课件.ppt

1、145014208 王菁 人的视觉人的视觉是重要的感觉器官，人通过视觉接受是重要的感觉器官，人通过视觉接受的信息占全部信息量的的信息占全部信息量的8085%。感知器感知器是模拟人的视觉，接受环境信息，并由是模拟人的视觉，接受环境信息，并由神经冲动进行信息传递的神经网络。神经冲动进行信息传递的神经网络。感知器分感知器分单层单层与与多层多层，是，是具有学习能力具有学习能力的神经的神经网络。网络。3.1 3.1 单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力是具有单层处理单元的神经网络，非线性作用函数是具有单层处理单元的神经网络，非线性作用函数f()是对称是对称型阶跃函数，见图。型阶跃

2、函数，见图。感知器输出：感知器输出：yfw ufw ujjjnjjjn()()10uj：感知器的第：感知器的第 j 个输入；个输入；w0（阈值）；（阈值）；u01。与与 MP 模型不同之处：模型不同之处：权值由权值由有导师的学习算法有导师的学习算法进行调整。进行调整。图2-3-1 单层感知器 njuuu1 yx nw 1w )(xf )(xf 布尔函数的布尔函数的M-P神经元表示神经元表示:利用带阈值的M-P人工神经元可以很方便地实现布尔代数中的许多功能。在布尔代数中，and、or、Not、xoR关系如下表1所示：3.1 3.1 单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力1x

3、2xandor )xoR00001100101101100101111110002x1xNot(Not(3.1 3.1 单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力1x0,1 2x0,1 Y且、，模型来建立，PM Y1x2x可以将图用与、之间的关系：上面几个人工神经元都满足M-P模型。3.1 3.1 单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力根据各个图及M-P模型，我们有)0,1(),1,0(),0,0(),(0)1,1(),(1020021)2(2121212121xxxxxxxxxxfy（1）（2）1212121212110(1)0101(,)(1,1),

4、(1,0),(0,1)0(,)(0,0)xxyf xxxxxxxx3.1 3.1 单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力10010001)(xxxxxfy（3）显然是符合逻辑运算要求。3.1 3.1 单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力 权系数和阈值不是权系数和阈值不是0、1的的M-P模型模型 Rw,w1,1 x1,1 y若，则M-P模型比只允许取-1，1要灵活（或1，0），（或1，0），则对于这个M-P人工神经元来说：的多，但此时仍限制111110101)(niiiniiiiniixwxwwxfyRw,Zw,但与相比并无多大改进。3.1 3.1

5、单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力例：例：试说明下列两个M-P人工神经元是等价的。分析：对于（a）06324106324106.02.03.04.0106.02.03.04.01)6.02.03.04.0(321321231231231xxxxxxxxxxxxxxxfy3.1 3.1 单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力对与（b）063241063241)6234(321321231xxxxxxxxxfy3.1 3.1 单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力此时感知器人工神经元结构及其数学描述如下：0101)()(11ii

6、njijijiizzxwfzfy 当当M-P人工神经元的输入人工神经元的输入X可以在可以在R上取值时上取值时 离散感知器离散感知器(简称感知器简称感知器)nnRxxX,11,1 y 0,1若M-P人工神经元的输入，而其输出值为或模型就改进为离散感知器（因为其输出还是离散的），简称为感知器。则此时的M-P3.1 3.1 单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力(a)分类器结构 2w 1w 0w y 10u 21uu 1u 2u(b)平面上两类模式分界线 图 2-3-2 平面上两类模式分类 用图所示 二输入/单输出单层感知器，输入输出描述：0,00,1)()(2211fuwuw

7、fy 即 22112211,0,1uwuwuwuwy 可见：输入输出为线性可分集合，一定可找到一条直线，将输入模式分为两类，此直线方程：ywuw u1 1220 则 uwwwu22121 见图，此直线与 权值及阈值有关。3.1 3.1 单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力2u1u 0w 10u y 1w 3w 2w 321uuu 图 2-3-3 三维空间上的两类模式分类 用图所示三输入用图所示三输入/单输出的单层感知器，输入输出：单输出的单层感知器，输入输出：0,00,1)()(332211fuwuwuwfy即即 332211332211,0,1uwuwuwuwuwuw

8、y可见可见，输入输出为线性可分集合，一定可找到一个平面，输入输出为线性可分集合，一定可找到一个平面，将输入模式分为两类，平面方程：将输入模式分为两类，平面方程：0332211uwuwuwy则则 23213133uwwuwwwu此平面与此平面与权值及阈值权值及阈值有关有关,见图。见图。3.1 3.1 单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力 感知器的分类定义感知器的分类定义 作为数学模型，我们对感知器作出如下归纳：作为数学模型，我们对感知器作出如下归纳：1.感知器是一个多输入、单输出的运算系统，表示一个神经元感知器是一个多输入、单输出的运算系统，表示一个神经元的运算特性，它的

9、输入状态向量记为：的运算特性，它的输入状态向量记为：)(21nnxxxx)(21nnwwww权向量权向量:2.感知器的状态值可以为感知器的输出值感知器的状态值可以为感知器的输出值);(nnxwfy 连续感知器连续感知器 3.1 3.1 单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力bxwkxwfyniiiniii1111)(连续感知器人工神经元结构及其数学描述如下：若取0,1bk，则其成为一类最简单的连续人工感知神经元。()yf ok o b激活函数：3.1 3.1 单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力nxix是不连续的:或0101)(xxxf0001)(

10、xxxf都在0，1或-1，1上取值，的每个向量定义：定义：)sgn()(xxfa)如果且激活函数那么这个感知神经元被成为M-P模型。是离散的，那么这个nnRx)(xfb)如果，但激励函数感知神经元被称为离散感知器常简称为感知器。是连续函数，那么这个感知nnRx)(xf且C)如果神经元称为连续感知器。由相应的感知神经元组成的网络就称为相应神经网络，如M-P神经网络、感知器神经网络、连续感知器神经网络。例例 线性不可分集合。线性不可分集合。二维平面上的两类模式二维平面上的两类模式异或（异或（XOR）问题）问题，见表。，见表。二维平面中不存在一条直线，将输入模式分为两类，此输入二维平面中不存在一条直

11、线，将输入模式分为两类，此输入模式称模式称线性不可分集合线性不可分集合，见图。，见图。可见可见：单层感知器不能解决：单层感知器不能解决异或问题异或问题。表表 2-3-3 uu12 y 0 0 0 0 1 1 1 0 1 1 1 0 图图 2-3-4异或问题 2u 1u 3.1 3.1 单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力 单层感知器工作原理单层感知器工作原理 对于只有两个输入的判别边界是直线（如下式对于只有两个输入的判别边界是直线（如下式所示）所示）,选择合适的学习算法可训练出满意的选择合适的学习算法可训练出满意的 和和 ，当它用于两类模式的分类时，相当于在高维样本空当

12、它用于两类模式的分类时，相当于在高维样本空间中，用一个超平面将两类样本分开。间中，用一个超平面将两类样本分开。3.1 3.1 单个感知器模型与解决问题的能力单个感知器模型与解决问题的能力3.2 3.2 单层感知器模型与解决问题的能力单层感知器模型与解决问题的能力 在上一节中指出了线性单个感知神经网络只能实现两类分类，如果要进行多于两类的分类将怎么办？生物医学已经证明：生物神经系统是由一些相互联系的，并能互相传递信息的神经细胞互连构成。因此这就使我们自然地想到是否可将单个的感知神经元连成网络形成一个单层的网络？结构3.2 3.2 单层感知器模型与解决问题的能力单层感知器模型与解决问题的能力 例例

13、 线性不可分集合。线性不可分集合。二维平面上的两类模式二维平面上的两类模式异或（异或（XOR）问题）问题，见表。，见表。二维平面中不存在一条直线，将输入模式分为两类，此输入二维平面中不存在一条直线，将输入模式分为两类，此输入模式称模式称线性不可分集合线性不可分集合，见图。，见图。可见可见：单层感知器不能解决：单层感知器不能解决异或问题异或问题。表表 2-3-3 uu12 y 0 0 0 0 1 1 1 0 1 1 1 0 图图 2-3-4异或问题 2u 1u 3.6 3.6 有关的几个问题有关的几个问题 M-P M-P模型在人工神经网络中的地位模型在人工神经网络中的地位 首先M-P模型是所有人

14、工神经元中第一个被建立起来的，它在多个方面都显示出生物神经元所具有的基本特性。其次，目前其它形式的人工神经元已有很多，但大多数都是在M-P模型的基础上经过不同的修正，改进变换而发展起来。因此M-P人工神经元是整个人工神经网的基础。1、神经元的内部改造：对不同的人工神经元取不同的非线性函数F（）；对人工神经元的输入和输出做不同的限制：离散的（某些离散点）和连续的（整个实数域）。2、人工神经元之间的联接形式上进行改造神经网络的结构上的改造。3、在人工神经网络权值和阈值取求的方法上改造算法的改进。4、其它形式的改造，譬如（1）与（2）结合起来改进；（2）与（3）结合起来改进等等。3.6 3.6 有关的几个问题有关的几个问题对对M-PM-P人工神经元进行改进的主要方式人工神经元进行改进的主要方式1、单神经元（M-P模型、单感知器、单连续感知机）；2、单层前向连接的神经网络；3、多层前向连接的神经网络（BP、RBF）；4、单层带有反馈连接的神经网络（Hopfield网）；5、多层回归（递归）神经网络；6、局部连接的人工神经网络（细胞神经网、小脑模型等）。3.6 3.6 有关的几个问题有关的几个问题人工神经网络常见的连接形式有：方式人工神经网络常见的连接形式有：方式