2人工神经网络导论第2章.课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《2人工神经网络导论第2章.课件.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工 神经网络 导论 课件
- 资源描述:
-
1、2022-6-81第第2 2章章 神经元模型和网络结构神经元模型和网络结构2022-6-822.1 目的目的 第第1 1章给出了生物神经元和神经网络的章给出了生物神经元和神经网络的简述。现在来介绍简化的神经元数学模型,简述。现在来介绍简化的神经元数学模型,并解释这些人工神经元如何并解释这些人工神经元如何相互连接形成各种网络结构。另外,本章还将通过几个各种网络结构。另外,本章还将通过几个简单的实例阐述这些网络如何工作。简单的实例阐述这些网络如何工作。 本书中将使用本章所引入的概念和符号。本书中将使用本章所引入的概念和符号。 2022-6-832.2 原理和实例原理和实例2.2.1 2.2.1 符
2、号符号 神经网络是一门新兴学科。迄今为止,人神经网络是一门新兴学科。迄今为止,人们还并没有对其建立严格的数学符号和结构化们还并没有对其建立严格的数学符号和结构化表示。另外,神经网络方面的论文和书籍均是表示。另外,神经网络方面的论文和书籍均是来自诸如工程、物理、心理学和数学等许多不来自诸如工程、物理、心理学和数学等许多不同领域,作者都习惯使用本专业的特殊词汇。同领域,作者都习惯使用本专业的特殊词汇。于是,于是,神经网络的许多文献都难以阅读,概念神经网络的许多文献都难以阅读,概念也较实际情况更为复杂。也较实际情况更为复杂。 在本课中,我们尽可能地使用标准符号。在本课中,我们尽可能地使用标准符号。2
3、022-6-84 本课中的图、数学公式以及解释图和数本课中的图、数学公式以及解释图和数学公式的正文,将使用以下符号:学公式的正文,将使用以下符号: 标量:小写的斜体字母,如标量:小写的斜体字母,如a,b,c。 向量:小写的黑正体字母,如向量:小写的黑正体字母,如a,b,ca,b,c。 矩阵:大写的黑正体字母,如矩阵:大写的黑正体字母,如 A,B,CA,B,C。2.2 原理和实例原理和实例2022-6-852.2.2 神经元模型神经元模型1单输入神经元单输入神经元概念:概念:输入、权值、偏置(值)、净输入、输入、权值、偏置(值)、净输入、 传输函数、输出传输函数、输出. 一个规范的单输入神经元如
4、图一个规范的单输入神经元如图2-1 所示。所示。 图图2-1 单输入神经元表示单输入神经元表示2022-6-86标量输入标量输入p乘标量权值乘标量权值w得到得到wp,再将其送,再将其送入累加器。入累加器。另一个输入另一个输入1 乘上偏置值乘上偏置值b,再将其送入累,再将其送入累 加器。加器。累加器输出通常被称为净输入累加器输出通常被称为净输入n,它被送入,它被送入一个传输函数。一个传输函数。传输函数传输函数f中产生神经元的标量输出中产生神经元的标量输出a。 若将这个简单模型和第若将这个简单模型和第1章所讨论的生章所讨论的生物神经元相对照,则物神经元相对照,则权值对应于突触的连权值对应于突触的连
5、接强度,细胞体对应于累加器和传输函数,接强度,细胞体对应于累加器和传输函数,神经元输出代表轴突的信号。神经元输出代表轴突的信号。2022-6-87神经元输出按下式计算:神经元输出按下式计算:例如,例如,若 ,则 注意,注意,w和和b是神经元的可调整标量参数。是神经元的可调整标量参数。设计者也可选择特定的传输函数,在一些学设计者也可选择特定的传输函数,在一些学习规则中调整参数习规则中调整参数w和和b,以满足特定的需要。,以满足特定的需要。正如将在下一节所讨论的,依据不同目的可正如将在下一节所讨论的,依据不同目的可以选择不同的传输函数。以选择不同的传输函数。)(bwpfa5 . 1, 2p, 3b
6、w)( 5 . 4) 5 . 12*3 (ffa2022-6-882 2传输函数传输函数 图图2-12-1中的传输函数可以是累加器输出中的传输函数可以是累加器输出(净输入)(净输入)n的线性或非线性函数。可以用特的线性或非线性函数。可以用特定的传输函数满足神经元要解决的特定问题。定的传输函数满足神经元要解决的特定问题。 本书包括了各种不同的传输函数。下面将本书包括了各种不同的传输函数。下面将讨论其中最常用的三种。讨论其中最常用的三种。 2022-6-89 硬极限传输函数硬极限传输函数: : 硬极限传输函数如图硬极限传输函数如图2-2 2-2 中的左图所示,中的左图所示,当函数的自变量小于当函数
7、的自变量小于0 0时,函数的输出为时,函数的输出为0 ;0 ;当函数的自变量大于或等于当函数的自变量大于或等于0 0时,函数的输出时,函数的输出为为1 1 。用该函数可以把输入分成两类。用该函数可以把输入分成两类。 第三、四章将广泛使用该传输函数。第三、四章将广泛使用该传输函数。 硬极限传输函数硬极限传输函数 单输入单输入hardlim神经元神经元 图图2-2 硬极限传输函数硬极限传输函数b)hardlim(wpa )hardlim(wpa2022-6-810 图图2-2的右图描述了使用硬极限传输函数的的右图描述了使用硬极限传输函数的单输入神经元的输入单输入神经元的输入/输出特征曲线。从中可输
8、出特征曲线。从中可看出权值和偏置值的影响。注意,两图之间看出权值和偏置值的影响。注意,两图之间的图标代表硬极限传输函数。在网络图中的的图标代表硬极限传输函数。在网络图中的这个图标表示使用了该传输函数。这个图标表示使用了该传输函数。2022-6-811线性传输函数线性传输函数: 线性传输函数的输出等于输入(如图线性传输函数的输出等于输入(如图2-3 所所示)示): 线性传输函数线性传输函数 单输入单输入purelin神经元神经元图图2-3 线性传输函数线性传输函数 purlin(wp)a b)purelin(wpana 2022-6-812对数对数-S -S 形传输函数形传输函数: 对数-S 形
9、(logsig)传输函数如图2-4 所示。 Log-Sigmoid 传输函数传输函数 单输入单输入logsig神经元神经元 图图2-4 对数对数-S形传输函数形传输函数alogsig(wp) alogsig(wpb) 2022-6-813 该传输函数的输入在(该传输函数的输入在(-,+)之间)之间取值,输出则在取值,输出则在0到到1 之间取值,其数学表之间取值,其数学表达为:达为: 本书所用的大多数传输函数在表本书所用的大多数传输函数在表2-1中中都可以找到。当然,你也可以定义不同于都可以找到。当然,你也可以定义不同于表表2-1的传输函数。的传输函数。n-e11a2022-6-814 名名 称
10、称 输入输入/输出输出关系关系 图标图标 MATLAB函数函数 硬极限函硬极限函数数 a=0,n0a=1,n0 Hardlim对称硬极对称硬极限函数限函数 a=-1,n0a=1,n0 hardlims线性函数线性函数 a=n purelin饱和线性饱和线性函数函数 a=0 ,n1 stalin表表2-1 传输函数传输函数 2022-6-815对称饱和对称饱和线性函数线性函数 a=-1 ,n1 stalins对数对数-S函函数数 logsig双曲正切双曲正切-S函数函数 tansign-e11an-n-nneee-ea2022-6-816C正线性函正线性函数数 a=0,n0a=n,n0 posl
11、in竞争函数竞争函数 a=1,具有最大具有最大n的神经元的神经元a=0,所有其他的所有其他的神经元神经元 compot2022-6-8173多输入神经元多输入神经元 概念:权值矩阵概念:权值矩阵: 通常,一个神经元有不止一个输入。具通常,一个神经元有不止一个输入。具有有R个输入的神经元如图个输入的神经元如图2-5 所示。所示。 其输入:其输入: 分别对应权值矩阵分别对应权值矩阵W的元素的元素: 12Rppp、11121Rwww、2022-6-818 图图2-5 多输入神经元多输入神经元2022-6-819 该神经元有一个偏置值该神经元有一个偏置值b,它与所有输入的,它与所有输入的加权和累加,从
12、而形成净输入加权和累加,从而形成净输入 :这个表达式也可以写成矩阵形式:这个表达式也可以写成矩阵形式:其中单个神经元的权值矩阵其中单个神经元的权值矩阵W W只有一列元素。只有一列元素。神经元的输出可以写成:神经元的输出可以写成: n1111221RRnw pw pw pbnbw p(afbwp)2022-6-820 概念:权值下标概念:权值下标 权值矩阵元素下标的第一个下标表示权值权值矩阵元素下标的第一个下标表示权值相应连接所指定的相应连接所指定的目标神经元编号目标神经元编号,第二个,第二个下标表示权值相应连接的下标表示权值相应连接的源神经元编号源神经元编号。 据此,据此, 的含义是:该权值表
13、示从第二的含义是:该权值表示从第二个源神经元到第一个目标神经元的连接。个源神经元到第一个目标神经元的连接。12w2022-6-821 概念:简化符号概念:简化符号 本课程将采用简化符号来表示神经元。本课程将采用简化符号来表示神经元。 图图2-6 为利用这种符号所表示的多输入神经为利用这种符号所表示的多输入神经元。元。 图2-6 具有R个输入的神经元的简化符号 2022-6-822例例2.1 对于图对于图2-1所示的单个神经元设输所示的单个神经元设输入入 ,分别采用,分别采用hardlm, hardlims, purelin,satlin,logsig传输函传输函数,求神经元的输出值。数,求神经
14、元的输出值。-3b,1.2 w2,p2022-6-823解:据(解:据(2.1)式有)式有 (1) a=hardlim()=hardlim (1.2*2-4)= 0(2) a=hardlims()=hardlims(1.2*2-4)= -1(3) a=purelin()=purelin(1.2*2-4)= -1.6(4) a=satlin()=satlin(1.2*2-4)= 0(5) a=logsig()=logsig(1.2*2-4) wp bwp bwp bwp bwp b1.61 =0.1681 e2022-6-8242.2.3 网络结构网络结构1神经网络的层神经网络的层 概念:层概念
15、:层 图图2-7是由是由S个神经元组成的单层网络。个神经元组成的单层网络。 注意,注意,R个输入中的每一个值均与每个神个输入中的每一个值均与每个神经元相连。经元相连。权值矩阵现有权值矩阵现有S行。行。 通常,每层的输入个数并不等于该层中神通常,每层的输入个数并不等于该层中神经元的数目(即经元的数目(即RS)2022-6-825图2-7 S个神经元组成的层()faWpb2022-6-826(2.6) 1.11.21.2.12.22.1.2. RRSSS RwwwwwwwwwW2022-6-827 同样,具有同样,具有S个神经元、个神经元、R 个输入的单层网个输入的单层网络能用简化的符号表示为图络
16、能用简化的符号表示为图2-8 所示的形式。所示的形式。 图2-8 由S个神经元组成的层的简化表示2022-6-8282 2多层神经网络多层神经网络 概念:层上标概念:层上标 第一层的值矩阵可以写为第一层的值矩阵可以写为 ,第二层的第二层的权值矩阵可以写为权值矩阵可以写为 ,等等。如图,等等。如图2-9所所示的三层网络就用了这种标记方法。示的三层网络就用了这种标记方法。1W2W2022-6-829图图2-9 三层网络三层网络123f f () f ()11122 123323aWp baW abaW ab()332121f (fff)321123aWWWW pbbb()2022-6-830 如图
17、所示,第一层有如图所示,第一层有R个输入、个输入、S1个神经元,个神经元,第二层有第二层有S2个神经元,等等。要注意不同层可个神经元,等等。要注意不同层可以有不同数目的神经元。以有不同数目的神经元。 第一层和第二层的输出分别是第二层和第三第一层和第二层的输出分别是第二层和第三层的输入。层的输入。 据此,可以将第二层看作是一个单层网络,据此,可以将第二层看作是一个单层网络,它有它有R = S1个输入,个输入,S S2个神经元,和一个个神经元,和一个S2 S1维的权值矩阵维的权值矩阵W2。第二层的输入是。第二层的输入是a1 ,输出是输出是a2。 第三层与第二层情况相似。第三层与第二层情况相似。 2
18、022-6-831 概念:输出层、隐含层概念:输出层、隐含层 如某层的输出是网络的输出,则称该层如某层的输出是网络的输出,则称该层为输出层,而其他层叫隐含层。为输出层,而其他层叫隐含层。 上图中的网络有一个输出层(第上图中的网络有一个输出层(第3 层)层)和两个隐含层(第和两个隐含层(第1 层和第层和第2层)。前面讨层)。前面讨论的三层网络同样也可以用简化的符号表论的三层网络同样也可以用简化的符号表示,如图示,如图2-10 所示。所示。2022-6-832图2-10 三层网络的简化表示11233f f () af ()112212323aW p+baW a +bW a +b()32112f (
19、fff)3322113aWWWW p+bbb()2022-6-833 多层网络的功能要比单层网络强大得多。多层网络的功能要比单层网络强大得多。比如,一个第一层具有比如,一个第一层具有S 形传输函数、第形传输函数、第二层具有线性传输函数的网络,二层具有线性传输函数的网络,经过训练经过训练可对大多数函数达到任意精度的逼近可对大多数函数达到任意精度的逼近,而单而单层网络则不能做到这一点。层网络则不能做到这一点。2022-6-834 决定一个网络的决定一个网络的神经元个数神经元个数非常重要。网非常重要。网络的输入络的输入/输出神经元的数量是由问题描述定输出神经元的数量是由问题描述定义的。义的。如果有如
展开阅读全文