计算智能概述课件.ppt

1、1 5.1 概述 v5.1.1 什么是计算智能什么是计算智能v5.1.2 计算智能的产生与发展计算智能的产生与发展v5.1.3 计算智能与人工智能的关系计算智能与人工智能的关系25.1.1 什么是计算智能什么是计算智能v 计算智能计算智能（Computational Intelligence，CI）目前还没有一）目前还没有一个统一的的定义，使用较多的是美国科学家贝慈德克个统一的的定义，使用较多的是美国科学家贝慈德克（J.C.Bezdek）从计算智能系统角度所给出的定义）从计算智能系统角度所给出的定义:v 如果一个系统仅处理低层的数值数据，含有模式识别部件，如果一个系统仅处理低层的数值数据，含有

2、模式识别部件，没有使用人工智能意义上的知识，且具有计算适应性、计算没有使用人工智能意义上的知识，且具有计算适应性、计算容错力、接近人的计算速度和近似于人的误差率这容错力、接近人的计算速度和近似于人的误差率这4个特性，个特性，则它是计算智能的。则它是计算智能的。v 从学科范畴看从学科范畴看，计算智能是在神经网络（，计算智能是在神经网络（Neural Networks,NN）、进化计算（）、进化计算（Evolutionary Computation,EC）及模糊系统（及模糊系统（Fuzzy System,FS）这）这3个领域发展相对成熟的基个领域发展相对成熟的基础上形成的一个统一的学科概念础上形成

3、的一个统一的学科概念。 3v 神经网络神经网络是一种对人类智能的结构模拟方法，它是通过对是一种对人类智能的结构模拟方法，它是通过对大量人工神经元的广泛并行互联，构造人工神经网络系统去大量人工神经元的广泛并行互联，构造人工神经网络系统去模拟生物神经系统的智能机理的。模拟生物神经系统的智能机理的。v 进化计算进化计算是一种对人类智能的演化模拟方法，它是通过对是一种对人类智能的演化模拟方法，它是通过对生物遗传和演化过程的认识，用进化算法去模拟人类智能的生物遗传和演化过程的认识，用进化算法去模拟人类智能的进化规律的。进化规律的。v 模糊计算模糊计算是一种对人类智能的逻辑模拟方法，它是通过对是一种对人类

4、智能的逻辑模拟方法，它是通过对人类处理模糊现象的认知能力的认识，用模糊逻辑去模拟人人类处理模糊现象的认知能力的认识，用模糊逻辑去模拟人类的智能行为的。类的智能行为的。 v 从贝慈德克对计算智能的定义和上述计算智能学科范畴的从贝慈德克对计算智能的定义和上述计算智能学科范畴的分析，可以看出以下分析，可以看出以下2点：点：v 第一，计算智能是借鉴仿生学的思想，基于生物神经系统第一，计算智能是借鉴仿生学的思想，基于生物神经系统的结构、进化和认知对自然智能进行模拟的。的结构、进化和认知对自然智能进行模拟的。v 第二，计算智能是一种以模型（计算模型、数学模型）为第二，计算智能是一种以模型（计算模型、数学模

5、型）为基础，以分布、并行计算为特征的自然智能模拟方法。基础，以分布、并行计算为特征的自然智能模拟方法。 45.1.2 计算智能的产生与发展计算智能的产生与发展v 1992年，贝慈德克在年，贝慈德克在Approximate Reasoning学报上首次学报上首次 提出了提出了“计算智能计算智能”的概念。的概念。v 1994年年6月底到月底到7月初，月初，IEEE在美国佛罗里达州的奥兰多市召在美国佛罗里达州的奥兰多市召开了首届国际计算智能大会开了首届国际计算智能大会(简称简称WCCI94)。会议第一次将神经。会议第一次将神经网络、进化计算和模糊系统这三个领域合并在一起，形成了网络、进化计算和模糊系

6、统这三个领域合并在一起，形成了“计计算智能算智能”这个统一的学科范畴。这个统一的学科范畴。v 在此之后，在此之后，WCCI大会就成了大会就成了IEEE的一个系列性学术会议，的一个系列性学术会议，每每4年举办一次。年举办一次。1998年年5月，在美国阿拉斯加州的安克雷奇市又月，在美国阿拉斯加州的安克雷奇市又召开了第召开了第2届计算智能国际会议届计算智能国际会议WCCI98。2002年年5月，月，I在美国在美国州夏威夷州首府火奴鲁鲁市又召开了第州夏威夷州首府火奴鲁鲁市又召开了第3届计算智能国际会议届计算智能国际会议WCCI02。此外，。此外，IEEE还出版了一些与计算智能有关的刊物。还出版了一些与

7、计算智能有关的刊物。v 目前，计算智能的发展得到了国内外众多的学术组织和研究机目前，计算智能的发展得到了国内外众多的学术组织和研究机构的高度重视，并已成为智能科学技术一个重要的研究领域。构的高度重视，并已成为智能科学技术一个重要的研究领域。55.1.3 计算智能与人工智能的关系计算智能与人工智能的关系v 目前，对计算智能与人工智能的关系有目前，对计算智能与人工智能的关系有2种不同观点，一种点认为种不同观点，一种点认为计算智能是人工智能的一个子集，另一种观点认为计算智能和人工智计算智能是人工智能的一个子集，另一种观点认为计算智能和人工智能是不同的范畴。能是不同的范畴。v 第一种观点第一种观点的代

8、表人物是贝慈德克。他把智能（的代表人物是贝慈德克。他把智能（Intelligence，I）和神经网络（和神经网络（Neural Network，NN）都分为计算的）都分为计算的（Computational，C）、人工的（）、人工的（Artificial，A）和生物的）和生物的（Biological,B）3个层次，并以模式识别（个层次，并以模式识别（PR）为例，给出了下图）为例，给出了下图所示的智能的层次结构。所示的智能的层次结构。v 在该图中，底层是计算智能（在该图中，底层是计算智能（CI），它通过数值计算来实现，其基），它通过数值计算来实现，其基础是础是CNN；中间层是人工智能（；中间层是人

9、工智能（AI），它通过人造的符号系统实现，），它通过人造的符号系统实现，其基础是其基础是ANN；顶层是生物智能（；顶层是生物智能（BI），它通过生物神经系统来实现，），它通过生物神经系统来实现，其基础是其基础是BNN。v 按照贝慈德克的观点，按照贝慈德克的观点，CNN是指按生物激励模型构造的是指按生物激励模型构造的NN，ANN是指是指CNN+知识，知识，BNN是指人脑，即是指人脑，即ANN包含了包含了CNN，BNN又包含又包含了了ANN。对智能也一样，贝慈德克认为。对智能也一样，贝慈德克认为AI包含了包含了CI，BI又包含了又包含了AI，即计算智能是人工智能的一个子集。即计算智能是人工智能的一

10、个子集。6CNNCPRCIANNAPRAIBNNBPRBI人类知识人类知识(+)传感输入传感输入知识知识(+)传感数据传感数据计算计算(+)传感器传感器B生物的生物的A符号的符号的C数值的数值的复复杂杂性性复杂性复杂性输入输入层次层次 贝慈德克的智能的贝慈德克的智能的3个层次个层次7v 第二种观点第二种观点是大多数学者所持有的观点，其代表人物是是大多数学者所持有的观点，其代表人物是艾伯哈特（艾伯哈特（R.C.Eberhart）。他们认为：虽然人工智能与）。他们认为：虽然人工智能与计算智能之间有重合，但计算智能是一个全新的学科领域，计算智能之间有重合，但计算智能是一个全新的学科领域，无论是生物智

11、能还是机器智能，计算智能都是其最核心的无论是生物智能还是机器智能，计算智能都是其最核心的部分，而人工智能则是外层。部分，而人工智能则是外层。v 事实上，事实上，CI和传统的和传统的AI只是智能的两个不同层次，各自只是智能的两个不同层次，各自都有自身的优势和局限性，相互之间只应该互补，而不能都有自身的优势和局限性，相互之间只应该互补，而不能取代。取代。v 大量实践证明，只有把大量实践证明，只有把AI和和CI很好地结合起来，才能更很好地结合起来，才能更好地模拟人类智能，才是智能科学技术发展的正确方向。好地模拟人类智能，才是智能科学技术发展的正确方向。85.2 神经计算神经计算 神经计算或叫神经网络

12、，是计算智能的重要基础和核心，神经计算或叫神经网络，是计算智能的重要基础和核心，也是计算智能乃至智能科学技术的一个重要研究领域。也是计算智能乃至智能科学技术的一个重要研究领域。 本节的主要内容包括：本节的主要内容包括： 5.1.1 神经计算基础神经计算基础 5.1.2 人工神经网络的互连结构人工神经网络的互连结构 5.1.3 人工神经网络的典型模型人工神经网络的典型模型 至于基于神经网络的连接学习机制放到第至于基于神经网络的连接学习机制放到第7章学习部分讨论。章学习部分讨论。 95.2.1 神经计算基础神经计算基础1. 生物神经系统简介生物神经系统简介 生物神经系统是人工神经网络的基础。人工神

13、经网络是对人生物神经系统是人工神经网络的基础。人工神经网络是对人脑神经系统的简化、抽象和模拟，具有人脑功能的许多基本特脑神经系统的简化、抽象和模拟，具有人脑功能的许多基本特征。征。 为方便对神经网络的进一步讨论，下面先介绍：为方便对神经网络的进一步讨论，下面先介绍： (1) 生物神经元的结构生物神经元的结构 (2) 生物神经元的功能生物神经元的功能 (3) 人脑神经系统的联结机制人脑神经系统的联结机制10(1) 生物神经元的结构生物神经元的结构神经末梢突触轴突树突细胞核细胞体它由细胞体它由细胞体(Soma)、轴突、轴突(Axon)和树突和树突(Dendrite)三个主要部分组成三个主要部分组成

14、 细胞体细胞体由细胞核、细胞质和细胞膜等组成，其直径大约为由细胞核、细胞质和细胞膜等组成，其直径大约为0.5-100m大大小不等。细胞体是神经元的主体，用于处理由树突接受的其它神经元传小不等。细胞体是神经元的主体，用于处理由树突接受的其它神经元传来的信号来的信号,其内部是细胞核，外部是细胞膜，细胞膜的外面是许多向外延其内部是细胞核，外部是细胞膜，细胞膜的外面是许多向外延伸出的纤维。伸出的纤维。 11 轴突轴突是由细胞体向外延伸出的所有纤维中最长的一条分枝，是由细胞体向外延伸出的所有纤维中最长的一条分枝，用来向外传递神经元产生的输出电信号。用来向外传递神经元产生的输出电信号。 每个神经元都有一条

15、轴突，其最大长度可达每个神经元都有一条轴突，其最大长度可达1m以上。在轴以上。在轴突的末端形成了许多很细的分枝，这些分支叫神经末梢。突的末端形成了许多很细的分枝，这些分支叫神经末梢。 每一条神经末梢可以与其它神经元形成功能性接触，该接每一条神经末梢可以与其它神经元形成功能性接触，该接触部位称为突触。所谓功能性接触，是指非永久性的接触，触部位称为突触。所谓功能性接触，是指非永久性的接触，这正是神经元之间传递信息的奥秘之处这正是神经元之间传递信息的奥秘之处 树突树突是指由细胞体向外延伸的除轴突以外的其它所有分支。是指由细胞体向外延伸的除轴突以外的其它所有分支。树突的长度一般较短，但数量很多，它是神

16、经元的输入端，树突的长度一般较短，但数量很多，它是神经元的输入端，用于接受从其它神经元的突触传来的信号。用于接受从其它神经元的突触传来的信号。12(2) 生物神经元的功能生物神经元的功能 根据神经生理学的研究，生物神经元的根据神经生理学的研究，生物神经元的2个主要功能是个主要功能是:神经元的兴奋与抑神经元的兴奋与抑制，神经元内神经冲动的传导。制，神经元内神经冲动的传导。 神经元的抑制与兴奋神经元的抑制与兴奋 抑制状态是指神经元在没有产生冲动时的工作状态。抑制状态是指神经元在没有产生冲动时的工作状态。 兴奋状态是指神经元产生冲动时的工作状态。兴奋状态是指神经元产生冲动时的工作状态。 通常情况下，

17、神经元膜电位约为通常情况下，神经元膜电位约为-70 毫伏，膜内为负，膜外为正，处于抑毫伏，膜内为负，膜外为正，处于抑制状态。当神经元受到外部刺激时，其膜电位随之发生变化，即膜内电位上制状态。当神经元受到外部刺激时，其膜电位随之发生变化，即膜内电位上升、膜外电位下降，当膜内外的电位差大于阈值电位（约升、膜外电位下降，当膜内外的电位差大于阈值电位（约+40毫伏）时，神毫伏）时，神经元产生冲动而进入兴奋状态。经元产生冲动而进入兴奋状态。 说明说明:神经元每次冲动的持续时间大约神经元每次冲动的持续时间大约1毫秒左右，在此期间即使刺激强度毫秒左右，在此期间即使刺激强度再增加也不会引起冲动强度的增加。再增

18、加也不会引起冲动强度的增加。 神经元每次冲动结束后，都会重新回到抑制状态。神经元每次冲动结束后，都会重新回到抑制状态。 如果神经元受到的刺激作用不能使细胞膜内外的电位差大于阈值电位，则如果神经元受到的刺激作用不能使细胞膜内外的电位差大于阈值电位，则神经元不会产生冲动，将仍处于抑制状态。神经元不会产生冲动，将仍处于抑制状态。 神经元内神经冲动的传导神经元内神经冲动的传导 神经冲动在神经元内的传导是一种电传导过程，神经冲动沿神经纤维传导神经冲动在神经元内的传导是一种电传导过程，神经冲动沿神经纤维传导的速度却在的速度却在3.2-320km/s之间，且其传导速度与纤维的粗细、髓鞘的有无有之间，且其传导

19、速度与纤维的粗细、髓鞘的有无有一定关系。一般来说，有髓鞘的纤维的传导速度较快，而无髓鞘的纤维的传一定关系。一般来说，有髓鞘的纤维的传导速度较快，而无髓鞘的纤维的传导速度较慢。导速度较慢。13(3) 人脑神经系统的联结机制人脑神经系统的联结机制 人脑神经系统的联结规模人脑神经系统的联结规模 人脑大约由人脑大约由1011 -1012个神经元所组成，其中每个神经元大约有个神经元所组成，其中每个神经元大约有3104个突触。个突触。 小脑中的每个神经元大约有小脑中的每个神经元大约有105个突触，并且每个突触都可以与别的个突触，并且每个突触都可以与别的神经元的一个树突相连。神经元的一个树突相连。 人脑神经

20、系统就是由这些巨量的生物神经元经广泛并行互连所形成的人脑神经系统就是由这些巨量的生物神经元经广泛并行互连所形成的一个高度并行性、非常复杂的神经网络系统。一个高度并行性、非常复杂的神经网络系统。 人脑神经系统的分布功能人脑神经系统的分布功能 人脑神经系的记忆和处理功能是有机的结合在一起的，每个神经元既人脑神经系的记忆和处理功能是有机的结合在一起的，每个神经元既具有存储功能，同时又具有处理能力。具有存储功能，同时又具有处理能力。 从结构上看，人脑神经系统又是一种分布式系统统。人们通过对脑损从结构上看，人脑神经系统又是一种分布式系统统。人们通过对脑损坏病人所做的神经生理学研究，没有发现大脑中的哪一部

21、分可以决定其坏病人所做的神经生理学研究，没有发现大脑中的哪一部分可以决定其余所有各部分的活动，也没有发现在大脑中存在有用于驱动和管理整个余所有各部分的活动，也没有发现在大脑中存在有用于驱动和管理整个智能处理过程的任何中央控制部分。智能处理过程的任何中央控制部分。 即，人类大脑的各个部分是协同工作、相互影响的。在大脑中，不仅即，人类大脑的各个部分是协同工作、相互影响的。在大脑中，不仅知识的存储是分散的，而且其控制和决策也是分散的知识的存储是分散的，而且其控制和决策也是分散的。 14 人工神经网络是由大量的人工神经元经广泛互联所形成的人工神经网络是由大量的人工神经元经广泛互联所形成的一种人工网络系

22、统，用以模拟人类神经系统的结构和功能。一种人工网络系统，用以模拟人类神经系统的结构和功能。 (1) 人工神经元的结构人工神经元的结构 (2) 常用的人工神经元模型常用的人工神经元模型 5.2.1 神经计算基础神经计算基础2. 人工神经网络简介人工神经网络简介15人工神经元的结构人工神经元的结构x1x2xnw1w2wny人工神经元是对生物神经元的抽象与模拟人工神经元是对生物神经元的抽象与模拟下图是一个下图是一个MP神经元模型神经元模型 1( )()niiiyffw x 1943年，心理学家麦克洛奇年，心理学家麦克洛奇(W.McM ulloch)和数理逻辑学家皮和数理逻辑学家皮茨茨(W.Pitts

23、)根据生物神经元的功能和结构，提出了一个将神经元根据生物神经元的功能和结构，提出了一个将神经元看作二进制阈值元件的简单模型，即看作二进制阈值元件的简单模型，即MP模型。模型。 图中的图中的x1, x2, ,xn表示某一神经元的表示某一神经元的n个输入；个输入；wi表示第表示第i个输入的连接强个输入的连接强度，称为连接权值；度，称为连接权值；为神经元的阈值；为神经元的阈值；y为神经元的输出。可见，人工神经为神经元的输出。可见，人工神经元是一个具有多输入，单输出的非线性器件。其输入为元是一个具有多输入，单输出的非线性器件。其输入为 ,输出为输出为其中，其中，f称为神经元功能函数（或作用函数，激活函

24、数）称为神经元功能函数（或作用函数，激活函数） 。1niiiw x16常用的人工神经元模型常用的人工神经元模型根据功能函数的不同，可得到不同的神经元模型。常用模型包括：根据功能函数的不同，可得到不同的神经元模型。常用模型包括：阈值型阈值型(Threshold)f()1 这种模型的神经元没有内部状态，作用函数这种模型的神经元没有内部状态，作用函数f是一是一个阶跃函数，他表示激活值个阶跃函数，他表示激活值和输出之间的关系。和输出之间的关系。 这是一种连续的神经元模型，其输入输出这是一种连续的神经元模型，其输入输出特性常用指数、对数或双曲正切等特性常用指数、对数或双曲正切等S S型函数型函数表示。它

25、反映的是神经元的饱和特性表示。它反映的是神经元的饱和特性. .分段线性强饱和型分段线性强饱和型(Linear Saturation)(Linear Saturation)S S型型(Sibmoid)(Sibmoid)子阈累积型子阈累积型(Subthreshold Summation) 也是一个非线性函数，当产生的激活值超过也是一个非线性函数，当产生的激活值超过T T值时，该神经元被激活产生个反响。在线性范值时，该神经元被激活产生个反响。在线性范围内，系统的反响是线性的围内，系统的反响是线性的。T1 这种模型又称为伪线性，其输入这种模型又称为伪线性，其输入/输出之间在一定范围输出之间在一定范围内

26、满足线性关系，一直延续到输出为最大值内满足线性关系，一直延续到输出为最大值1为止。但当为止。但当达到最大值后，输出就不再增。达到最大值后，输出就不再增。175.2.2 人工神经网络的互联结构人工神经网络的互联结构 人工神经网络的互连结构（或称拓扑结构）是指单个神经元之间的连接人工神经网络的互连结构（或称拓扑结构）是指单个神经元之间的连接模式，它是构造神经网络的基础，也是神经网络诱发偏差的主要来源。从模式，它是构造神经网络的基础，也是神经网络诱发偏差的主要来源。从互连结构的角度：互连结构的角度：前馈网络前馈网络反馈网络反馈网络单层前馈网络单层前馈网络 多层前馈网络多层前馈网络 单层反馈网络单层反

27、馈网络多层反馈网络多层反馈网络仅含输入层和输出层，且只有输出层仅含输入层和输出层，且只有输出层的神经元是可计算节点的神经元是可计算节点 除拥有输入、输出层外，还至少含有除拥有输入、输出层外，还至少含有一个、或更多个隐含层的前向网络一个、或更多个隐含层的前向网络 指不拥有隐含层的反馈网络指不拥有隐含层的反馈网络 指拥有隐含层的反馈网络指拥有隐含层的反馈网络 可含有反馈联结只包含前向联结只包含前向联结 n1ijiijjm,.,2 , 1j)x(fyw18 包括单层前馈网络和多层前馈网络。包括单层前馈网络和多层前馈网络。 单层前馈网络是指那种只拥有单层计算节点的前向网络。它仅含有输入单层前馈网络是指

28、那种只拥有单层计算节点的前向网络。它仅含有输入层和输出层，且只有输出层的神经元是可计算节点，如下图所示层和输出层，且只有输出层的神经元是可计算节点，如下图所示 其中，输入向量为其中，输入向量为X=(xX=(x1 1,x,x2 2,x,xn n) )；输出向量为；输出向量为Y=(yY=(y1 1,y,y2 2,y,ym m) )；输入层；输入层各个输入到相应神经元的连接权值分别是各个输入到相应神经元的连接权值分别是w wijij，i=1,2,.,ni=1,2,.,n，j=1,2,., mj=1,2,., m。x1X2X3xny1Y2ym权值wij输出层输入层图5.8 单层前馈网络结构5.2.2

29、人工神经网络的互联结构人工神经网络的互联结构1. 前馈网络前馈网络(1/3)19 若假设各神经元的阈值分别是若假设各神经元的阈值分别是j，j=1,2,m，则各神经元的输出，则各神经元的输出yj, j=1,2,.,m分别为：分别为：其中，由所有连接权值其中，由所有连接权值wij构成的连接权值矩阵构成的连接权值矩阵W为：为： 在实际应用中，该矩阵是通过大量的训练示例学习而形成的。在实际应用中，该矩阵是通过大量的训练示例学习而形成的。n1ijiijjm,.,2 , 1j)x(fywnmn2n12m22211m1211wwwwwwwwwW5.2.2 人工神经网络的互联结构人工神经网络的互联结构1. 前

30、馈网络前馈网络(2/3)20 多层前馈网络是指那种除拥有输入、输出层外，还至少含有一个、或更多多层前馈网络是指那种除拥有输入、输出层外，还至少含有一个、或更多个隐含层的前馈网络。个隐含层的前馈网络。 隐含层是指由那些既不属于输入层又不属于输出层的神经元所构成的处理隐含层是指由那些既不属于输入层又不属于输出层的神经元所构成的处理层层,也被称为中间层。隐含层的作用是通过对输入层信号的加权处理，将其转也被称为中间层。隐含层的作用是通过对输入层信号的加权处理，将其转移成更能被输出层接受的形式。移成更能被输出层接受的形式。 多层前馈网络的输入层的输出向量是第一隐含层的输入信号，而第一隐含多层前馈网络的输

31、入层的输出向量是第一隐含层的输入信号，而第一隐含层的输出则是第二隐含层的输入信号，以此类推，直到输出层。层的输出则是第二隐含层的输入信号，以此类推，直到输出层。 多层前馈网络的典型代表是多层前馈网络的典型代表是BP网络。网络。x1X2Xny1Ym隐含层输出层输入层图5.9 多层前馈网络结构权值权值5.2.2 人工神经网络的互联结构人工神经网络的互联结构1. 前馈网络前馈网络(3/3)215.2.2 人工神经网络的互联结构人工神经网络的互联结构2. 反馈网络反馈网络 反馈网络是指允许采用反馈联结方式所形成的神经网络。所反馈网络是指允许采用反馈联结方式所形成的神经网络。所谓反馈联结方式是指一个神经

32、元的输出可以被反馈至同层或前谓反馈联结方式是指一个神经元的输出可以被反馈至同层或前层的神经元。层的神经元。 反馈网络和前向网络不同：反馈网络和前向网络不同： 前向网络前向网络属于非循环连接模式，它的每个神经元的输入都没属于非循环连接模式，它的每个神经元的输入都没有包含该神经元先前的输出，因此不具有有包含该神经元先前的输出，因此不具有“短期记忆短期记忆”的性质。的性质。 反馈网络反馈网络则不同，它的每个神经元的输入都有可能包含有该则不同，它的每个神经元的输入都有可能包含有该神经元先前输出的反馈信息，即一个神经元的输出是由该神经神经元先前输出的反馈信息，即一个神经元的输出是由该神经元当前的输入和先

33、前的输出这两者来决定的，这就有点类似于元当前的输入和先前的输出这两者来决定的，这就有点类似于人类的短期记忆的性质。人类的短期记忆的性质。 反馈网络的典型例子是后面将要介绍的反馈网络的典型例子是后面将要介绍的Hopfield网络网络 22 人工神经网络的模型是指对网络结构、联结权值和学习能力的总人工神经网络的模型是指对网络结构、联结权值和学习能力的总括。括。 常用的网络模型已有数十种。例如：常用的网络模型已有数十种。例如： 传统的感知机模型，传统的感知机模型， 具有误差反向传播功能的反向传播网络模型，具有误差反向传播功能的反向传播网络模型， 采用多变量插值的径向基函数网络模型，采用多变量插值的径

34、向基函数网络模型， 建立在统计学习理论基础上的支撑向量机网络模型，建立在统计学习理论基础上的支撑向量机网络模型， 采用反馈联接方式的反馈网络模型，采用反馈联接方式的反馈网络模型， 基于模拟退火算法的随机网络模型。基于模拟退火算法的随机网络模型。 本小节主要讨论本小节主要讨论 感知机（感知机（Perceptron）模型）模型 反向传播（反向传播（BP）模型）模型 反馈网络（反馈网络（Hopfield）模型）模型 3.2.3 人工神经网络的典型模型人工神经网络的典型模型 23 感知器是美国学者罗森勃拉特（感知器是美国学者罗森勃拉特（RosenblattRosenblatt）于）于19571957年

35、年为研究大脑的存储、学习和认知过程而提出的一类具有自学为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型，其拓扑结构是一种分层前向网络。习能力的神经网络模型，其拓扑结构是一种分层前向网络。它包括：它包括： 单层感知器单层感知器 多层感知器多层感知器3.2.3 人工神经网络的典型模型人工神经网络的典型模型1. 感知器模型感知器模型(1/10)24(1)(1)单层感知器单层感知器 单层感知器是一种只具有单层可调节连接权值神经元的单层感知器是一种只具有单层可调节连接权值神经元的前向网络，这些神经元构成了单层感知器的输出层，是感知前向网络，这些神经元构成了单层感知器的输出层，是感

36、知器的可计算节点。器的可计算节点。 在单层感知器中，每个可计算节点都是一个线性阈值神在单层感知器中，每个可计算节点都是一个线性阈值神经元。当输入信息的加权和大于或等于阈值时，输出为经元。当输入信息的加权和大于或等于阈值时，输出为1 1，否则输出为否则输出为0 0或或-1-1。 单层感知器的输出层的每个神经元都只有一个输出，且单层感知器的输出层的每个神经元都只有一个输出，且该输出仅与本神经元的输入及联接权值有关，而与其他神经该输出仅与本神经元的输入及联接权值有关，而与其他神经元无关。元无关。3.2.3 人工神经网络的典型模型人工神经网络的典型模型1. 感知器模型感知器模型(2/10)25单层感知

37、器的结构如下图单层感知器的结构如下图x1x2xny1ym输入层输出层权值 wij输入向量为输入向量为X=(x1,x2,xn)；输出向量为输出向量为Y=(y1,y2,ym)；输入层各个输入到相应神经元输入层各个输入到相应神经元的连接权值分别是的连接权值分别是wij，i=1,2,.,n，j=1,2,., m。 若假设各神经元的阈值分别若假设各神经元的阈值分别是是j，j=1,2,m，则各神经元，则各神经元的输出的输出yj, j=1,2,.,m分别为分别为n1ijiijjm,.,2 , 1j)x(fyw 其中，由所有连接权值其中，由所有连接权值w wjiji构构成的连接权值矩阵成的连接权值矩阵W W为

38、：为： 在实际应用中，该矩阵是通在实际应用中，该矩阵是通过大量的训练示例学习而形成的过大量的训练示例学习而形成的 nmn2n12m22211m1211wwwwwwwwwW26 使用感知器的主要目的是为了对外部输入进行分类。罗使用感知器的主要目的是为了对外部输入进行分类。罗森勃拉特已经证明，如果外部输入是线性可分的（指存在一森勃拉特已经证明，如果外部输入是线性可分的（指存在一个超平面可以将它们分开），则单层感知器一定能够把它划个超平面可以将它们分开），则单层感知器一定能够把它划分为两类。其判别超平面由如下判别式确定：分为两类。其判别超平面由如下判别式确定： 作为例子，下面讨论用单个感知器实现逻辑

39、运算的问题。作为例子，下面讨论用单个感知器实现逻辑运算的问题。事实上，单层感知器可以很好地实现事实上，单层感知器可以很好地实现“与与”、“或或”、“非非”运算，但却不能解决运算，但却不能解决“异或异或”问题。问题。 m,.,2 , 1j0 xn1ijiijw3.2.3 人工神经网络的典型模型人工神经网络的典型模型1. 感知器模型感知器模型(4/10)27例例5.1 “与与”运算（运算（x1x2）(0,0)(1,1)(0,1)(1,0)图图5.10 与运算问题图示与运算问题图示 可以证明此表有解，例如取可以证明此表有解，例如取w1=1，w2=1，=1.5，其分类结果如右图所示。，其分类结果如右图

40、所示。 其中，输出为其中，输出为1的用实心圆，输出为的用实心圆，输出为0的的用空心圆。后面约定相同。用空心圆。后面约定相同。3.2.3 人工神经网络的典型模型人工神经网络的典型模型1. 感知器模型感知器模型(5/10)28例例5.2 “或或”运算（运算（x1x2） 此表也有解，例如取此表也有解，例如取w1=1，w2=1，=0.5，其分类结果如右图所示。，其分类结果如右图所示。(0,1)(0,0)(1,0)图图5.11 与运算问题图示与运算问题图示(1,1)3.2.3 人工神经网络的典型模型人工神经网络的典型模型1. 感知器模型感知器模型(6/10)29例例5.3 “非非”运算（运算（x1） 此

41、表也有解，例如取此表也有解，例如取w1=-1，=-0.5，其分类结果如右图所示。，其分类结果如右图所示。 图图5.12 非运算问题图示非运算问题图示013.2.3 人工神经网络的典型模型人工神经网络的典型模型1. 感知器模型感知器模型(7/10)30例例5.4 “异或异或”运算（运算（x1 XOR x2） 此表无解，即无法找到满足条件的此表无解，即无法找到满足条件的w1、w2和和，如右图所示。因为异或，如右图所示。因为异或问题是一个非线性可分问题，需要用问题是一个非线性可分问题，需要用多层感知器来解决。多层感知器来解决。(0,1)(0,0)(1,0)图图5.13 异或运算问题图示异或运算问题图

42、示(1,1)3.2.3 人工神经网络的典型模型人工神经网络的典型模型1. 感知器模型感知器模型(8/10)31 (2) 多层感知器多层感知器 多层感知器是通过在单层感知器的输入、输出层之间加入一层或多层处理单元所构成的。其拓扑结构与图5.9所示的多层前向网络相似，差别也在于其计算节点的连接权值是可变的。 多层感知器的输入与输出之间是一种高度非线性的映射关系，如图5.9所示的多层前向网络，若采用多层感知器模型，则该网络就是一个从n维欧氏空间到m维欧氏空间的非线性映射。因此，多层感知器可以实现非线性可分问题的分类。例如，对“异或”运算，用图5.14所示的多层感知器即可解决。 3.2.3 人工神经网

43、络的典型模型人工神经网络的典型模型1. 感知器模型感知器模型(9/10)32x11y=x1 XOR x2x1X2x121-1111-1输入层隐层输出层权值权值图5.14 “异或”问题的多层感知器阈值0.5阈值-1.5阈值1.5(0,1)(0,0)(1,0)图5.15异或问题的解决(1,1) 在图在图5.14中，隐层神中，隐层神经元经元x11所确定的直线方所确定的直线方程为程为 它可以识别一个半它可以识别一个半平面。隐层神经元平面。隐层神经元x12所所确定的直线方程为确定的直线方程为它也可以识别一个半平它也可以识别一个半平面。面。05 . 01121xx05 . 11121xx输出层神经元所确定

44、的直线方程为输出层神经元所确定的直线方程为 它相当于对隐层神经元它相当于对隐层神经元x11和和x12的输出的输出作作“逻辑与逻辑与”运算，因此可识别由隐层运算，因此可识别由隐层已识别的两个半平面的交集所构成的一已识别的两个半平面的交集所构成的一个凸多边形，如图个凸多边形，如图5.15所示。所示。 05 .1111211xx33 误差反向传播误差反向传播(Error Back Propagation)网络通常简称为网络通常简称为BP(Back Propagation)网络，是由美国加州大学的鲁梅尔哈特和麦克莱兰在研究并行网络，是由美国加州大学的鲁梅尔哈特和麦克莱兰在研究并行分布式信息处理方法，探

45、索人类认知微结构的过程中，于分布式信息处理方法，探索人类认知微结构的过程中，于1985年提出的一种年提出的一种网络模型。网络模型。 BP网络的网络拓扑结构是多层前向网络，如图网络的网络拓扑结构是多层前向网络，如图5.16所示。在所示。在BP网络中，同网络中，同层节点之间不存在相互连接，层与层之间多采用全互连方式，且各层的连接层节点之间不存在相互连接，层与层之间多采用全互连方式，且各层的连接权值可调。权值可调。BP网络实现了明斯基的多层网络的设想，是当今神经网络模型中网络实现了明斯基的多层网络的设想，是当今神经网络模型中使用最广泛的一种。使用最广泛的一种。 y1y2ymx1x2xn输出层隐含层输

46、入层权可调权可调图5.16 一个多层BP网络的结构3.2.3 人工神经网络的典型模型人工神经网络的典型模型2. BP网络模型网络模型(1/2)34 对对BPBP网络需说明以下两点：网络需说明以下两点： 第一，第一，BPBP网络的每个处理单元均为非线性输入网络的每个处理单元均为非线性输入/ /输出关系，其作用函数输出关系，其作用函数通常采用的是可微的通常采用的是可微的SigmoidSigmoid函数，如：函数，如： 第二，第二，BPBP网络的学习过程是由工作信号的正向传播和误差信号的反向网络的学习过程是由工作信号的正向传播和误差信号的反向传播组成的。所谓正向传播，是指输入模式经隐层到输出层，最后

47、形成输传播组成的。所谓正向传播，是指输入模式经隐层到输出层，最后形成输出模式；所谓误差反向传播，是指从输出层开始逐层将误差传到输入层，出模式；所谓误差反向传播，是指从输出层开始逐层将误差传到输入层，并修改各层联接权值，使误差信号为最小的过程并修改各层联接权值，使误差信号为最小的过程。xexf11)(3.2.3 人工神经网络的典型模型人工神经网络的典型模型2. BP网络模型网络模型(2/2)35 Hopfield网络是由美国加州工学院物理学家霍普菲尔特网络是由美国加州工学院物理学家霍普菲尔特1982年提出来的一年提出来的一种单层全互连的对称反馈网络模型。它可分为离散种单层全互连的对称反馈网络模型

48、。它可分为离散Hopfield网络和连续网络和连续Hopfield网络，限于篇幅，本书重点讨论离散网络，限于篇幅，本书重点讨论离散Hopfield网络。网络。 离散离散Hopfield网络的结构网络的结构 离散离散Hopfield网络是在非线性动力学的基础上由若干基本神经元构成的一网络是在非线性动力学的基础上由若干基本神经元构成的一种单层全互连网络，其任意神经元之间均有连接，并且是一种对称连接结构。种单层全互连网络，其任意神经元之间均有连接，并且是一种对称连接结构。一个典型的离散一个典型的离散 Hopfidld网络结构如图网络结构如图5-17所示。离散所示。离散Hopfield网络模型是网络模

49、型是一个离散时间系统，每个神经元只有一个离散时间系统，每个神经元只有0和和1（或（或-1和和1）两种状态，任意神经元）两种状态，任意神经元i和和j之间的连接权值为之间的连接权值为wij。由于神经元之间为对称连接，且神经元自身无连。由于神经元之间为对称连接，且神经元自身无连接，因此有接，因此有由该连接权值所构成的连接矩阵是一个零对角的对称矩阵。由该连接权值所构成的连接矩阵是一个零对角的对称矩阵。 )65(0jijiwwjiij若若3.2.3 人工神经网络的典型模型人工神经网络的典型模型2. HopfieldHopfield网络模型网络模型(1/2)36图 5 17 离散Hopfield网络的结构

50、ymY2Y1x1x2xn输入层输出层 在 Hopfidld网络中，虽然神经元自身无连接，但由于每个神经元都与其他神经元相连，即每个神经元的输出都将通过突触连接权值传递给别的神经元，同时每个神经元又都接受其他神经元传来的信息，这样对每个神经元来说，其输出经过其他神经元后又有可能反馈给自己，因此Hopfidld网络是一种反馈神经网络 3.2.3 人工神经网络的典型模型人工神经网络的典型模型2. Hopfield网络模型网络模型(2/2)37 进化计算（进化计算（Evolutionary Computation,ECEvolutionary Computation,EC）是在达）是在达尔文（尔文（D