数学建模神经网络算法课件.ppt

1、团结团结 信赖信赖 创造创造 挑战挑战数学建模神经网络算法团结团结 信赖信赖 创造创造 挑战挑战学习目标 拓宽视野 感受神经网络算法的应用背景 能够用神经网络算法解决一些简单问题 不探究详细的理论基础团结团结 信赖信赖 创造创造 挑战挑战内容安排 人工神经网络简介 人工神经网络的基本功能 人工神经网络的发展历史 人工神经网络的生物学基础 M-P模型 前馈神经网络 单层感知器 多层感知器 BP算法 BP网络 应用案例（MATLAB计算）团结团结 信赖信赖 创造创造 挑战挑战1. 人工神经网络简介 生物神经网络生物神经网络 人类的大脑大约有人类的大脑大约有1.41011个神经细胞，亦称为神经个神经

2、细胞，亦称为神经元。元。 每个神经元有数以千计的通道同其它神经元广泛相互每个神经元有数以千计的通道同其它神经元广泛相互连接，形成复杂的生物神经网络。连接，形成复杂的生物神经网络。 人工神经网络人工神经网络 以数学和物理方法以及信息处理的角度对人脑神经网以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经络进行抽象，并建立某种简化模型，就称为人工神经网络（网络（Artificial Neural Network，缩写，缩写 ANN）。）。 对人类大脑系统的一阶特性的一种描述。对人类大脑系统的一阶特性的一种描述。 （生理角度的模拟）（生理角度的模拟）团结团结

3、 信赖信赖 创造创造 挑战挑战 基本原理基本原理 存在一些输入和相应的输出，而对如何由输入得到输存在一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚出的机理并不清楚 把输入与输出之间的未知过程看成是一个把输入与输出之间的未知过程看成是一个“网络网络”，通过不断地给这个网络输入和相应的输出来通过不断地给这个网络输入和相应的输出来“训练训练”这个网络，网络根据输入和输出不断地调节自己的各这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。节点之间的权值来满足输入和输出。 当训练结束后，给定一个输入，网络便会根据已调节当训练结束后，给定一个输入，网络便会根据已调节

4、好的权值计算出相应的输出。好的权值计算出相应的输出。团结团结 信赖信赖 创造创造 挑战挑战 严格定义严格定义ANN 最典型的定义由最典型的定义由Simpson在在1987年提出年提出 人工神经网络是一个非线性的有向图，图中含有可以人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。完整的或未知的输入找到模式。 ANN算法算法 根据人的认识过程而开发出的一种算法根据人的认识过程而开发出的一种算法团结团结 信赖信赖 创造创造 挑战挑战2. 人工神经网络的基本功能 （1）联想记忆功能）联

5、想记忆功能 由于神经网络具有分布由于神经网络具有分布存储信息和并行计算的存储信息和并行计算的性能，因此它具有对外性能，因此它具有对外界刺激信息和输入模式界刺激信息和输入模式进行联想记忆的能力。进行联想记忆的能力。 联想记忆有两种基本形联想记忆有两种基本形式式 自联想记忆自联想记忆 异联想记忆异联想记忆团结团结 信赖信赖 创造创造 挑战挑战 自联想记忆自联想记忆 网络中预先存储（记忆网络中预先存储（记忆)多种模式信息多种模式信息 当输入某个已存储模式的部分信息或带有噪声干扰的当输入某个已存储模式的部分信息或带有噪声干扰的信息时，网络能通过动态联想过程回忆起该模式的全信息时，网络能通过动态联想过程

6、回忆起该模式的全部信息部信息 异联想记忆异联想记忆 网络中预先存储了多个模式对网络中预先存储了多个模式对 每一对模式均由两部分组成，当输入某个模式对的一每一对模式均由两部分组成，当输入某个模式对的一部分时，即使输入信息是残缺的或迭加了噪声的，网部分时，即使输入信息是残缺的或迭加了噪声的，网络也能回忆起与其对应的另一部分络也能回忆起与其对应的另一部分团结团结 信赖信赖 创造创造 挑战挑战 不完整模式的自联想不完整模式的自联想 神经网络通过预先存储信息和学习机制进行自适应训神经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完练，可以从不完整的信息和噪声干扰中

7、恢复原始的完整信息整信息 这一能力使其在图象复原、图像和语音处理、模式识这一能力使其在图象复原、图像和语音处理、模式识别、分类等方面具有巨大的潜在应用价值别、分类等方面具有巨大的潜在应用价值团结团结 信赖信赖 创造创造 挑战挑战2. 人工神经网络的基本功能（续）输输 入入 样样 本本 神神 经经 网网 络络 输输 出出 样样 本本 自自 动动 提提 取取 非非 线线 性性 映映 射射 规规 则则（2）非线性映射功能）非线性映射功能团结团结 信赖信赖 创造创造 挑战挑战 非线性映射功能非线性映射功能 在客观世界中，许多系统的输入与输出之间存在复杂在客观世界中，许多系统的输入与输出之间存在复杂的非

8、线性关系，对于这类系统，往往很难用传统的数的非线性关系，对于这类系统，往往很难用传统的数理方法建立其数学模型。理方法建立其数学模型。 设计合理的神经网络，通过对系统输入输出样本对进设计合理的神经网络，通过对系统输入输出样本对进行自动学习，能够以任意精度逼近任意复杂的非线性行自动学习，能够以任意精度逼近任意复杂的非线性映射。映射。 神经网络的这一优良性能使其可以作为多维非线性函神经网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。该模型的表达是非解析的，输入数的通用数学模型。该模型的表达是非解析的，输入输出数据之间的映射规则由神经网络在学习阶段自动输出数据之间的映射规则由神经网络在学习

9、阶段自动抽取并分布式存储在网络的所有连接中。抽取并分布式存储在网络的所有连接中。 具有非线性映射功能的神经网络应用十分广阔，几乎具有非线性映射功能的神经网络应用十分广阔，几乎涉及所有领域。涉及所有领域。团结团结 信赖信赖 创造创造 挑战挑战2. 人工神经网络的基本功能（续）（3）分类与识别功能）分类与识别功能 传统分类能力传统分类能力 ANN 分类能力分类能力团结团结 信赖信赖 创造创造 挑战挑战 分类与识别功能分类与识别功能 神经网络对外界输入样本具有很强的识别与分类能力神经网络对外界输入样本具有很强的识别与分类能力。 对输入样本的分类实际上是在样本空间找出符合分类对输入样本的分类实际上是在

10、样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。要求的分割区域，每个区域内的样本属于一类。 传统分类方法只适合解决同类相聚，异类分离的的识传统分类方法只适合解决同类相聚，异类分离的的识别与分类问题。别与分类问题。 但客观世界中许多事物（例如，不同的图象、声音、但客观世界中许多事物（例如，不同的图象、声音、文字等等）在样本空间上的区域分割曲面是十分复杂文字等等）在样本空间上的区域分割曲面是十分复杂的，相近的样本可能属于不同的类，而远离的样本可的，相近的样本可能属于不同的类，而远离的样本可能同属一类。能同属一类。 神经网络可以很好地解决对非线性曲面的逼近，因此神经网络可以很好地解决对

11、非线性曲面的逼近，因此比传统的分类器具有更好的分类与识别能力。比传统的分类器具有更好的分类与识别能力。团结团结 信赖信赖 创造创造 挑战挑战2. 人工神经网络的基本功能（续）（4）优化计算功能）优化计算功能团结团结 信赖信赖 创造创造 挑战挑战 优化计算功能优化计算功能 优化计算是指在已知的约束条件下，寻找一组参数组优化计算是指在已知的约束条件下，寻找一组参数组合，使由该组合确定的目标函数达到最小值。合，使由该组合确定的目标函数达到最小值。 某些类型的神经网络可以把待求解问题的可变参数设某些类型的神经网络可以把待求解问题的可变参数设计为网络的状态，将目标函数设计为网络的能量函数计为网络的状态，

12、将目标函数设计为网络的能量函数。 神经网络经过动态演变过程达到稳定状态时对应的能神经网络经过动态演变过程达到稳定状态时对应的能量函数最小，从而其稳定状态就是问题的最优解。量函数最小，从而其稳定状态就是问题的最优解。 这种优化计算不需要对目标函数求导，其结果是网络这种优化计算不需要对目标函数求导，其结果是网络自动给出的。自动给出的。团结团结 信赖信赖 创造创造 挑战挑战 问问 题题 解解 答答 知知 识识 分分 布布 式式 表表 示示 由由 同同 一一 知知 识识 获获 取取 、 知知 识识 库库 神神 经经 网网 平平 行行 推推 理理 络络 实实 现现 输输 入入 数数 据据 变变 量量 变

13、变 换换 求求 解解 的的 问问 题题 神神 经经 网网 络络 专专 家家 系系 统统 的的 构构 成成2. 人工神经网络的基本功能（续）（5）知识处理功能）知识处理功能团结团结 信赖信赖 创造创造 挑战挑战 知识处理功能知识处理功能 知识是人们从客观世界的大量信息以及自身的实践中知识是人们从客观世界的大量信息以及自身的实践中总结归纳出来的经验、规则和判据。总结归纳出来的经验、规则和判据。 神经网络获得知识的途径与人类似，也是从对象的输神经网络获得知识的途径与人类似，也是从对象的输入输出信息中抽取规律而获得关于对象的知识，并将入输出信息中抽取规律而获得关于对象的知识，并将知识分布在网络的连接中

14、予以存储。知识分布在网络的连接中予以存储。 神经网络的知识抽取能力使其能够在没有任何先验知神经网络的知识抽取能力使其能够在没有任何先验知识的情况下自动从输入数据中提取特征，发现规律，识的情况下自动从输入数据中提取特征，发现规律，并通过自组织过程将自身构建成适合于表达所发现的并通过自组织过程将自身构建成适合于表达所发现的规律。规律。 另一方面，人的先验知识可以大大提高神经网络的知另一方面，人的先验知识可以大大提高神经网络的知识处理能力，两者相结合会使神经网络智能得到进一识处理能力，两者相结合会使神经网络智能得到进一步提升。步提升。团结团结 信赖信赖 创造创造 挑战挑战神经网络的发展历程经过了神经

15、网络的发展历程经过了4个阶段。个阶段。（1） 启蒙期（启蒙期（1890-1969年）年） 1890年，年，W.James发表专著发表专著心理学心理学，讨论了脑的结构和功能。，讨论了脑的结构和功能。 1943年，心理学家年，心理学家W.S.McCulloch和数学家和数学家W.Pitts提出了描述脑提出了描述脑神经细胞动作的数学模型，即神经细胞动作的数学模型，即M-P模型（第一个神经网络模型）。模型（第一个神经网络模型）。 1949年，心理学家年，心理学家Hebb实现了对脑细胞之间相互影响的数学描述实现了对脑细胞之间相互影响的数学描述，从心理学的角度提出了至今仍对神经网络理论有着重要影响的，从心

16、理学的角度提出了至今仍对神经网络理论有着重要影响的Hebb学习法则。学习法则。 1958年，年，E.Rosenblatt提出了描述信息在人脑中贮存和记忆的数学提出了描述信息在人脑中贮存和记忆的数学模型，即著名的感知机模型（模型，即著名的感知机模型（Perceptron）。）。 1962年，年，Widrow和和Hoff提出了自适应线性神经网络，即提出了自适应线性神经网络，即Adaline网网络，并提出了网络学习新知识的方法，即络，并提出了网络学习新知识的方法，即Widrow和和Hoff学习规则学习规则（即（即学习规则），并用电路进行了硬件设计。学习规则），并用电路进行了硬件设计。3. 神经网络的

17、发展历史团结团结 信赖信赖 创造创造 挑战挑战3. 神经网络的发展历史（续） （2） 低潮期（低潮期（1969-1982） 受当时神经网络理论研究水平的限制，以及冯受当时神经网络理论研究水平的限制，以及冯诺依曼诺依曼式计算机发展的冲击等因素的影响，神经网络的研究式计算机发展的冲击等因素的影响，神经网络的研究陷入低谷。陷入低谷。 在美、日等国有少数学者继续着神经网络模型和学习在美、日等国有少数学者继续着神经网络模型和学习算法的研究，提出了许多有意义的理论和方法。算法的研究，提出了许多有意义的理论和方法。 例如，例如，1969年，年，S.Groisberg和和A.Carpentet提出了至今为止最

18、提出了至今为止最复杂的复杂的ART网络，该网络可以对任意复杂的二维模式进行自网络，该网络可以对任意复杂的二维模式进行自组织、自稳定和大规模并行处理。组织、自稳定和大规模并行处理。1972年，年，Kohonen提出了自提出了自组织映射的组织映射的SOM模型模型。团结团结 信赖信赖 创造创造 挑战挑战3. 神经网络的发展历史（续） （3） 复兴期（复兴期（1982-1986） 1982年，物理学家年，物理学家Hoppield提出了提出了Hoppield神经网络神经网络模型，该模型通过引入能量函数，实现了问题优化求模型，该模型通过引入能量函数，实现了问题优化求解，解，1984年他用此模型成功地解决了

19、旅行商路径优化年他用此模型成功地解决了旅行商路径优化问题问题(TSP)。 在在1986年，在年，在Rumelhart和和McCelland等出版等出版Parallel Distributed Processing一书，提出了一种著名的多层一书，提出了一种著名的多层神经网络模型，即神经网络模型，即BP网络。该网络是迄今为止应用最网络。该网络是迄今为止应用最普遍的神经网络。普遍的神经网络。团结团结 信赖信赖 创造创造 挑战挑战3. 神经网络的发展历史（续） （4） 新连接机制时期（新连接机制时期（1986-现在）现在） 神经网络从理论走向应用领域，出现了神经网络芯片神经网络从理论走向应用领域，出现

20、了神经网络芯片和神经计算机。和神经计算机。 神经网络主要应用领域有神经网络主要应用领域有 模式识别与图象处理（语音、指纹、故障检测和图象压缩等模式识别与图象处理（语音、指纹、故障检测和图象压缩等） 控制与优化控制与优化 预测与管理（市场预测、风险分析）预测与管理（市场预测、风险分析） 等等团结团结 信赖信赖 创造创造 挑战挑战神经生理学和神经解剖学的研究结果表明神经生理学和神经解剖学的研究结果表明，神经元，神经元(Neuron)是脑组织的基本单元，是脑组织的基本单元，是人脑信息处理系统的最小单元是人脑信息处理系统的最小单元。4. 人工神经网络的生物学基础团结团结 信赖信赖 创造创造 挑战挑战1

21、.神经元及其联接；2.神经元之间的联接强度决定信号传递的强弱；3.神经元之间的联接强度是可以随训练改变的；4.信号可以是起刺激作用的，也可以是起抑制作用的；5.一个神经元接受的信号的累积效果决定该神经元的状态；6.每个神经元可以有一个“阈值”团结团结 信赖信赖 创造创造 挑战挑战4.1 生物神经元的信息处理机理生物神经元的信息处理机理（1）信息的产生）信息的产生 神经元间信息的产生、传递和处理是一种电化学活动。神经元间信息的产生、传递和处理是一种电化学活动。神经元状态神经元状态膜电位膜电位团结团结 信赖信赖 创造创造 挑战挑战团结团结 信赖信赖 创造创造 挑战挑战4.1 生物神经元的信息处理机

22、理（续）生物神经元的信息处理机理（续）（2）信息的传递与接收）信息的传递与接收团结团结 信赖信赖 创造创造 挑战挑战4.1 生物神经元的信息处理机理（续）生物神经元的信息处理机理（续）（3）信息的整合）信息的整合 空间整合空间整合 同一时刻产生的刺激所引起的膜电位变化，大致同一时刻产生的刺激所引起的膜电位变化，大致等于各单独刺激引起的膜电位变化的代数和等于各单独刺激引起的膜电位变化的代数和 时间整合时间整合 各输入脉冲抵达神经元的时间先后不一样。总的各输入脉冲抵达神经元的时间先后不一样。总的突触后膜电位为一段时间内的累积突触后膜电位为一段时间内的累积团结团结 信赖信赖 创造创造 挑战挑战4.2

23、 神经元的人工模型神经元的人工模型 神经元及其突触是神经网络的基本器件神经元及其突触是神经网络的基本器件。 因此，模拟生物神经网络应首先模拟生因此，模拟生物神经网络应首先模拟生物神经元物神经元 人工神经元人工神经元(节点节点), 从三个方面进行模从三个方面进行模拟拟: 节点本身的信息处理能力节点本身的信息处理能力(数学模型数学模型) 节点与节点之间连接节点与节点之间连接(拓扑结构拓扑结构) 相互连接的强度相互连接的强度(通过学习来调整通过学习来调整)决定人工神经网络决定人工神经网络整体性能的三大要整体性能的三大要素素团结团结 信赖信赖 创造创造 挑战挑战 神经元的建模神经元的建模(1) (1)

24、 每个神经元都是一个多输入单输出的信息处理单元；每个神经元都是一个多输入单输出的信息处理单元；(2) (2) 神经元输入分兴奋性输入和抑制性输入两种类型；神经元输入分兴奋性输入和抑制性输入两种类型；(6) (6) 神经元本身神经元本身是非时变的是非时变的，即其突触时延和突触强度，即其突触时延和突触强度 均为常数。均为常数。(3) (3) 神经元具有空间整合特性和阈值特性；神经元具有空间整合特性和阈值特性；(4)(4)神经元输入与输出间有神经元输入与输出间有固定的时滞固定的时滞, , 主要取决于突触延搁；主要取决于突触延搁；(5) (5) 忽略忽略时间整合作用；时间整合作用；模型的六点假设：模型

25、的六点假设：团结团结 信赖信赖 创造创造 挑战挑战假设1：多输入单输出 正如生物神正如生物神经元有许多经元有许多激励输入一激励输入一样，人工神样，人工神经元也应该经元也应该有许多的输有许多的输入信号入信号 图中，每个图中，每个输入的大小输入的大小用确定数值用确定数值x xi i表示，它表示，它们同时输入们同时输入神经元神经元j j，神，神经元的单输经元的单输出用出用o oj j表示表示。团结团结 信赖信赖 创造创造 挑战挑战假设2：输入类型兴奋性和抑制性 生物神经元具有不同的突触性质和突触强度，其对输入的影响是使有些输入在神经元产生脉冲输出过程中所起的作用比另外一些输入更为重要。 图中，对神经

26、元的图中，对神经元的每一个输入都有一每一个输入都有一个加权系数个加权系数w wijij，称，称为权重值，其正负为权重值，其正负模拟了生物神经元模拟了生物神经元中突触的兴奋和抑中突触的兴奋和抑制制，其大小大小则代表了突触的不同连接强度。团结团结 信赖信赖 创造创造 挑战挑战假设3：空间整合特性和阈值特性 作为ANN的基本处理单元，必须对全部输入信号进行整合，以确定各类输入的作用总效果 图中，表示组合输入信号的“总和值”，相应于生物神经元的膜电位。 神经元激活与否取决于某一阈值电平，即只有当其输入总和超过阈值时, 神经元才被激活而发放脉冲, 否则神经元不会产生输出信号。团结团结 信赖信赖 创造创造

27、 挑战挑战神经元的输出 图中，人工神经元的输出也同生物神经元一样仅有一个 如，用oj表示神经元输出，则输出与输入之间的对应关系可用图中的某种非线性函数来表示。团结团结 信赖信赖 创造创造 挑战挑战神经元模型示意图团结团结 信赖信赖 创造创造 挑战挑战4.2.1 人工神经元的数学模型人工神经元的数学模型 人工神经元模拟生物神经元的一阶特性，人工神经元模拟生物神经元的一阶特性，具有生物神经元的六大特征具有生物神经元的六大特征 一个人工神经元一般有多个输入和一个输一个人工神经元一般有多个输入和一个输出出 一个人工神经元有一个转移函数（激发函一个人工神经元有一个转移函数（激发函数），不同的转移函数对应

28、了不同的网络数），不同的转移函数对应了不同的网络，也决定了网络的用途，也决定了网络的用途团结团结 信赖信赖 创造创造 挑战挑战4.2.1 人工神经元的数学模型人工神经元的数学模型)()(jn1iijiijjTtxwftoij 输入输出间的突触时延；输入输出间的突触时延； Tj 神经元神经元j的阈值；的阈值； wij 神经元神经元i到到 j 的突触连接系数或称权重值；的突触连接系数或称权重值； f ( )神经元转移函数。神经元转移函数。(4. 1)团结团结 信赖信赖 创造创造 挑战挑战 为简单起见，将4.1上式中的突触时延取为单位时间，则式(4.1)可写为4.2式。 上式描述的神经元数学模型全面

29、表达了神经元模型的6点假定。其中输入xi的下标i=1,2,n，输出oj的下标j体现了神经元模型假定(1)中的“多输入单输出”。权重值wij的正负体现了假定(2)中“突触的兴奋与抑制”。Tj代表假定(3)中神经元的“阈值”； “输入总和”常称为神经元在t时刻的净输入，用下面的式子表示：)()(jn1iiijjTtxwf1to(4. 2)团结团结 信赖信赖 创造创造 挑战挑战n1iiijjtxwttne)()(4.3) netnetj j= =W Wj jT TX X W Wj j=(=(w1 w2 wn) )T T X= X=( (x1 x2 xn) )T T 令令 x0=-1，w0=Tj 则有

30、则有 -Tj=x0w0(4.4)4.2.1 人工神经元的数学模型（续）人工神经元的数学模型（续）团结团结 信赖信赖 创造创造 挑战挑战4.2.1 人工神经元的数学模型（续）人工神经元的数学模型（续） netnetj j(t) (t) 体现了神经元体现了神经元j j的空间整合特的空间整合特性而未考虑时间整合，当性而未考虑时间整合，当netnetj j-T-Tj j00时，时，神经元才能被激活。神经元才能被激活。o oj j(t+1)(t+1)与与x xI I(t(t之间的之间的单位时差代表所有神经元具有相同的、恒单位时差代表所有神经元具有相同的、恒定的工作节律，对应于假定定的工作节律，对应于假定

31、(4)(4)中的中的“突突触延搁触延搁”；w wijij与时间无关体现了假定与时间无关体现了假定(6)(6)中神经元的中神经元的“非时变非时变”。 为简便起见，在后面用到式为简便起见，在后面用到式(2.3)(2.3)时，常时，常将其中的将其中的(t)(t)省略。式省略。式(2.3)(2.3)还可表示为权还可表示为权重向量重向量W Wj j和输入向量和输入向量X X的点积的点积W WT TX X。其中。其中W Wj j和和X X均为列向量，定义为均为列向量，定义为 Wj=(w1 w2 wn）T，X=(x1 x2 xn)T 如果令如果令x x0 0= =-1-1，w w0 0= =T Tj j，则

32、有，则有- -T Tj j= =x x0 0w w0 0，因此，因此净输入与阈值之差可表达为净输入与阈值之差可表达为: :团结团结 信赖信赖 创造创造 挑战挑战XWTjn0iiijjjjxwnetTtne(4.5) oj=f(netj)=f (W Wj jT TX X)(4.6)4.2.1 人工神经元的数学模型（续）人工神经元的数学模型（续）综合以上各式，神经元模型可简化为：综合以上各式，神经元模型可简化为：团结团结 信赖信赖 创造创造 挑战挑战人工神经元的转移函数人工神经元的转移函数l神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。l神经元的信息

33、处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。团结团结 信赖信赖 创造创造 挑战挑战(1)阈值型转移函数 1 x0f(x)= (4.7) 0 x0 f (x) 1.0 x0人工神经元的转移函数人工神经元的转移函数单位阶跃函数，也称为硬限幅函数团结团结 信赖信赖 创造创造 挑战挑战(2)非线性转移函数xe11f(x)xxxe1e11e12f(x) f (x) 1.0 0.5x0 f (x) 1.0 0 x-1.0人工神经元的转移函数人工神经元的转移函数团结团结 信赖信赖 创造创造 挑战挑战 非线性转移函数为实数域非线性转移函

34、数为实数域R R到到0.10.1闭集的闭集的非减连续函数，代表了状态连续型神经元非减连续函数，代表了状态连续型神经元模型。模型。 非线性转移函数称为非线性转移函数称为sigmoid sigmoid ，简称，简称 S S型型函数函数 。 特点是函数本身及其导数都是连续的，因特点是函数本身及其导数都是连续的，因而在处理上十分方便。而在处理上十分方便。 S S型函数函数又分为单极性和双极性两种型函数函数又分为单极性和双极性两种。团结团结 信赖信赖 创造创造 挑战挑战(3)分段线性转移函数 0 x0f(x)= cx 0 0 xxc (4.9) 1 xc x f (x) 1.0 x0 xc人工神经元的转

35、移函数人工神经元的转移函数l神经元的输入与输出在一定区间内满足线性关系，模拟了实际系统中的饱和特性l也称为伪线性函数团结团结 信赖信赖 创造创造 挑战挑战(4)概率型转移函数x/Te11P(1)温度参数温度参数人工神经元的转移函数人工神经元的转移函数采用概率型转移函数的神经元模型其输入与输出之间的关系是不确定的，需用采用概率型转移函数的神经元模型其输入与输出之间的关系是不确定的，需用一个随机函数来描述输出状态为一个随机函数来描述输出状态为1 1或为或为0 0的概率。的概率。上式中，上式中，T T称为温度参数。由于采用该转移函数的神经元输出状态分布与热力称为温度参数。由于采用该转移函数的神经元输

36、出状态分布与热力学中的玻尔兹曼（学中的玻尔兹曼（BoltzmannBoltzmann）分布类似，因此这种神经元模型也称为热力学）分布类似，因此这种神经元模型也称为热力学模型。模型。团结团结 信赖信赖 创造创造 挑战挑战4.2.2 神经网络模型神经网络模型 分多层，层数根据实际需求设定：输入层分多层，层数根据实际需求设定：输入层、隐含层、输出层、隐含层、输出层 层数越多越准确，计算时间越长层数越多越准确，计算时间越长 人工神经元人工神经元图中的每个节点图中的每个节点团结团结 信赖信赖 创造创造 挑战挑战人工神经网络模型分类人工神经网络模型分类 按网络连接的拓扑结构分类按网络连接的拓扑结构分类 层

37、次型结构层次型结构 互连型网络结构互连型网络结构 按网络内部的信息流向分类按网络内部的信息流向分类 前馈型网络前馈型网络 反馈型网络反馈型网络团结团结 信赖信赖 创造创造 挑战挑战（一）网络拓扑结构类型（一）网络拓扑结构类型 层次型结构层次型结构将神经元按功能分成若干层，如输入层、中将神经元按功能分成若干层，如输入层、中间层（隐层）和输出层，各层顺序相连。间层（隐层）和输出层，各层顺序相连。 互连型网络结构互连型网络结构网络中任意两个节点之间都可能存在连接路网络中任意两个节点之间都可能存在连接路径径. .团结团结 信赖信赖 创造创造 挑战挑战层次型网络模型层次型网络模型 层次型结构的神经网络将

38、神经元按功能分成若干层，如输入层、中间层（也称为隐层）和输出层，各层顺序相连。 输入层输入层各神经元负责接收来自外界的输入信息，并传递给中间各隐层神经元；隐层隐层是神经网络的内部信息处理层，负责信息变换，根据信息变换能力的需要，隐层可为设计一层或多层； 最后一个隐层传递到输出层各神经元的信息经进一步处理后即完成一次信息处理，由输出层输出层向外界输出信息处理结果。 层次型网络结构有3种典型的结合方式。团结团结 信赖信赖 创造创造 挑战挑战 层次型模型层次型模型(1)(1)单纯型层次网络结构单纯型层次网络结构神经元分层排列，各层神经元分层排列，各层神经元接收前一层输入神经元接收前一层输入并输出到下

39、一层；并输出到下一层；层内神经元自身以及神层内神经元自身以及神经元之间不存在连接通经元之间不存在连接通路。路。团结团结 信赖信赖 创造创造 挑战挑战 层次型模型层次型模型（2）输出层到输入层有连接）输出层到输入层有连接输入层神经元既可输入层神经元既可接收输入，也具有接收输入，也具有信息处理功能信息处理功能团结团结 信赖信赖 创造创造 挑战挑战 层次型模型层次型模型（3）层内有连接层次型结构）层内有连接层次型结构同一层内神经元有互同一层内神经元有互连；连；特点是在同一层内引特点是在同一层内引入神经元间的侧向作入神经元间的侧向作用，使得能同时激活用，使得能同时激活的神经元个数可控，的神经元个数可控

40、，以实现各层神经元的以实现各层神经元的自组织。自组织。团结团结 信赖信赖 创造创造 挑战挑战 互联型网络结构互联型网络结构 网络中任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的网络中任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的互连程度将互连型网络结构细分为三种情况互连程度将互连型网络结构细分为三种情况：(1)(1)全互连型全互连型：网络中的每个节点均与所有其它节点连接网络中的每个节点均与所有其它节点连接团结团结 信赖信赖 创造创造 挑战挑战 互联型网络结构互联型网络结构（2 2）局部互连型网络结构）局部互连型网络结构网络中的每个节点只与网络中的每个节点只与其邻近的

41、节点有其邻近的节点有 连接连接（3 3）稀疏连接型：）稀疏连接型：网络中的节点只与少数相距网络中的节点只与少数相距较远的节点相连较远的节点相连 团结团结 信赖信赖 创造创造 挑战挑战说明：神经网络的分层结构说明：神经网络的分层结构 与激发函数一起决定了神经网络的不同与激发函数一起决定了神经网络的不同 还可分为还可分为 单级网单级网 多级网多级网 反馈网反馈网 循环网循环网 等等团结团结 信赖信赖 创造创造 挑战挑战简单单级网简单单级网x1x2xno1o2omwnmw11w1mw2mwn1输出层输出层输入层输入层团结团结 信赖信赖 创造创造 挑战挑战简单单级网简单单级网W=W=（w wijij）

42、输出层的第输出层的第j j个神经元的网络输入记为个神经元的网络输入记为netnetj j： netnetj j=x=x1 1w w1j1j+x+x2 2w w2j2j+x+xn nw wnjnj 其中其中, 1 j m, 1 j m。取。取NET=NET=（netnet1 1，netnet2 2，netnetm m）NET=XWNET=XWO=FO=F（NETNET）团结团结 信赖信赖 创造创造 挑战挑战单级横向反馈网单级横向反馈网输出层输出层x1o1w11w1mx2o2w2mxnomwn1输入层输入层V团结团结 信赖信赖 创造创造 挑战挑战单级横向反馈网单级横向反馈网 反馈权值矩阵反馈权值矩

43、阵 ：V=V=（v vijij） 神经元的网络输入：神经元的网络输入：NET=XW+OVNET=XW+OV 网络输出：网络输出：O=FO=F（NETNET） 反馈网中可以引入时间参数反馈网中可以引入时间参数神经元的状态在主时钟的控制下同步变化神经元的状态在主时钟的控制下同步变化NETNET（t+1t+1）=X=X（t t）W+OW+O（t t）V VO(t+1)=F(NET(t+1)O(t+1)=F(NET(t+1) O O（0 0）=0=0团结团结 信赖信赖 创造创造 挑战挑战多级网多级网输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn团结团结 信赖信赖 创造创造 挑战挑战 层次

44、划分层次划分 信号只被允许从较低层流向较高层。信号只被允许从较低层流向较高层。层号确定层的高低：层号较小者，层次较低，层号较层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。大者，层次较高。输入层：被记作第输入层：被记作第0 0层。该层负责接收来自网络外部的层。该层负责接收来自网络外部的信息信息输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn多级网多级网团结团结 信赖信赖 创造创造 挑战挑战第第j j层：第层：第j-1j-1层的直接后继层（层的直接后继层（j0j0），它直接接受第），它直接接受第j-1j-1层层的输出。的输出。输出层：它是网络的最后一层，具有该网络的最大

45、层号，负输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。责输出网络的计算结果。隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号层不直接接受外界的信号，也不直接向外界发送信号输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn多级网多级网团结团结 信赖信赖 创造创造 挑战挑战 约定约定 : :输出层的层号为该网络的层数：输出层的层号为该网络的层数：n n层网络，或层网络，或n n级级网络。网络。第第j-1j-1层到第层到第j j层的联接矩阵为第层的联接矩阵为第j

46、 j层联接矩阵，层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用需要的时候，一般我们用W W（j j）表示第表示第j j层矩阵层矩阵。输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)多级网多级网团结团结 信赖信赖 创造创造 挑战挑战多级网多级网h层网络层网络输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)团结团结 信赖信赖 创造创造 挑战挑战多级网多级网 非线性激活函数 F(X)=kX+CF(X)=kX+C 每层的网络输出举例F F1 1

47、(XW(XW(1)(1) )F F3 3(F(F2 2(F(F1 1(XW(XW(1)(1)W)W(2)(2)W)W(3)(3) )团结团结 信赖信赖 创造创造 挑战挑战循环网循环网x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn团结团结 信赖信赖 创造创造 挑战挑战循环网循环网 将输出信号反馈到输入端将输出信号反馈到输入端 输入的原始信号被逐步地输入的原始信号被逐步地“加强加强”、被、被“修复修复” 符合大脑的符合大脑的短期记忆特征短期记忆特征看到的东西不是一下子就从脑海里消失的看到的东西不是一下子就从脑海里消失的 网络的稳定性网络的稳定性反馈信号会引起网络输出的不断变化反馈信号

48、会引起网络输出的不断变化我们希望这种变化逐渐减小，并且最后能消失我们希望这种变化逐渐减小，并且最后能消失当变化最后消失时，网络达到了平衡状态。如当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的果这种变化不能消失，则称该网络是不稳定的。团结团结 信赖信赖 创造创造 挑战挑战（二）网络信息流向类型（二）网络信息流向类型 前馈型网络前馈型网络 前馈前馈:网络信息处理的方向是从输入层到各隐层再到网络信息处理的方向是从输入层到各隐层再到输出层逐层进行输出层逐层进行 反馈型网络反馈型网络 在反馈网络中所有节点都具有信息处理功能，而且在反馈网络中所有节点都具有信息处理功能，而

49、且每个节点既可以从外界接收输入，同时又可以向外每个节点既可以从外界接收输入，同时又可以向外界输出。界输出。团结团结 信赖信赖 创造创造 挑战挑战 （二）网络信息流向类型（二）网络信息流向类型（1）前馈型网络）前馈型网络前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名团结团结 信赖信赖 创造创造 挑战挑战 单纯前馈型（上图）从信息处理能力看，网络中的节点可分为两种 一种是输入节点，只负责从外界引入信息后向前传递给第一隐层； 另一种是具有处理能力的节点，包括各隐层和输出层节点。前馈网络中一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网

50、络很容易串联起来建立多层前馈网络。团结团结 信赖信赖 创造创造 挑战挑战 多层前馈网络可用一个有向无环路有向无环路的图表示输入层常记为网络的第一层，第一个隐层记为网络的第二层，其余类推。所以，当提到具有单层计算神经元的网络时，指的应是一个两层前馈网络（输入层和输出层）当提到具有单隐层的网络时，指的应是一个三层前馈网络团结团结 信赖信赖 创造创造 挑战挑战 （二）网络信息流向类型（二）网络信息流向类型（2）反馈型网络）反馈型网络在反馈网络中所有节点在反馈网络中所有节点都具有信息处理功能，都具有信息处理功能，而且每个节点既可以从而且每个节点既可以从外界接收输入，同时又外界接收输入，同时又可以向外界