第七章机器学习课件.ppt

1、第七章 机器学习7.1 机器学习的定义、研究意义与发展历史机器学习的定义、研究意义与发展历史 7.2 机器学习的主要策略与基本结构机器学习的主要策略与基本结构7.3 7.7 几种常用的学习方法几种常用的学习方法7.8 知识发现知识发现7.9 小结小结 7.1 机器学习的定义和发展历史l学习学习 l 学习就是系统在不断重复的工作中对本身能力的增强或者改进，使得系统在下一次执行同样任务或类似任务时，会比现在做得更好或效率更高。（人工智能大师西蒙的观点）学习的主要表现：学习的主要表现：1.获得新知识获得新知识2.从感性认识发展到理性认识从感性认识发展到理性认识3.通过反复实践通过反复实践对学习的对学

2、习的4种理解：种理解：1.学习是一个系统改进其自身性能的任何过程。学习是一个系统改进其自身性能的任何过程。2.学习是获取明显知识的过程学习是获取明显知识的过程3.学习是技巧的获取学习是技巧的获取4.学习是理论、假说的形成过程学习是理论、假说的形成过程学习的一般模式普通理论深层知识表层知识领域专家知识知识的组织程度从学校和书本学习领域无关的定义、基本公式、公理、定律从师傅学习领域有关的事实、经验知识、诀窍、技能无知识7.1.1 机器学习的定义机器学习的定义机器学习的定义机器学习的定义 顾名思义顾名思义,机器学习是研究如何使用机器来模机器学习是研究如何使用机器来模拟人类学习活动的一门学科。拟人类学

3、习活动的一门学科。稍为严格的提法是：机器学习是一门研究机稍为严格的提法是：机器学习是一门研究机器获取新知识和新技器获取新知识和新技 能能,并识别现有知识的学问。并识别现有知识的学问。7.1.2机器学习的发展史机器学习的发展分为机器学习的发展分为4 4个时期个时期l第一阶段是在第一阶段是在5050年代中叶到年代中叶到6060年代中叶，属于年代中叶，属于热烈时期。热烈时期。l第二阶段在第二阶段在6060年代中叶至年代中叶至7070年代中叶，被称为年代中叶，被称为机器学习的冷静时期。机器学习的冷静时期。l第三阶段从第三阶段从7070年代中叶至年代中叶至8080年代中叶，称为复年代中叶，称为复兴时期。

4、兴时期。l机器学习的最新阶段始于机器学习的最新阶段始于19861986年年 。l机器学习进入新阶段的表现机器学习进入新阶段的表现机器学习机器学习已成为新的边缘学科并在高校形成课程。已成为新的边缘学科并在高校形成课程。综合各种学习方法综合各种学习方法 机器学习与人工智能问题的统一性观点正在形成。机器学习与人工智能问题的统一性观点正在形成。各种学习方法的应用范围不断扩大。各种学习方法的应用范围不断扩大。数据挖掘和知识发现的研究已形成热潮数据挖掘和知识发现的研究已形成热潮 。与机器学习有关的学术活动空前活跃与机器学习有关的学术活动空前活跃 。2.机器学习的分类机器学习的分类 目前常用的分类方法：目前

5、常用的分类方法：机械式学习机械式学习指导式学习指导式学习示例学习示例学习类比学习类比学习解释学习解释学习基于演绎的学习基于演绎的学习基于归纳的学习基于归纳的学习归纳学习归纳学习分析学习分析学习连接学习连接学习遗传算法遗传算法(1)按学习方法分类按学习方法分类(2)按推理方式分类按推理方式分类(3)按综合属性分类按综合属性分类7.2 机器学习的主要策略和基本结构 7.2.1 机器学习的主要策略机器学习的主要策略 按照学习中使用推理的多少，机器学习所采用的策按照学习中使用推理的多少，机器学习所采用的策略大体上可分为略大体上可分为4 4种种机械学习、通过传授学习、机械学习、通过传授学习、类比学习和通

6、类比学习和通过事例学习。过事例学习。机械学习机械学习传授学习策略传授学习策略类比学习系统类比学习系统通过通过事例学习策略事例学习策略7.2.2 机器学习系统的基本结构机器学习系统的基本结构 1.学习系统的基本结构 环环 境境学学 习习知识库知识库执执 行行图图7.1 7.1 学习系统的基本结构学习系统的基本结构根据西蒙的学习定义，可建立起上图所示的简单学习模型。根据西蒙的学习定义，可建立起上图所示的简单学习模型。环境环境向系统的学习部分提供信息；学习学习利用信息修改知识库，以增进系统执行部分完成任务的效能；知识库知识库存放指导执行部分动作的一般原则；执行执行根据知识库完成任务，并把所获信息反馈

7、学习部分。2.2.影响学习系统设计的要素影响学习系统设计的要素l影响学习系统设计的最重要因素是环影响学习系统设计的最重要因素是环境向系统提供的信息，或者更具体地境向系统提供的信息，或者更具体地说是信息的质量说是信息的质量。l知识库是影响学习系统设计的第二个知识库是影响学习系统设计的第二个因素。因素。知识的表示有特征向量、一阶知识的表示有特征向量、一阶逻辑语句、产生式规则、语义网络和逻辑语句、产生式规则、语义网络和框架等多种形式。框架等多种形式。7.3 7.3 机械学习机械学习1.1.机械学习模式机械学习模式 机器学习是最简单的学习方法，也是一种最基本机器学习是最简单的学习方法，也是一种最基本的

8、学习过程。的学习过程。机器学习就是记忆，即把新的知识存储起来，机器学习就是记忆，即把新的知识存储起来，供需要时检索调用，而不需要计算和推理。供需要时检索调用，而不需要计算和推理。l可把机械学习系统的执行部分抽象地看成某个函数，机械学习在存储器中简单地记忆存储对(X1,X2,Xn),(Y1,Y2,Yp)。当需要f(X1,X2,Xn)时,执行部分就从存储器中把(Y1,Y2,Yp)简单地检索出来而不是重新计算它。这种简单的学习模式如下：存储存储计算计算推导推导归纳归纳算法与理论算法与理论机械记忆机械记忆搜索规则搜索规则图图7.2 7.2 数据化简级别图数据化简级别图 LenatLenat，Hayes

9、-RothHayes-Roth，和，和KlahrKlahr等人于等人于19791979年关于机械学习提出一种有年关于机械学习提出一种有趣的观点，见图趣的观点，见图7.27.2。机械学习就是记忆；机械学习就是记忆；学习元所做的工作仅仅是存储新的知识；学习元所做的工作仅仅是存储新的知识；需要时检索出来即可。需要时检索出来即可。例如：例如：某个计算的输入是：某个计算的输入是：(x1,x2,xn)，计算后输出是：计算后输出是：(y1,y2,yn),如果经评价后得知该结果正确，则把联想对如果经评价后得知该结果正确，则把联想对:(x1,x2,xn),(y1,y2,yn)存入存入知识库，当以后需要知识库，当

10、以后需要做同样的计算时，只要从知识库中检索出来即可，而不需要重新计算了。做同样的计算时，只要从知识库中检索出来即可，而不需要重新计算了。(2)利弊利弊 机械式学习实质上是用存储空间来换取处理时间，虽然节省了计算时间，但却机械式学习实质上是用存储空间来换取处理时间，虽然节省了计算时间，但却多占了存储空间。当因学习而积累的知识逐渐增多时，占用的空间就会越来越大，检多占了存储空间。当因学习而积累的知识逐渐增多时，占用的空间就会越来越大，检索的效率也就随之下降。索的效率也就随之下降。2.2.机械学习的主要问题机械学习的主要问题存储组织信息存储组织信息：要采用适当的存储方式，使要采用适当的存储方式，使检

11、索速度尽可能地快。检索速度尽可能地快。环境的稳定性与存储信息的适用性问题：环境的稳定性与存储信息的适用性问题：机械学习系统必须保证所保存的信息适机械学习系统必须保证所保存的信息适应于应于外界环境变化的需要。外界环境变化的需要。存储与计算之间的权衡：对于机存储与计算之间的权衡：对于机械学习来说械学习来说很重要的一点是它不能降低系统的效率。很重要的一点是它不能降低系统的效率。7.4 归纳学习归纳学习（归纳学习（induction learning）是应用归纳推理进行学习的一种方法。）是应用归纳推理进行学习的一种方法。根据归纳学习有无教师指导，可把它分为示例学习和观察与发现学习。根据归纳学习有无教师

12、指导，可把它分为示例学习和观察与发现学习。环境提供的环境提供的信息是关于实际例子的输入与输出描述；信息是关于实际例子的输入与输出描述；输入数据、输出结果规定了一个特殊的知识原则输入数据、输出结果规定了一个特殊的知识原则(特殊知识特殊知识);学习元从这些特殊知识中假设和归纳出一般性知识。学习元从这些特殊知识中假设和归纳出一般性知识。7.4.1 归纳学习的模式和规则归纳学习的模式和规则 归纳学习的模式归纳学习的模式 解释过程 实例空间 规则空间 规划过程 归纳学习包括示例学习和观察发现学习。归纳学习包括示例学习和观察发现学习。1.1.归纳推理归纳推理（1 1）归纳推理是应用归纳方法所进行的推理，即

13、从足够多）归纳推理是应用归纳方法所进行的推理，即从足够多的事例中归纳出一般性的知识，它是一种从个别到一般的的事例中归纳出一般性的知识，它是一种从个别到一般的推理。推理。常用的归纳推理方法有：常用的归纳推理方法有：枚举归纳枚举归纳 联想归纳联想归纳 类比归纳类比归纳 .枚举归纳枚举归纳 设设a1,a2,是某类事物是某类事物 A 中的具体事物，若已知中的具体事物，若已知 a1,a2,an 都有属性都有属性 P,并且没有发生反例，当并且没有发生反例，当 n 足够大时，就可得出足够大时，就可得出“A 中所有事物都有属性中所有事物都有属性 P”的结论。的结论。这是一种从个别事例归纳出一般性知识的方法，这

14、是一种从个别事例归纳出一般性知识的方法，“A 中所中所有事物都有属性有事物都有属性 P”是通过归纳得到的新知识。是通过归纳得到的新知识。例如：设有如下已知事例：例如：设有如下已知事例：张三是足球运动员，他的体格健壮。张三是足球运动员，他的体格健壮。李四是足球运动员，他的体格健壮。李四是足球运动员，他的体格健壮。赵十是足球运动员，他的体格健壮。赵十是足球运动员，他的体格健壮。当事例足够多时，就可归纳出一个一般性知识：当事例足够多时，就可归纳出一个一般性知识：凡是足球运动员，他的体格一定健壮。凡是足球运动员，他的体格一定健壮。考虑到可能会出现反例，可给这条知识增加一个可信度：考虑到可能会出现反例，

15、可给这条知识增加一个可信度：凡是足球运动员，他的体格一定健壮凡是足球运动员，他的体格一定健壮 （0.95）。）。.联想归纳联想归纳 若已知两个事物若已知两个事物 a 与与 b 有有 n 个属性相同或相似个属性相同或相似，即：，即：a 具有属性具有属性 P1，b也有属性也有属性 P1 a 具有属性具有属性 P2，b也有属性也有属性 P2 。a 具有属性具有属性 Pn，b也有属性也有属性 Pn 并且还发现，并且还发现，a 具有属性具有属性 Pn+1，则当，则当 n 足够大时，可归纳出：足够大时，可归纳出：b 也有属性也有属性 Pn+1 这一新知识。这一新知识。例如：通过观察发现，两个孪生兄弟都有相

16、同的身高、体重、例如：通过观察发现，两个孪生兄弟都有相同的身高、体重、相貌，相貌，都喜欢唱歌、跳舞，且喜欢吃相同的食物，而且发现其中都喜欢唱歌、跳舞，且喜欢吃相同的食物，而且发现其中一人喜欢画山水画，虽然我们没有看到另一个也喜欢画山水画，一人喜欢画山水画，虽然我们没有看到另一个也喜欢画山水画，但我们很容易联想到另一个但我们很容易联想到另一个“也喜欢画山水画也喜欢画山水画”，这就是联想归，这就是联想归纳。纳。由于联想归纳是一种主观不充分置信推理，因而经归纳得出由于联想归纳是一种主观不充分置信推理，因而经归纳得出的结论的结论 可能会有错误。可能会有错误。2 2 归纳概括规则归纳概括规则取消部分条件

17、l放松条件CTXSKCTXK12()CTXKCTXCTXKl沿概念树上溯 S为所有条件中的L值在概念分层树上最近的共同祖先，这是一种从个别推论总体的方法。.CTXLaKCTXLbKCTXLSKCTXLiKl形成闭合区域 L为具有线性关系的描述项，a,b是其特殊值。S表示a,b范围内的值。CTXLaKCTXLbKCTXLSKl将常量转化成变量 这种规则仅从事例中提取各个描述项之间的某种相互关系，而忽略其他关系信息。(,)(,).(,)(,)(,).(,)F A ZF B ZF I ZKF a xF b xF i xK3 示例学习（示例学习（Learning by Examples）示例学习是通过

18、从环境中取得若干与某概念有关的例子，经示例学习是通过从环境中取得若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。归纳得出一般性概念的一种学习方法。示例学习又称为实例学习。是通过从环境中取得若干与某概念有关示例学习又称为实例学习。是通过从环境中取得若干与某概念有关的例子，经归纳得出一般性概念的一种学习方法。的例子，经归纳得出一般性概念的一种学习方法。在这种学习方法中，外部环境（教师）提供的是一组例子在这种学习方法中，外部环境（教师）提供的是一组例子（正例和反例），这些例子实际上是一组特殊的知识，每一个例（正例和反例），这些例子实际上是一组特殊的知识，每一个例子表达了仅适用于该例子的知

19、识，示例学习就是要从这些特殊知子表达了仅适用于该例子的知识，示例学习就是要从这些特殊知识中归纳出适合于更大范围的一般性知识。识中归纳出适合于更大范围的一般性知识。例如：我们用一批动物作为示例，并且告诉学习系统哪例如：我们用一批动物作为示例，并且告诉学习系统哪一个动物是一个动物是“马马”，哪一个动物不是，当示例足够多，哪一个动物不是，当示例足够多时，学习系统就能概括时，学习系统就能概括 出关于出关于“马马”的概念模型，使的概念模型，使自己能识别自己能识别“马马”。这一学习过程就是示例学习。这一学习过程就是示例学习。例如：例如：假设示例空间存放有如下的三个示例：假设示例空间存放有如下的三个示例：示

20、例示例1：（：（0，2，7）示例示例2：（：（6，-1，10）示例示例3：（-1，-5，-16）这是三个三维向量，表示空间中的三个点。现要求求这是三个三维向量，表示空间中的三个点。现要求求出过这三个点的曲线。出过这三个点的曲线。对于这一问题可采用通常的曲线拟合技术，归纳出规对于这一问题可采用通常的曲线拟合技术，归纳出规则则:（x,y,2x+3y+1）即）即z=2x+3y+1.示例学习的学习模型示例学习的学习模型 其学习过程是：其学习过程是：首先从示例空间（环境）中选择合适的训练示例，首先从示例空间（环境）中选择合适的训练示例，然后经过然后经过 解释归纳出一般性的知识，最后再从示例空间中选择更多

21、解释归纳出一般性的知识，最后再从示例空间中选择更多的示例对它进行验证，直到得到可实用的知识为止。的示例对它进行验证，直到得到可实用的知识为止。.常用的归纳算法常用的归纳算法 强化强化/弱化算法：弱化算法：用于归纳产生式规则：学习元的输出为规则；用于归纳产生式规则：学习元的输出为规则；强化指使规则前提取值范围加大：扩大范围；强化指使规则前提取值范围加大：扩大范围；弱化指使规则前提取值范围变小：缩小范围；弱化指使规则前提取值范围变小：缩小范围；验证验证示例空间示例空间搜索搜索解释解释形成知识形成知识知识库知识库找一个规则模式找一个规则模式用实例匹配用实例匹配 判断规则前提范围大？判断规则前提范围大

22、？弱化前提弱化前提强化前提强化前提获取一般性规则获取一般性规则Stop 判断规则前提范围小？判断规则前提范围小？YYNN4.4.观察与发现学习观察与发现学习 观察与发现学习分为观察学习与机器发现两种。前者用于对事例进行概念聚类，形成概念描述；后者用于发现规律，产生定律或规则。(1)(1)概念聚类概念聚类 把事例按一定的方式和准则进行分组，使不同的组代表不同的概念，并且对每一个组进行特征概括，得到一个概念的语义符号描述。例如，用K次平均算法实现概念聚类。(2)(2)机器发现机器发现经验发现从经验数据中发现规律和定律；知识发现从观察的事例中发现新的知识。7.5 类比学习7.5.1 类比推理和类比学

23、习方式类比推理和类比学习方式 类比学习（类比学习（learning by analogy）就是通过类比，即）就是通过类比，即通过对相似事物加以比较所进行的一种学习通过对相似事物加以比较所进行的一种学习。类比推理是由新情况（类比推理是由新情况（T）与已知情况（）与已知情况（S）在某些方）在某些方面的相似，来推出它们在其他相关方面的相似。面的相似，来推出它们在其他相关方面的相似。其推理过程如下其推理过程如下 ：回忆与联想回忆与联想-选择选择 -建立对应关系建立对应关系-转换转换 1.1.类比推理过程类比推理过程(1)(1)回忆与联想回忆与联想 通过回忆与联想，在通过回忆与联想，在S S中找出与当前

24、情况相似的情况，这些情况是过中找出与当前情况相似的情况，这些情况是过去已经处理过的，有现成的解决方法及相关的知识。去已经处理过的，有现成的解决方法及相关的知识。(2)(2)选择选择 从找出的相似情况中选出与当前情况最相似的情况及其有关知识，从找出的相似情况中选出与当前情况最相似的情况及其有关知识，以便提高推理的可靠性。以便提高推理的可靠性。(3)(3)建立对应关系建立对应关系 在在S S与与T T的相似情况之间建立相似元素的对应关系，并建立起相应的映射。的相似情况之间建立相似元素的对应关系，并建立起相应的映射。(4)(4)转换转换 根据映射，把根据映射，把S S中的有关知识引到中的有关知识引到

25、T T中来，从而建立起求解当前问题的方中来，从而建立起求解当前问题的方法或者学习到关于法或者学习到关于T T的新知识。的新知识。类比学习：类比学习：指在几个对象（实体）间检测相似性；指在几个对象（实体）间检测相似性；根据一方对象（实体）所具有的事实和知识，推出相似对象所具根据一方对象（实体）所具有的事实和知识，推出相似对象所具有的事实与知识；有的事实与知识；环境提供相关领域知识（与当前所学习的问题间有相似性）环境提供相关领域知识（与当前所学习的问题间有相似性）;学习元找出相似性并得出相似准则学习元找出相似性并得出相似准则/知识。知识。2 类比推理类比推理 类比学习的基础是类比推理。类比学习的基

26、础是类比推理。所谓类比推理是指：所谓类比推理是指：由新情况与记忆中的已知情况在某些方面相似，从而推出它由新情况与记忆中的已知情况在某些方面相似，从而推出它们在其它方面也相似。们在其它方面也相似。类比推理是在两个相似域之间进行的：类比推理是在两个相似域之间进行的：一个是已经认识的域，它包括过去曾经解决过且与当前待解一个是已经认识的域，它包括过去曾经解决过且与当前待解决问题类似的问题以及相关知识，称为源域，记做决问题类似的问题以及相关知识，称为源域，记做 S；另一个是当前尚未完全认识的域，它是遇到的新问题，称为目另一个是当前尚未完全认识的域，它是遇到的新问题，称为目标域，记做标域，记做 T；类比推

27、理的目的是：类比推理的目的是：从从 S 中选出与当前问题最近似的问题及其求解方法来求解当中选出与当前问题最近似的问题及其求解方法来求解当前问题，或者建立起目标域中已有命题间的联系，形成新知识。前问题，或者建立起目标域中已有命题间的联系，形成新知识。3.3.通过类比推理实现学习的步骤通过类比推理实现学习的步骤(1)(1)找出源域与目标域的相似性质找出源域与目标域的相似性质P P，找出源域中另一个性质，找出源域中另一个性质Q Q和性质和性质P P对元素对元素a a的关系：的关系：P(a)Q(a)P(a)Q(a)。(2)(2)在源域中推广在源域中推广P P和和Q Q的关系为一般关系，即对于所有变量的

28、关系为一般关系，即对于所有变量x x来说，存来说，存在在P(x)Q(x)P(x)Q(x)。(3)(3)从源域和目标域映射关系，得到目标域的新性质，即对于目标域的从源域和目标域映射关系，得到目标域的新性质，即对于目标域的所有变量所有变量x x来说，存在来说，存在P(x)Q(xP(x)Q(x)。(4)(4)利用假言推理：利用假言推理：P(bP(b)，P(x)Q(x)Q(bP(x)Q(x)Q(b)，最后得出，最后得出b b具有性质具有性质Q Q。（符号（符号表示类比推理）表示类比推理）类比学习实际上是演绎学习和归纳学习的组合。步骤类比学习实际上是演绎学习和归纳学习的组合。步骤(2)是一个归纳过程，即

29、从个别现象推断出一般规律；而是一个归纳过程，即从个别现象推断出一般规律；而步骤步骤(4)则是一个演绎过程，即从一般规律找出个别现象。则是一个演绎过程，即从一般规律找出个别现象。例例 学生做习题时，往往在例题和习题之间进行对比，以发学生做习题时，往往在例题和习题之间进行对比，以发现相似之处，然后利用这种相似关系解决习题中的问题。现相似之处，然后利用这种相似关系解决习题中的问题。7.5.2 类比学习过程与研究类型l类比学习主要包括如下四个过程：类比学习主要包括如下四个过程：1.输入一组已知条件和一组未完全确定的条输入一组已知条件和一组未完全确定的条件件。2.对两组出入条件寻找其可类比的对应关系。对

30、两组出入条件寻找其可类比的对应关系。3.根据相似转换的方法，进行映射。根据相似转换的方法，进行映射。4.对类推得到的知识进行校验。对类推得到的知识进行校验。l类比学习的研究可分为两大类类比学习的研究可分为两大类：(1)问题求解型的类比学习问题求解型的类比学习 (2)预测推定型的类比学习。它又分为两种预测推定型的类比学习。它又分为两种方式方式：一是传统的类比法一是传统的类比法 另一是因果关系型的类比另一是因果关系型的类比 7.6 解释学习7.6.1 解释学习过程和算法解释学习过程和算法 19861986年米切尔（年米切尔（MitchellMitchell）等人为基于解释的）等人为基于解释的学习提

31、出了一个统一的算法学习提出了一个统一的算法EBGEBG：训练例子 操作准则 知识库 新规则 目标概念 解释学习根据任务所在领域知识和正在学习的概念知识，对当前实例解释学习根据任务所在领域知识和正在学习的概念知识，对当前实例进行分析和求解，得出一个表征求解过程的因果解释树，以获取新的知识。进行分析和求解，得出一个表征求解过程的因果解释树，以获取新的知识。l解释学习步骤解释学习步骤 利用基于解释的方法对训练实例进行分析与解释，以说明它是目标概念利用基于解释的方法对训练实例进行分析与解释，以说明它是目标概念的一个实例。的一个实例。对实例的结构进行概括性解释，建立该训练实例的一个解释结构以满足对实例的

32、结构进行概括性解释，建立该训练实例的一个解释结构以满足所学概念的定义；解释结构的各个叶结点应符合可操作性准则，且使这种所学概念的定义；解释结构的各个叶结点应符合可操作性准则，且使这种解释比最初的例子适用于更大的一类例子。解释比最初的例子适用于更大的一类例子。从解释结构中识别出训练实例的特性，并从中得到更大一类例子的概括从解释结构中识别出训练实例的特性，并从中得到更大一类例子的概括性描述，获取一般控制知识。性描述，获取一般控制知识。EBG求解问题的形式可描述于下:给定：给定：(1)目标概念描述目标概念描述TC；(2)训练实例训练实例TE；(3)领域知识领域知识DT；(4)操作准则操作准则OC。求

33、解：求解：训练实例的一般化概括，使之满足：训练实例的一般化概括，使之满足：(1)目标概念的充分概括描述目标概念的充分概括描述TC；(2)操作准则操作准则OC。7.7 神经学习神经学习7.7.1 基于反向传播网络的学习基于反向传播网络的学习 反向传播（反向传播（back-propagation,BP）算法是一）算法是一种计算单个权值变化引起网络性能变化值的较种计算单个权值变化引起网络性能变化值的较为简单的方法。为简单的方法。BP算法过程包含从输出节点算法过程包含从输出节点开始，反向地向第一隐含层传播由总误差引起开始，反向地向第一隐含层传播由总误差引起的权值修正。的权值修正。神经网络的组成与特性神

34、经网络的组成与特性1.1.生理神经元结构与功能生理神经元结构与功能(1)(1)生理神经元的结构生理神经元的结构2.2.人工神经元组成与数学描述人工神经元组成与数学描述 人工神经元是根据生物神人工神经元是根据生物神经网络研究成果，用数学加以经网络研究成果，用数学加以抽象和简化，在计算机上模拟抽象和简化，在计算机上模拟生物神经元。生物神经元。(1)(1)人工神经元（人工神经元（ANNANN）组成）组成 wji xix2 wj2x1 wj1 -1 f().oj(2)ANN(2)ANN的数学描述的数学描述 令来自其它处理单元(神经元)i的信息为xi，它们与本处理单元的互相作用强度为wi，i=0,1,，

35、n-1，处理单元的内部阈值为。那么本神经元的输入如左式所示，处理单元的输出如右式所示：11 00 o=f()nniiiiiiw xw x(2)ANN(2)ANN的数学描述的数学描述 f称为激励函数或作用函数。它决定节点的输出。该输出为1或0取决于其输入之和大于或小于内部阈值。其中图(c)表示sigmoid函数。wji xix2 wj2x 1 wj1x0 wj0 .Sigmoid函数 11onete10ni iinetwx 若f()取为sigmoid函数，则ANN如下图所示：(为了表达方便起见，将内部阈值部分与输入部分统一表示）l若取 w0=w1=101，则12，则 1 0()0 0 xf xx

36、 w1 x1 x0 w0 -1 f()o01oxx01oxx7.7.1 基于基于BP网络（反向传播网络）的学习网络（反向传播网络）的学习1.BP网络的结构 BP网络由一个输入层，一个输出层，以及若干隐层组成。每一层神经元的状态只影响下一层神经元。还可对每个神经元设置阈值。1 -21 111x0 x1o-1 0.5-1 0.5 -11.5例2 设有如下设有如下BP神经网络，神经网络，输入为逻辑值。隐层神经元及输入为逻辑值。隐层神经元及输出层神经元的激励函数与例输出层神经元的激励函数与例1同。问该神经网络能实现何逻同。问该神经网络能实现何逻辑功能？辑功能？2.BP2.BP网络的基本原理网络的基本原

37、理 通过一组样例，对网络进行训练，以得到一组符合条通过一组样例，对网络进行训练，以得到一组符合条件的网络权值。每一样例包括输入向量，及其对应的期件的网络权值。每一样例包括输入向量，及其对应的期望输出望输出(实际输出实际输出)向量。向量。l 输入信息经各隐层逐层处理后，传至输出层。这一过程输入信息经各隐层逐层处理后，传至输出层。这一过程称为前向传播。称为前向传播。l 如果在输出层得不到期望输出，则把误差沿原连接路径如果在输出层得不到期望输出，则把误差沿原连接路径返回，并通过修改各层神经元的权值，使误差信号最小。返回，并通过修改各层神经元的权值，使误差信号最小。这一过程称为反向传播这一过程称为反向

38、传播 。3.BP3.BP网络的学习算法网络的学习算法1 1）初始化所有的网络权值为小的随机值）初始化所有的网络权值为小的随机值2 2）在遇到终止条件前）在遇到终止条件前#做以下工作：做以下工作：（1 1）前向传播。对于每个训练样例）前向传播。对于每个训练样例（X X为输入为输入向量，向量，T T为期望输出向量为期望输出向量 ），把输入沿前向传播。），把输入沿前向传播。（1 1）前向传播）前向传播 ANN激励函数的输入输入(以下简称节点输入)ANN的输出输出(以下简称节点输出)11()()(1)0lNllliikkknetwo()()()1()1lilliinetof nete（1 1）前向传播

39、）前向传播上标表示神经网络的层次序号（=1,2,M），M层为输出层；当 =1时，表示整个神经网络的第k个输入值；表示第 层的神经元个数；单下标表示某层次中的神经元的序号；表示第 -1层神经元k，到第 层神经元i的权值。ll(1)lkolN()li kwllll3.BP3.BP网络的学习算法网络的学习算法1）初始化所有的网络权值为小的随机值2）在遇到终止条件前做以下工作：（1）前向传播。对于每个训练样例，把输入沿前向传播。(2)(2)误差沿网络反向传播。误差沿网络反向传播。(2)(2)反向传播反向传播 对输出层的第k个单元，计算其误差项：t tk k 表示整个神经网络的第k个输出单元的期望输出期

40、望输出。()()()()(1)()MMMMkkkkkooto(2)(2)反向传播反向传播 对于第 （M）层的单元h，计算其误差项:表示上一层单元数。表示第 层第h单元，到 +1层第k单元的权值。lll1()1()()(1)(1)0(1)llhNllllhhk hkkoow1lN(1)lkhwll(2)(2)反向传播反向传播 对于第 （M）层的单元h，计算其误差项:表示上一层各单元误差 ，以及这些单元与本单元之间权值 的乘积之总和。lll1()1()()(1)(1)0(1)llhNllllhhk hkkoow11(1)(1)0lNllkhkkw(1)lk(1)lkhw3.BP3.BP网络的学习算

41、法网络的学习算法1）初始化所有的网络权值为小的随机值2）在遇到终止条件前做以下工作：（1）前向传播。对于每个训练样例，把输入沿前向传播。(2)误差沿网络反向传播。(3)(3)更新权值更新权值(3)(3)更新权值更新权值 是一个正的常数，称为学习速率。()()()(1)ijlllljiijwwo4.BP网络学习算法举例例3 右图为由sigmoid神经元构成的BP神经网络（设每个神经元的阈值均为0），所标数值为初始权值。当输入矢量为（1，1）时，期望输出为1，如果学习速率取为0.1，请写出用BP学习算法一次迭代后的权值，要求写出过程。-0.050.20.050.10.250.15x0 x1o(1)

42、(1)前向传播前向传播l第0层（输入层）：(0)(0)01011,o1oxx(1)前向传播l第1层（隐层）：(1)0(1)11(1)(1)(0)(1)(0)(1)(0)000 000 1101(1)(1)(0)(1)(0)(1)(0)111 001 110(1)00.35(1)10.1 1 0.25 1 0.350.15 1 0.05 1 0.20110.586611111kkkkkknetnetnetwowowonetwowowooeeoe 0.200.54981 e(1)前向传播l第2层（输出层）：(2)01(2)(2)(1)(2)(1)(2)(1)000 000 110(2)00.089

43、8 0.2 0.5866(0.05)0.54980.0898110.515011kkknetnetwowowooee(2)(2)反向传播反向传播l第第2 2层（输出层）：层（输出层）：(2)(2)(2)(2)00000(1)()0.5150(1 0.5150)(1 0.5150)0.1211ooto(2)反向传播l第1层（隐层）：0(1)(1)(1)(2)(2)(1)(1)(2)(2)0000000 0000(1)(1)(1)(2)(2)(1)(1)(2)(2)1111110 100(1)(1)0.5866(1 0.5866)0.2 0.12110.0059(1)(1)0.5498(1 0.5

44、498)(0.05kkkkkkoowoowoowoow)0.12110.0015(2)反向传播l第0层（输入层）：1(0)(0)(0)(1)(1)(0)(0)(1)(1)(1)(1)0000000 001 0101(0)(0)(0)(1)(1)(0)(0)(1)(1)(1)1111110 101 10(1)(1)()1(1 1)(0.1 0.0059 0.15(0.0015)0(1)(1)(kkkkkkoowoowwoowooww(1)1)1(1 1)(0.25 0.0059 0.05(0.0015)0(3)(3)更新权值更新权值(1)(1)(1)(0)0 00 000(1)(1)(1)(0)

45、0 10 101(1)(1)(1)(0)1 01 010(1)(1)(1)(0)1 11 1110.1 0.1 0.0059 1 0.10060.25 0.1 0.0059 1 0.25060.15 0.1(0.0015)1 0.14980.05 0.1(0.0wwowwowwowwo (2)(2)(2)(1)0 00 000(2)(2)(2)(1)0 10 101015)1 0.04980.2 0.1 0.1211 0.58660.2071(0.05)0.1 0.1211 0.54980.0433wwowwo 反向传播和权值更新前后的反向传播和权值更新前后的BP神经网络对比：神经网络对比：-

46、0.050.20.050.10.250.15x0 x1o-0.04330.20710.04980.10060.25060.1498x0 x1o5.BP5.BP网络学习算法的关键和有待解决的问题网络学习算法的关键和有待解决的问题1）最终的权值应是各个样例训练结果的某种统计值 例如，设有样例(k=1,2,n)，则其权值可通过下式给出：1()()01()nlljij ikwwkn2）训练的终止条件(1)权值更新迭代的次数达到设定值时 该设定值应适当，否则将达不到训练目的，或因对于样例的过度拟合而造成对于其它实例泛化精度的降低。(2)(2)在训练样例上的误差降到设定的允许误差时在训练样例上的误差降到设

47、定的允许误差时 训练样例训练样例d d的误差可以通过对网络中所有输出单的误差可以通过对网络中所有输出单元的求和得到：元的求和得到：(3)(3)在分离的验证样例集合上的误差符合某个标准在分离的验证样例集合上的误差符合某个标准时。时。与与(2)(2)不同的是，这种方法使用训练样例以外的不同的是，这种方法使用训练样例以外的样例来求得误差，并视该误差是否达到某个标准来样例来求得误差，并视该误差是否达到某个标准来确定训练是否可以终止。确定训练是否可以终止。21()2dkkk outputEto3 3）对网络进行训练的样例的数量）对网络进行训练的样例的数量 样例数量要适当。太少则缺乏代表性，太多则带来训练

48、开销等问样例数量要适当。太少则缺乏代表性，太多则带来训练开销等问题。题。4 4）学习速率）学习速率 学习速率太小则降低训练效率，太大则可能陷入局部最小而达不到全学习速率太小则降低训练效率，太大则可能陷入局部最小而达不到全局最小。局最小。5 5）隐层的层数和每一隐层中单元数目的确定）隐层的层数和每一隐层中单元数目的确定6 6）平台效应（在训练过程中的某一阶段，输出误差下降不明显）平台效应（在训练过程中的某一阶段，输出误差下降不明显）()()()(1)lllljijijiwwo例例4 写出下图所示写出下图所示BP神经网络中隐层右单元的激励函数输入项，误差项，神经网络中隐层右单元的激励函数输入项，误

49、差项，以及该单元与输出层右单元之间权值的修正式。以及该单元与输出层右单元之间权值的修正式。x0 x1o1o0隐层右单元的激励函数输入项：隐层右单元的激励函数输入项：1(1)(1)(1 1)(1)(1)012220210kkknetwowxwx隐层右单元的误差项：隐层右单元的误差项：(1)21(1)(1)(1 1)(1 1)2220(1)(1)(2)(2)(2)(2)220201 21(1)(1)kkkoowooww该单元与输出层右单元之间权值的修正式：该单元与输出层右单元之间权值的修正式：1111(2)(2)(2)(2 1)2212(2)(2)(2)(1)2212wwowwo即7.7.2 基于

50、基于Hopfield网络的学习网络的学习 反馈神经网络，它是一种动态反馈系统，反馈神经网络，它是一种动态反馈系统，比前馈网络具有更强的比前馈网络具有更强的计算能力。计算能力。HopfieldHopfield网络是一种具有正反相输出的网络是一种具有正反相输出的带反馈人工神经元。带反馈人工神经元。7.8 知识发现知识发现7.8.1 知识发现的发展和定义知识发现的发展和定义l知识发现的产生和发展知识发现的产生和发展 知识发现最早是于知识发现最早是于1989年年8月在第月在第11届国际人工智届国际人工智能联合会议的专题讨论会上提出。能联合会议的专题讨论会上提出。l知识发现的定义知识发现的定义 数据库中