人工智能及其应用chapter5-071103课件.ppt

1、知识学习概述 知识学习原理知识学习策略5.1 知识学习概念、原理及分类 人工智能及其应用1 知识学习概述 n 学习的定义学习的定义:v有明确目的的知识获取过程有明确目的的知识获取过程 v内在行为内在行为v外在表现外在表现n 知识学习的形式知识学习的形式:v机器学习机器学习人工智能及其应用2 知识学习概述 n研究知识学习的目标：研究知识学习的目标：v构建人类学习过程的认知模型构建人类学习过程的认知模型v设计通用学习算法设计通用学习算法v构造面向任务的专用学习系统构造面向任务的专用学习系统n不同阶段的研究内容不同阶段的研究内容:v神经元模型和决策理论神经元模型和决策理论 v符号概念获取符号概念获取

2、 v知识增强和论域专用学习知识增强和论域专用学习 v连接学习连接学习人工智能及其应用3n知识学习系统模型：知识学习系统模型：知识学习原理 学习环节执行环节知识库环境人工智能及其应用4n 基本学习策略基本学习策略:v机械学习：又称记忆学习，外界输入知识的表示机械学习：又称记忆学习，外界输入知识的表示方式与系统内部表示方式完全一致，不需要任何方式与系统内部表示方式完全一致，不需要任何推理过程。推理过程。v传授学习：又称指导式学习，外界输入知识的表传授学习：又称指导式学习，外界输入知识的表达方式与系统内部表达方式不完全一致，需要一达方式与系统内部表达方式不完全一致，需要一些推理、翻译和转化工作。些推

3、理、翻译和转化工作。v演绎学习：学习系统对给定的知识进行演绎保真演绎学习：学习系统对给定的知识进行演绎保真推理，并存储有用的结论。演绎学习包括知识改推理，并存储有用的结论。演绎学习包括知识改造、知识编译、产生宏操作、保持等价的操作和造、知识编译、产生宏操作、保持等价的操作和其它保真变换。其它保真变换。知识学习策略 人工智能及其应用5n 基本学习策略基本学习策略:v归纳学习：是应用归纳推理进行学习的一类方法。按其有无归纳学习：是应用归纳推理进行学习的一类方法。按其有无教师指导，分为实例学习及观察与发现学习。教师指导，分为实例学习及观察与发现学习。实例学习实例学习_它通过向学习者提供某一概念的一组

4、正例和反例，它通过向学习者提供某一概念的一组正例和反例，使学习者从中归纳推理出概念的一般性描述，该描述应能解释使学习者从中归纳推理出概念的一般性描述，该描述应能解释所有给定的正例，并排除所有给定的反例。所有给定的正例，并排除所有给定的反例。观察与发现学习观察与发现学习_它要产生对所有或大多数观察到的规律和规它要产生对所有或大多数观察到的规律和规则的解释。这类学习包括概念聚类、构造分类、曲线拟合，发则的解释。这类学习包括概念聚类、构造分类、曲线拟合，发现并解释观察到的定律并形成理论。现并解释观察到的定律并形成理论。v类比学习：在遇到新问题时，可以学习以前类似问题的解决类比学习：在遇到新问题时，可

5、以学习以前类似问题的解决办法，来解决当前问题。要能够发现当前任务与已知任务的办法，来解决当前问题。要能够发现当前任务与已知任务的相似点，由此制定出完成当前任务的方案。因此，类比学习相似点，由此制定出完成当前任务的方案。因此，类比学习可由系统已有的领域知识得到另一领域中类似的知识。可由系统已有的领域知识得到另一领域中类似的知识。知识学习策略 人工智能及其应用6 5.2 神经网络学习 学习方式 学习算法 学习特点人工智能及其应用7 学习方式 n监督学习监督学习n无监督学习无监督学习n再励学习再励学习人工智能及其应用8 学习方式监督学习监督学习:需要外界输入一个需要外界输入一个“教师教师”信号，它可

6、对一组给定输入提信号，它可对一组给定输入提供应有的输出，这组已知的输入输出数据称为训练样本集，神经网络供应有的输出，这组已知的输入输出数据称为训练样本集，神经网络可根据已知输出与实际输出之间的误差值来调节系统参数。可根据已知输出与实际输出之间的误差值来调节系统参数。输入输入应有响应应有响应实际响应实际响应误差信号误差信号学习系统学习系统教教 师师环环 境境人工智能及其应用9 学习方式无监督学习无监督学习:它不存在外部教师信号，网络系统完全按照环境提它不存在外部教师信号，网络系统完全按照环境提供数据的某些统计规律来调节自身参数或结构，以表示出外部输入供数据的某些统计规律来调节自身参数或结构，以表

7、示出外部输入的某种固有特性，如聚类或统计上的分布特征。的某种固有特性，如聚类或统计上的分布特征。输入输入环环 境境学习系统学习系统人工智能及其应用10 学习方式再励学习再励学习:这种学习介于上述两种情况之间，外部环境对系统输出这种学习介于上述两种情况之间，外部环境对系统输出只给出评价信息而不是正确答案。网络系统通过强化那些被肯定的只给出评价信息而不是正确答案。网络系统通过强化那些被肯定的动作来改善自身的性能。动作来改善自身的性能。输入状态输入状态环环 境境学习系统学习系统输出动作输出动作评价评价人工智能及其应用11 学习算法 n误差纠正学习（误差纠正学习（delta学习）学习）nHebb学习学

8、习n竞争学习竞争学习人工智能及其应用12 误差纠正学习n误差纠正学习的目的：误差纠正学习的目的：使训练样本输出与实际输出间误差的目标函数使训练样本输出与实际输出间误差的目标函数最小。最小。n学习规则：学习规则：)()(nxnewjkkj人工智能及其应用13 Hebb学习n学习规则：学习规则：当某一突触两端的神经元同步激活当某一突触两端的神经元同步激活(或抑制或抑制)时，时，该连接的强度应增强，反之应减弱。该连接的强度应增强，反之应减弱。)()(nxnywjkkj人工智能及其应用14 竞争学习n学习规则：学习规则：各输出单元互相竞争，最后只有一个最强者被激活各输出单元互相竞争，最后只有一个最强者

9、被激活。n具有侧向抑制性连接的竞争学习网络：具有侧向抑制性连接的竞争学习网络：输输入入层层输输出出层层1x4x3x2x人工智能及其应用15 5.3 神经网络模型 神经网络典型模型 BP神经网络及算法 Hopfield神经网络及算法人工智能及其应用16 神经网络的典型模型 n人工神经网络人工神经网络n激发函数激发函数n代表性模型代表性模型人工智能及其应用17 人工神经网络人工神经网络组成人工神经网络组成:人工神经网络可人工神经网络可看成是以人工神经元看成是以人工神经元为节点，用有向加权为节点，用有向加权弧连接起来的有向图。弧连接起来的有向图。右图为人工神经网络右图为人工神经网络的组成框架的组成框

10、架。w1w2w3人工智能及其应用18 激发函数（或作用函数）n常用的激发函数：常用的激发函数：(1)(1)阈值型阈值型(2)(2)分段线性型分段线性型(3)Sigmoid(3)Sigmoid函数型函数型(简称简称S S型型)(4)(4)双曲正切型双曲正切型 1)(f01)(f01)(f011)(f0人工智能及其应用19 代表性模型v自适应谐振理论自适应谐振理论 v双向联想存储器双向联想存储器 vHopfieldHopfield网网 v反向传播网络反向传播网络v对流传播网络对流传播网络 v博尔茨曼机博尔茨曼机vM-AdalinM-Adalin算法算法 v认知机认知机v感知器感知器v自组织映射网自

11、组织映射网人工智能及其应用20 BP神经网络nBPBP网络结构图：网络结构图：1x2xnxmy1y2y.人工智能及其应用21 BP神经网络nBPBP网络的学习过程：网络的学习过程：(1)(1)选择一组训练样例，样例由输入和期望输出组成选择一组训练样例，样例由输入和期望输出组成;(2)(2)取一样例，把输入信息输入网络；取一样例，把输入信息输入网络；(3)(3)计算神经元处理后的各层节点输出；计算神经元处理后的各层节点输出；(4)(4)计算实际输出和期望输出的误差，如果误差达到要计算实际输出和期望输出的误差，如果误差达到要求，则退出，否则继续；求，则退出，否则继续；(5)(5)从输出层反向计算到

12、第一个隐层，并按照误差减小从输出层反向计算到第一个隐层，并按照误差减小原则，调整各神经元的连接权值；原则，调整各神经元的连接权值；(6)(6)对每个样例重复对每个样例重复(3)(3)(5)(5)，直到对整个训练样例集，直到对整个训练样例集的误差达到要求时为止。的误差达到要求时为止。人工智能及其应用22 Hopfield神经网络n离散型离散型HopfieldHopfield神经网络神经网络n连续型连续型HopfieldHopfield网络及其网络及其VLSIVLSI实现实现人工智能及其应用23 离散型Hopfield神经网络HopfieldHopfield神经网络的结构：神经网络的结构：人工智能

13、及其应用24 离散型Hopfield神经网络n网络的稳定性：网络的稳定性：v连接权值构成的矩阵是非负对角元的对称矩连接权值构成的矩阵是非负对角元的对称矩阵，该网络就具有串行稳定性；阵，该网络就具有串行稳定性；v若该矩阵为非负矩阵，则该网络就具有并行若该矩阵为非负矩阵，则该网络就具有并行稳定性。稳定性。人工智能及其应用25 连续型Hopfield网络连续型连续型Hopfield网络神经元电路模型网络神经元电路模型:人工智能及其应用26 连续型Hopfield网络n连续型连续型HopfieldHopfield网络的特征网络的特征:v神经元的传输特性具有神经元的传输特性具有S S特性特性v细胞具有时

14、空整体作用细胞具有时空整体作用v神经元之间存在的兴奋和抑制性联结通过反馈神经元之间存在的兴奋和抑制性联结通过反馈来实现来实现v既有代表产生动作电位的神经元，又有代表按既有代表产生动作电位的神经元，又有代表按渐进方式工作的神经元的能力渐进方式工作的神经元的能力 人工智能及其应用27 5.4 知识发现与Agent技术知识发现的过程 知识发现的方法知识发现中的数据挖掘技术 Agent技术人工智能及其应用28 知识发现的过程n定义定义:从大量数据集中辨识出有效的、新颖的、潜在有从大量数据集中辨识出有效的、新颖的、潜在有用的、并可被理解的模式的高级处理过程。用的、并可被理解的模式的高级处理过程。n知识发

15、现过程：知识发现过程：数数据据选选择择目目标标数数据据数数据据预预处处理理原原始始数数据据预预处处理理后后数数据据数数据据变变换换变变换换后后数数据据数数据据挖挖掘掘提提取取信信息息知知识识评评价价有有用用知知识识人工智能及其应用29 知识发现的方法n统计方法统计方法n机器学习方法机器学习方法n神经计算方法神经计算方法n可视化方法可视化方法人工智能及其应用30 统计方法v传统方法传统方法v模糊集模糊集 v支持向量机支持向量机 v粗糙集粗糙集 人工智能及其应用31 机器学习方法v规则归纳规则归纳 v决策树决策树 v范例推理范例推理 v贝叶斯信念网络贝叶斯信念网络 v科学发现科学发现 v遗传算法遗

16、传算法 人工智能及其应用32 知识发现中的数据挖掘技术n数据挖掘及其研究内容数据挖掘及其研究内容 n数据挖掘分类数据挖掘分类 n数据挖掘的模型与算法数据挖掘的模型与算法 n数据挖掘工具数据挖掘工具 人工智能及其应用33 数据挖掘及其研究内容n定义定义:从大量的、不完全的、有噪声的、模糊的、随机从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含的、事先不知道的、的实际应用数据中，提取隐含的、事先不知道的、但又是潜在有用的信息和知识。但又是潜在有用的信息和知识。人工智能及其应用34数据挖掘分类v根据挖掘对象，数据库分为根据挖掘对象，数据库分为:关系数据库、面向对象数据库、空间数据

17、库、时态数据库、关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库，文本数据源、多媒体数据库、异质数据库、遗产数据库，以及万维网。以及万维网。v根据挖掘任务，知识发现任务分为：根据挖掘任务，知识发现任务分为：分类或预测模型知识发现、数据总结、数据聚类、关联规分类或预测模型知识发现、数据总结、数据聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等。和趋势发现等。v根据挖掘方法分：根据挖掘方法分：统计方法、机器学习方法、神经网络方法和数据库方法。统计方法、机器学习方法、神经网

18、络方法和数据库方法。v根据系统应用分：根据系统应用分：金融、电信、商业预测等。金融、电信、商业预测等。人工智能及其应用35 数据挖掘模型与算法v人工神经网络人工神经网络 v决策树决策树 v回归分析回归分析 v遗传算法遗传算法 v邻近算法邻近算法v模糊逻辑模糊逻辑 v规则推理规则推理人工智能及其应用36 数据挖掘工具n采用技术：采用技术：规则发现、决策树分类技术。规则发现、决策树分类技术。n技术核心：技术核心：归纳算法归纳算法 人工智能及其应用37 Agent技术nAgent的基本特性：的基本特性：反应性、自治性、社交能力和自发行为。反应性、自治性、社交能力和自发行为。nAgent的构成：的构成：n定义：定义：一个从感知序列到它所能发出动作序列的映射。一个从感知序列到它所能发出动作序列的映射。DSf:环环境境感知感知作用作用人工智能及其应用38 Agent技术n思考型思考型Agent知识规划库信念愿 望目 标意图结构人工智能及其应用39 Agent技术n反应型反应型Agent：传感器驱动器功能模块功能模块功能模块输入（感知）输出（行动）人工智能及其应用40