模式识别详细课件.ppt

1、1 课程对象课程对象 相关学科相关学科 教学方法教学方法 教学目标教学目标 基本要求基本要求 教材教材/参考文献参考文献关于本课程的有关说明2 课程对象信息工程专业本科生的专业课信息工程专业本科生的专业课学院硕士研究生的学位课学院硕士研究生的学位课 学院博士研究生的必修课之一学院博士研究生的必修课之一3 相关学科统计学统计学概率论概率论线性代数（矩阵计算）线性代数（矩阵计算）形式语言形式语言人工智能人工智能图像处理图像处理计算机视觉计算机视觉 等等等等4 教学方法着重讲述模式识别的基本概念，基本着重讲述模式识别的基本概念，基本方法和算法原理。方法和算法原理。注重理论与实践紧密结合注重理论与实践

2、紧密结合 实例教学：通过实例讲述如何将所学实例教学：通过实例讲述如何将所学知识运用到实际应用之中知识运用到实际应用之中避免引用过多的、繁琐的数学推导避免引用过多的、繁琐的数学推导5 教学目标掌握模式识别的基本概念和方法掌握模式识别的基本概念和方法有效地运用所学知识和方法解决实际问题有效地运用所学知识和方法解决实际问题为研究新的模式识别的理论和方法打下基础为研究新的模式识别的理论和方法打下基础 6 基本要求基本基本：完成课程学习，通过考试，获得学分。：完成课程学习，通过考试，获得学分。提高提高：能够将所学知识和内容用于课题研究，：能够将所学知识和内容用于课题研究，解决实际问题。解决实际问题。飞跃

3、：飞跃：通过模式识别的学习，改进思维方式，通过模式识别的学习，改进思维方式，为将来的工作打好基础，终身受益。为将来的工作打好基础，终身受益。7教材教材/参考文献参考文献孙即祥，现代模式识别，国防科技大学孙即祥，现代模式识别，国防科技大学出版社，出版社，20032003年。年。吴逸飞译，模式识别原理、方法及应吴逸飞译，模式识别原理、方法及应用，清华大学出版社，用，清华大学出版社，20032003年。年。李晶皎等译，模式识别（第三版），电李晶皎等译，模式识别（第三版），电子工业出版社，子工业出版社，20062006年。年。8讲授课程内容及安排第一章第一章 引论引论 第二章第二章 聚类分析聚类分析第

4、三章第三章 判别域代数界面方程法判别域代数界面方程法 第四章第四章 统计判决统计判决 第五章第五章 学习、训练与错误率估计学习、训练与错误率估计 第六章第六章 最近邻方法最近邻方法第七章第七章 特征提取和选择特征提取和选择 上机实习上机实习9第一章 引论1.1 1.1 概述概述1.2 1.2 特征矢量和特征空间特征矢量和特征空间1.3 1.3 随机矢量的描述随机矢量的描述1.4 1.4 正态分布正态分布10概念概念n模式识别模式识别(Pattern Recognition)(Pattern Recognition)：确定一个确定一个样本的类别属性（模式类）的过程，即把某一样本的类别属性（模式类

5、）的过程，即把某一样本归属于多个类型中的某个类型。样本归属于多个类型中的某个类型。n样本（样本（Sample)Sample)：一个具体的研究（客观）对象。一个具体的研究（客观）对象。如患者，某人写的一个汉字，一幅图片等。如患者，某人写的一个汉字，一幅图片等。n模式模式(Pattern)(Pattern)：对客体（研究对象）特征的对客体（研究对象）特征的描述（定量的或结构的描述），是取自客观世描述（定量的或结构的描述），是取自客观世界的某一样本的测量值的集合（或综合）。界的某一样本的测量值的集合（或综合）。11x),(21nxxxxn特征特征(Features)(Features)：能描述模式特

6、性的量（测能描述模式特性的量（测量值）。在统计模式识别方法中，通常用一量值）。在统计模式识别方法中，通常用一个矢量个矢量 表示，称之为特征矢量，记为表示，称之为特征矢量，记为 n模式类模式类(Class)(Class)：具有某些共同特性的模式具有某些共同特性的模式的集合。的集合。概念概念12要对这些动物进行分类，则不同的特征有不同的分法：有效地运用所学知识和方法解决实际问题次序量-(等级、技能、学识)的损失函数，各种判决的平均损失4、停止回溯再向下搜索d32(x)0设两类样本的类内离差矩阵分别为:由于 是标量，于是有：因为d3(x3)=-2d1(x3)=0，d3(x3)=d2(x3)=0，错分

7、，第五章 统计决策中的训练、学习 与错误率测试、估计以上工作都应该在预处理阶段完成。在信息论中，熵(Entropy)表示不确定性，熵越大不确定性越大。（4）后验概率的最大值的类别（09）就是手写数字的所属类别。提高：能够将所学知识和内容用于课题研究，解决实际问题。例：已知有20个样本，每个样本有2个特征，数据分布如下图,使用C均值法实现样本分类（C=2）。式中 表示括号中事件同时发生的概率。（2）适用于非线性和线性可分的情况解：图形结构复杂，首先应分解为简单的子图（背景、物体）。d3(x)=-2x1-2基于类的概率密度函数的可分性判据模式识别的例子模式识别的例子计算机自动诊断疾病计算机自动诊断

8、疾病:获取情况获取情况(信息采集信息采集)测量体温、血压、心率、测量体温、血压、心率、血液化验、血液化验、X X光透射、光透射、B B超、心电图、超、心电图、CTCT等尽可等尽可能多的信息，并将这些信息数字化后输入电脑。能多的信息，并将这些信息数字化后输入电脑。当然在实际应用中要考虑采集的成本，这就是当然在实际应用中要考虑采集的成本，这就是说说特征要进行选择特征要进行选择的。的。运行在电脑中的运行在电脑中的专家系统专家系统或专用程序可以分析或专用程序可以分析这些数据并进行这些数据并进行分类分类，得出正常或不正常的判，得出正常或不正常的判断，不正常情况还要指出是什么问题。断，不正常情况还要指出是

9、什么问题。13对象空间对象空间模式空间模式空间特征空间特征空间类型空间类型空间各类空间（各类空间（Space)Space)的概念的概念模式采集：模式采集：从客观世界（对象从客观世界（对象空间）到模式空间的过程称为空间）到模式空间的过程称为模式采集。模式采集。特征提取和特征选择：特征提取和特征选择：由模式由模式空间到特征空间的变换和选择。空间到特征空间的变换和选择。类型判别：类型判别：特征空间到类型空特征空间到类型空间所作的操作。间所作的操作。模模式式识识别别三三大大任任务务141.1 概述模式识别系统数据采集数据采集特征提取特征提取二次特征二次特征提取与选择提取与选择分类分类识别识别待识待识对

10、象对象识别结果识别结果通常在采集信息过程中，还要去除所获取信息通常在采集信息过程中，还要去除所获取信息中的噪声，增强有用的信息等工作。这种使信息中的噪声，增强有用的信息等工作。这种使信息纯化的处理过程叫做信息的纯化的处理过程叫做信息的预处理预处理。分类识别是根据事先确定的分类识别是根据事先确定的分类规则分类规则对前面选对前面选取的特征进行取的特征进行分类分类（即识别）。（即识别）。通常能描述对象的元素很多，为节约资源和提通常能描述对象的元素很多，为节约资源和提高处理速度，有时更为了可行性，在满足分类识高处理速度，有时更为了可行性，在满足分类识别正确率要求的条件下，按某种准则尽量选用对别正确率要

11、求的条件下，按某种准则尽量选用对正确分类识别作用较大的特征。使得用较少的特正确分类识别作用较大的特征。使得用较少的特征就能完成分类识别任务。征就能完成分类识别任务。预处理预处理这个环节的内容很广泛，与要解决的具这个环节的内容很广泛，与要解决的具体问题有关，例如，从体问题有关，例如，从图象图象中将中将汽车车牌汽车车牌的号码的号码识别识别出来，就需要先将出来，就需要先将车牌车牌从从图像图像中找出来，再中找出来，再对对车牌车牌进行进行划分划分，将每个，将每个数字数字分别分别划分划分开。做到开。做到这一步以后，才能对每个这一步以后，才能对每个数字数字进行进行识别识别。以上工。以上工作都应该在预处理阶段

12、完成。作都应该在预处理阶段完成。数字化数字化比特流比特流151.1 概述模式识别系统数据采集数据采集特征提取特征提取二次特征二次特征提取与选择提取与选择分类分类识别识别待识待识对象对象识别结果识别结果数据采集数据采集特征提取特征提取改进分类改进分类识别规则识别规则二次特征提二次特征提取与选择取与选择训练训练样本样本改进采集改进采集提取方法提取方法改进特征提改进特征提取与选择取与选择制定改进分制定改进分类识别规则类识别规则人工人工干预干预正确率正确率测试测试161.1 概述模式识别系统模式识别系统的主要环节：模式识别系统的主要环节：特征提取：特征提取：符号表示，如长度、波形、。符号表示，如长度、

13、波形、。特征选择：特征选择：选择有代表性的特征，能够正确分类选择有代表性的特征，能够正确分类学习和训练：学习和训练：利用已知样本建立分类和识别规则利用已知样本建立分类和识别规则分类识别：分类识别：对所获得样本按建立的分类规则进行对所获得样本按建立的分类规则进行分类识别分类识别17纸币识别器对纸币按面额进行分类纸币识别器对纸币按面额进行分类 面额面额1.1 概述系统实例5元10元20元50元100元181.1 概述系统实例 长度长度(mm)(mm)宽度宽度(mm)(mm)5 5元元13613663631010元元14114170702020元元14614670705050元元1511517070

14、100100元元1561567777191.1 概述系统实例磁性磁性金属条位置金属条位置(大约大约)5 5元元有有 54/8254/821010元元有有 54/8754/872020元元有有 57/8957/895050元元有有 60/9160/91100100元元有有 63/9363/93205元 10元 20元 50元 100元12345678反反射射光光波波形形211.1 概述系统实例数据采集、特征提取：数据采集、特征提取：长度、宽度、磁性、磁性的位置，光反射亮度、光长度、宽度、磁性、磁性的位置，光反射亮度、光透射亮度等等透射亮度等等 特征选择：特征选择：长度、磁性及位置、反射亮度长度、

15、磁性及位置、反射亮度分类识别：分类识别：确定纸币的面额及真伪确定纸币的面额及真伪221.1 概述系统实例训练集：训练集：是一个已知样本集，在监督学习方法是一个已知样本集，在监督学习方法中，用它来开发出模式分类器。中，用它来开发出模式分类器。测试集：测试集：在设计识别和分类系统时没有用过的在设计识别和分类系统时没有用过的独立样本集。独立样本集。系统评价原则：系统评价原则：为了更好地对模式识别系统性为了更好地对模式识别系统性能进行评价，必须使用一组独立于训练集的测能进行评价，必须使用一组独立于训练集的测试集对系统进行测试。试集对系统进行测试。23要对这些动物进行分类，则不同的特征有不同的分法：如果

16、训练模式是线性可分的，则存在权矢量 使不等式组构成一个多级树结构：为表述简洁，虽然某些模式已选做聚类中心，但上面仍将所有模式下角标全部列写出来，因这并不影响算法的正确性。这类算法运行中模式的类别及类的中心一旦确定将不会改变。计算J(y1)与J(y2)：第七章 特征提取与选择f(s)=-asb1-s(ln a-ln b)2 0 (ab)针对具体问题确定相似性阈值，将模式到各聚类中心间的距离与阈值比较，当大于阈值时该模式就作为另一类的类心，小于阈值时按最小距离原则将其分划到某一类中。权空间、解矢量与解空间1、按最小距离原则简单聚类方法求矩阵的广义逆计算量较大，引入的误差也可能很大，在实际中多采用下

17、面的梯度法。基于类的概率密度函数的可分性判据模糊集合 A=(a,a),(b,b),.该方法也称为顺序后退法(SBS)。试用K-L变换做一维特征提取。ISODATA算法举例即 等于 的整数部分；（1）最佳的bi可通过 求得多类问题图例（第一种情况）例:汽车车牌识别n从摄像头获取包含车牌的彩色图象从摄像头获取包含车牌的彩色图象n车牌定位和获取车牌定位和获取n字符分割和识别字符分割和识别输入图象输入图象特征提取特征提取粗略定位粗略定位分割字符分割字符确定类型确定类型精细定位精细定位识别、输出识别、输出2425261.1 概述模式识别的基本方法一、统计模式识别一、统计模式识别二、句法模式识别二、句法模

18、式识别三、模糊模式识别三、模糊模式识别四、人工神经网络法四、人工神经网络法五、人工智能方法五、人工智能方法271.1 概述模式识别的基本方法一、统计模式识别一、统计模式识别模式描述方法：模式描述方法：特征向量特征向量 模式判定：模式判定：模式类用条件概率分布模式类用条件概率分布P(X/P(X/i i)表示表示,m,m类就有类就有m m个分布，然后判定未知模式属于哪一个分布。个分布，然后判定未知模式属于哪一个分布。),(21nxxxx281.1 概述模式识别的基本方法一、统计模式识别一、统计模式识别理论基础：理论基础：概率论，数理统计概率论，数理统计主要方法：主要方法：线性、非线性分类、线性、非

19、线性分类、BayesBayes决策、聚类分析决策、聚类分析主要优点：主要优点：1 1）比较成熟）比较成熟 2 2）能考虑干扰噪声等影响）能考虑干扰噪声等影响 3 3）识别模式基元能力强）识别模式基元能力强主要缺点：主要缺点：1 1）对结构复杂的模式抽取特征困难）对结构复杂的模式抽取特征困难2 2）不能反映模式的结构特征，难以描述模式的性质）不能反映模式的结构特征，难以描述模式的性质3 3）难以从整体角度考虑识别问题）难以从整体角度考虑识别问题291.1 概述模式识别的基本方法二、句法模式识别二、句法模式识别模式描述方法：模式描述方法：符号串，树，图符号串，树，图模式判定：模式判定：是一种语言，

20、用一个文法表示一个类，是一种语言，用一个文法表示一个类，m m类就类就有有m m个文法，然后判定未知模式遵循哪一个文法。个文法，然后判定未知模式遵循哪一个文法。30例例2 2：如下图中一幅图形，要识别图中的物体，：如下图中一幅图形，要识别图中的物体，选用句法模式识别方法选用句法模式识别方法.1.1 概述模式识别的基本方法31解：解：图形结构复杂，首先应分解为简单的子图图形结构复杂，首先应分解为简单的子图（背景、物体）。（背景、物体）。构成一个多级树结构：构成一个多级树结构：1.1 概述模式识别的基本方法32n在学习过程中，确定基元与基元之间的在学习过程中，确定基元与基元之间的关系，推断出生成景

21、物的方法。关系，推断出生成景物的方法。n判决过程中，首先提取基元，识别基元判决过程中，首先提取基元，识别基元之间的连接关系，使用推断的文法规则之间的连接关系，使用推断的文法规则做句法分析。若分析成立，则判断输入做句法分析。若分析成立，则判断输入的景物属于相应的类型。的景物属于相应的类型。1.1 概述模式识别的基本方法33理论基础：理论基础：形式语言，自动机技术形式语言，自动机技术主要方法：主要方法：自动机技术、自动机技术、CYKCYK剖析算法、剖析算法、EarlyEarly算法、算法、转移图法转移图法主要优点主要优点：1 1）识别方便，可以从简单的基元开始，由简至繁。）识别方便，可以从简单的基

22、元开始，由简至繁。2 2）能反映模式的结构特征，能描述模式的性质。）能反映模式的结构特征，能描述模式的性质。3 3）对图象畸变的抗干扰能力较强。）对图象畸变的抗干扰能力较强。主要缺点：主要缺点：当存在干扰及噪声时，抽取特征基元困难，且易失误。当存在干扰及噪声时，抽取特征基元困难，且易失误。1.1 概述模式识别的基本方法341.1 概述模式识别的基本方法三、模糊模式识别三、模糊模式识别模式描述方法：模式描述方法：模糊集合模糊集合 A=(A=(a a,a),(,a),(b b,b),.(,b),.(n n,n),n)模式判定：模式判定：是一种集合运算。用隶属度将模糊集合划分是一种集合运算。用隶属度

23、将模糊集合划分为若干子集，为若干子集，m m类就有类就有m m个子集，然后根据择近原个子集，然后根据择近原则分类。则分类。35理论基础：理论基础：模糊数学模糊数学主要方法：主要方法：模糊统计法、二元对比排序法、推理法、模糊统计法、二元对比排序法、推理法、模糊集运算规则、模糊矩阵模糊集运算规则、模糊矩阵主要优点主要优点：由于隶属度函数作为样本与模板间相似程度的度量，由于隶属度函数作为样本与模板间相似程度的度量，故往往能反映整体的与主体的特征，从而允许样本有故往往能反映整体的与主体的特征，从而允许样本有相当程度的干扰与畸变。相当程度的干扰与畸变。主要缺点：主要缺点：准确合理的隶属度函数往往难以建立

24、，故限制了它的准确合理的隶属度函数往往难以建立，故限制了它的应用。应用。1.1 概述模式识别的基本方法361.1 概述模式识别的基本方法四、人工神经网络法四、人工神经网络法模式描述方法：模式描述方法：以不同活跃度表示的输入节点集（神经元）以不同活跃度表示的输入节点集（神经元）模式判定：模式判定：是一个非线性动态系统。通过对样本的学习是一个非线性动态系统。通过对样本的学习建立起记忆，然后将未知模式判决为其最接近的建立起记忆，然后将未知模式判决为其最接近的记忆。记忆。37第三章 判别域代数界面方程法为了减少计算量和存储量，可以仿照单样本修正法:6 二次准则函数及其解法自动细胞学、染色体特性研究、遗

25、传研究例：在军事目标识别中，假定有灌木丛和坦克两种类型，它们的先验概率分别是0.if(xki)and(di(xk)dl(xk)(li)then wi(k+1)=wi(k)+xk wl(k+1)=wl(k)-xkwj(k+1)=wj(k)(ji,l)最大似然估计(MLE)1 概述模式识别的发展简史且通常有 cre数据样本介绍：10个文本文件np,nq分别为类wp和wq的样本个数3 类的定义与类间距离主要优点：可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题。因为cre，故0 t 1。这种具有上述特点的快速搜索方法，称为分支定界算法。随机矢量 的均值矢量 的各分量是相应的各随机分量

26、的均值。显然，区域重叠的部分越小或完全没有重叠，类别的可分性就越好。离散K-L变换（DKLT）为改善这种情况，可对每个类对的判据采用变换的方法，使对小的判据较敏感。选取密度最大的特征点作为第一个初始类心Z1，然后在与Z1大于某个距离d的那些特征点中选取具有“最大”密度的特征点作为第二个初始类心Z2，如此进行，选取C个初始聚类中心。理论基础：理论基础：神经生理学，心理学神经生理学，心理学主要方法：主要方法：BPBP模型、模型、HOPHOP模型、高阶网模型、高阶网主要优点主要优点：可处理一些环境信息十分复杂，背景知识不清楚，推可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题。允许样

27、本有较大的缺损、畸变。理规则不明确的问题。允许样本有较大的缺损、畸变。主要缺点：主要缺点：模型在不断丰富与完善中，目前能识别的模式类还不模型在不断丰富与完善中，目前能识别的模式类还不够多。够多。1.1 概述模式识别的基本方法381.1 概述模式识别的基本方法五、逻辑推理法（人工智能法）五、逻辑推理法（人工智能法）模式描述方法：模式描述方法：字符串表示的事实字符串表示的事实模式判定：模式判定：是一种布尔运算。从事实出发运用一系列规是一种布尔运算。从事实出发运用一系列规则，推理得到不同结果，则，推理得到不同结果，m m个类就有个类就有m m个结果。个结果。39理论基础：理论基础：演绎逻辑，布尔代数

28、演绎逻辑，布尔代数主要方法：主要方法：产生式推理、语义网推理、框架推理产生式推理、语义网推理、框架推理主要优点主要优点：已建立了关于知识表示及组织，目标搜索及匹配的完已建立了关于知识表示及组织，目标搜索及匹配的完整体系。对需要众多规则的推理达到识别目标确认的整体系。对需要众多规则的推理达到识别目标确认的问题，有很好的效果。问题，有很好的效果。主要缺点：主要缺点：当样本有缺损，背景不清晰，规则不明确甚至有歧义当样本有缺损，背景不清晰，规则不明确甚至有歧义时，效果不好。时，效果不好。1.1 概述模式识别的基本方法401.1 概述模式识别的发展简史19291929年年 G.TauschekG.Tau

29、schek发明阅读机发明阅读机 ，能够阅，能够阅读读0-90-9的数字。的数字。3030年代年代 FisherFisher提出统计分类理论，奠定了提出统计分类理论，奠定了统计模式识别的基础。统计模式识别的基础。5050年代年代 Noam Chemsky Noam Chemsky 提出形式语言理论提出形式语言理论傅京荪提出句法傅京荪提出句法/结构模式识别。结构模式识别。6060年代年代 提出了模糊集理论，模糊模式识别提出了模糊集理论，模糊模式识别方法得以发展和应用。方法得以发展和应用。411.1 概述模式识别的发展简史8080年代年代 以以HopfieldHopfield网、网、BPBP网为代表

30、的神经网为代表的神经网络模型导致人工神经元网络复活，网络模型导致人工神经元网络复活，并在模式识别得到较广泛的应用。并在模式识别得到较广泛的应用。9090年代年代 小样本学习理论，支持向量机也受小样本学习理论，支持向量机也受到了很大的重视。到了很大的重视。421.1 概述模式识别的应用(举例)n生物学生物学自动细胞学、染色体特性研究、遗传研究自动细胞学、染色体特性研究、遗传研究n天文学天文学天文望远镜图像分析、自动光谱学天文望远镜图像分析、自动光谱学n经济学经济学股票交易预测、企业行为分析股票交易预测、企业行为分析n医学医学心电图分析、脑电图分析、医学图像分析心电图分析、脑电图分析、医学图像分析

31、431.1 概述主要实用系统举例n文字识别（文字识别（Character Recognition）OCR（Optical Character Recognition）n智能交通（智能交通（Intelligent Traffic）车牌、车型。车牌、车型。n语音识别（语音识别（Speech recognition）翻译机，身份识别等翻译机，身份识别等n目标识别目标识别ATR（Automaic Target Recognition）44451.2 特征矢量和特征空间461.3 随机矢量的描述随机矢量：随机矢量：在模式识别过程中，要对许多具体对在模式识别过程中，要对许多具体对象进行测量，以获得许多次观

32、测值。象进行测量，以获得许多次观测值。每次观测值不一定相同，所以对许多每次观测值不一定相同，所以对许多对象而言，各个特征分量都是随机变量，对象而言，各个特征分量都是随机变量，即许多对象的特征向量在即许多对象的特征向量在n n维空间中呈随维空间中呈随机性分布，称为随机矢量。机性分布，称为随机矢量。47先看一个简单的情况。60886 J2=0.如患者，某人写的一个汉字，一幅图片等。该方法也称为顺序后退法(SBS)。t=-(1/2)ln 麻雀（sparrow）海鸥 （seagull）由于变换后的模式是一维的，因此判别界面实际上是各类模式所在轴上的一个点，所以可以根据训练模式确定一个阈值 yt，于是F

33、isher判别规则为:=类内各分量分布的距离标准差上界，(分裂用)利用二次型关于矢量求导的公式可得：因为cre，故0 t 1。100圆 50圆 20圆 10圆80年代 以Hopfield网、BP网为代表的神经网络模型导致人工神经元网络复活，并在模式识别得到较广泛的应用。适用于各类模式的类域在某些分量轴上的投影不重迭或较少重迭的情况。(5)分裂判决：Nc2*c当N 增大时，估计结果与真实分布较为接近。对于c类问题，给定各类的后验概率 可以写成如下形式：该算法的高效性能原因在于如下三个方面：在实际应用并不一定能同时具备，但并不影响它在实际使用中的价值。离散K-L变换（DKLT）的优劣进行评估的准则

34、函数。由洛必达法则知：当 时令U=AV，因此存在非奇异矩阵U，使1.3 随机矢量的描述P),(21nXXXX),(21nxxxx),(),(221121nnnxXxXxXPxxxF)()(xXPxF(一一)随机矢量的分布函数：随机矢量的分布函数：设设 为随机矢量，为随机矢量，为确定性矢量。为确定性矢量。随机矢量的联合概率分布函数定义为：随机矢量的联合概率分布函数定义为：式中式中 表示括号中事件同时发生的概率。表示括号中事件同时发生的概率。481.3 随机矢量的描述(一一)随机矢量的分布函数：随机矢量的分布函数：)(),(21xpxxxpnnnnxxxxxxF2121),(X随机矢量随机矢量 的

35、联合概率密度函数定义为：的联合概率密度函数定义为：491.3 随机矢量的描述5012X1X121.3 随机矢量的描述x xp(x)p(x)(1xp)(2xp2511.3 随机矢量的描述521.3 随机矢量的描述(二二)随机矢量的数字特征：随机矢量的数字特征：其中，其中，的分量：的分量：1212E()d.(,.,)d d.diiiiiinniXx p xxx p x xxxxxX)(ixpXiX式中，式中，是是 的第的第 个分量的边缘个分量的边缘密度。随机矢量密度。随机矢量 的均值矢量的均值矢量 的各的各分量是相应的各随机分量的均值。分量是相应的各随机分量的均值。531.3 随机矢量的描述(二二

36、)随机矢量的数字特征：随机矢量的数字特征：条件期望条件期望在模式识别中，经常以类别在模式识别中，经常以类别 作为条件，在这作为条件，在这种情况下随机矢量种情况下随机矢量 的条件期望矢量定义为的条件期望矢量定义为iE|(|)dniiiXXxp xxX541.3 随机矢量的描述随机矢量随机矢量 的自协方差矩阵表征各分量围绕的自协方差矩阵表征各分量围绕其均值的散布情况及各分量间的相关关系，其均值的散布情况及各分量间的相关关系，其定义为：其定义为：XE()()XXXX2()()()d()nijn nXxxp x x(二二)随机矢量的数字特征：随机矢量的数字特征：协方差矩阵协方差矩阵 551.3 随机矢

37、量的描述561.3 随机矢量的描述57运用最小损失准则，判决规则为：当特征只有两个状态（0，1）时，常用匹配测度。使熵最小的特征利于分类，取熵的期望：24 聚类的算法为求最佳的s*，使上界取最小值Ch(称为Chernoff界限)s*应满足例：设两类问题中，二维模式均为正态分布，(三)类内及总体的均值矢量均值矢量和协方差阵的矩法估计=每一类中允许的最少模式数目，例如：考虑这样的假说“大公司在海外投资”。设一3类问题有如下判决函数d1(x)=-x1d2(x)=x1+x2-1d3(x)=x1-x2-1试画出下列各种情况的判决边界及各类的区域：（1）满足节中的第一种情况；若 ，则判的最小值，有如下的定

38、理：离散K-L变换及其在特征提取为表述简洁，我们将随机矢量X及它的某个取值x都用同一个符号x表示，在以后各节中出现的是表示随机矢量还是它的一个实现根据内容是可以清楚知道的。模式识别(Pattern Recognition)：确定一个样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。学院博士研究生的必修课之一基于总的类内、类间离差矩阵、进行特征提取选择且 f(0)=f(1)=0，从而有 f(s)0。蜥蜴,毒蛇麻雀,海鸥 青蛙通常能描述对象的元素很多，为节约资源和提高处理速度，有时更为了可行性，在满足分类识别正确率要求的条件下，按某种准则尽量选用对正确分类识别作用较大的特征。

39、的优劣进行评估的准则函数。1.3 随机矢量的描述(二二)随机矢量的数字特征：随机矢量的数字特征：相关系数相关系数 )(2jjiiijijrjjiiij2由布尼亚科夫斯基不等式知由布尼亚科夫斯基不等式知:11ijrnnijrr)(相关系数矩阵定义为相关系数矩阵定义为 :581.3 随机矢量的描述591.3 随机矢量的描述601.3 随机矢量的描述611.3 随机矢量的描述621.4 正态分布631.4 正态分布（1 1）一维随机变量的正态分布）一维随机变量的正态分布kk641.4 正态分布651.4 正态分布（2 2）随机矢量的正态分布）随机矢量的正态分布 正态分布随机矢量正态分布随机矢量 的概

40、率密度函数定义为：的概率密度函数定义为：),(21nXXXX)()(21exp|)2(1)(),(12/12/21xxxpxxxpnn)()(21exp|)2(1)(),(12/12/21xxxpxxxpnn661.4 正态分布222212222222121212211)(nnnnnnXXE671.4 正态分布（2 2）二维随机变量的正态分布）二维随机变量的正态分布681.4 1.4 正态分布正态分布69范例范例木板木板图象图象512512d=3长度长度纹理纹理亮度亮度 c=2松木松木 桦木桦木维数维数无限无限有限有限/很大很大R有限有限d不大不大c总结：模式识别过程dR无限模式采集模式采集模

41、式空间模式空间特征提取特征提取/选择选择类型空间类型空间分类分类特征空间特征空间客观世界客观世界待识别对待识别对象象识别过程识别过程错误概率检测错误概率检测制定分类的制定分类的判决规则判决规则特征提取特征提取/选择选择方法校正方法校正学习过程学习过程采集方法校正采集方法校正已知对象已知对象预处理预处理70第五章 学习、训练与错误率估计1 2 3 4 5(4)计算分类后的参数：类心 zj;类内平均距离dj;总类内平均距离d例：已知有20个样本，每个样本有2个特征，数据分布如下图,使用C均值法实现样本分类（C=2）。散度具有如下性质：首先视各模式自成一类,然后将距离最小的两类合并成一类,不断地重复

42、这个过程，直到成为两类为止。则在这轮中x1应该剔除。选取密度最大的特征点作为第一个初始类心Z1，然后在与Z1大于某个距离d的那些特征点中选取具有“最大”密度的特征点作为第二个初始类心Z2，如此进行，选取C个初始聚类中心。许多时候，当数据量N很大时，会使数据处理变得很费力。对于两类问题1，2，认为 如果x1，则x 带正电荷 如果x2，则x 带负电荷文字识别（Character Recognition）用训练样本检验分类是否正确（a）令 试给出负对数似然比判决规则-如果 和 ，(Maximum Likelihood Estimate)第五章 统计决策中的训练、学习 与错误率测试、估计有效地运用所学

43、知识和方法解决实际问题24 聚类的算法最大最小距离法均值矢量和协方差阵的矩法估计类内距离小，类间距离大。试证明，对于正态分布，不相关与试证明，对于正态分布，不相关与独立是等价的。独立是等价的。试证明，多元正态随机矢量的线性试证明，多元正态随机矢量的线性变换仍为多元正态随机矢量。变换仍为多元正态随机矢量。1.试证明，多元正态随机矢量试证明，多元正态随机矢量X的分量的分量的线性组合是一正态随机变量。的线性组合是一正态随机变量。习题习题71模式识别主讲：主讲：蔡宣平蔡宣平 教授教授 电话：电话：7344173441（O O）,73442,73442（H H）E-mailE-mail：单位单位:电子科

44、学与工程学院信息工程系电子科学与工程学院信息工程系72第二章第二章 聚类分析聚类分析 (Clustering Analysis)2.1 2.1 聚类分析的概念聚类分析的概念2.2 2.2 模式相似性测度模式相似性测度2.3 2.3 类的定义与类间距离类的定义与类间距离2.4 2.4 聚类的算法聚类的算法732.1 2.1 聚类分析的概念聚类分析的概念一、聚类分析的基本思想一、聚类分析的基本思想 相似的归为一类。相似的归为一类。模式相似性的度量和聚类算法。模式相似性的度量和聚类算法。无监督分类无监督分类（Unsupervised）。二、特征量的类型二、特征量的类型 物理量物理量-(-(重量、长度

45、、速度重量、长度、速度)次序量次序量-(-(等级、技能、学识等级、技能、学识)名义量名义量-(-(性别、状态、种类性别、状态、种类)第二章第二章 聚类分析聚类分析74三、方法的有效性三、方法的有效性 取决于分类算法和特征取决于分类算法和特征点分布情况的匹配。点分布情况的匹配。2.1 聚类分析的概念22112x1xb分类无效时的情况分类无效时的情况1.1.特征选取特征选取不当不当使分类无效。使分类无效。第二章第二章 聚类分析聚类分析75三、方法的有效性三、方法的有效性 取决于分类算法和特征取决于分类算法和特征点分布情况的匹配。点分布情况的匹配。2.1 聚类分析的概念分类无效时的情况分类无效时的情

46、况2.2.特征选取特征选取不足不足可能使不同可能使不同类别的模式判为一类。类别的模式判为一类。22112x1x33第二章第二章 聚类分析聚类分析76三、方法的有效性三、方法的有效性 取决于分类算法和特征取决于分类算法和特征点分布情况的匹配。点分布情况的匹配。2.1 聚类分析的概念分类无效时的情况分类无效时的情况3.3.特征选取特征选取过多过多可能无益反可能无益反而有害而有害,增加分析负担并使增加分析负担并使分析效果变差。分析效果变差。22112x1xb第二章第二章 聚类分析聚类分析77三、方法的有效性三、方法的有效性 取决于分类算法和特征取决于分类算法和特征点分布情况的匹配。点分布情况的匹配。

47、2.1 聚类分析的概念分类无效时的情况分类无效时的情况4.4.量纲选取不当。量纲选取不当。第二章第二章 聚类分析聚类分析78三、方法的有效性三、方法的有效性 取决于分类算法和特征取决于分类算法和特征点分布情况的匹配。点分布情况的匹配。2.1 聚类分析的概念分类无效时的情况分类无效时的情况4.4.量纲选取不当。量纲选取不当。第二章第二章 聚类分析聚类分析79三、方法的有效性三、方法的有效性 取决于分类算法和特征取决于分类算法和特征点分布情况的匹配。点分布情况的匹配。2.1 聚类分析的概念分类无效时的情况分类无效时的情况4.4.量纲选取不当。量纲选取不当。第二章第二章 聚类分析聚类分析80下列是一

48、些动物的名称：下列是一些动物的名称：羊羊 （sheepsheep）狗狗 （dogdog）蓝鲨（蓝鲨（blue sharkblue shark）蜥蜴蜥蜴 （lizardlizard）毒蛇（毒蛇（viperviper）猫猫 （catcat）麻雀（麻雀（sparrowsparrow）海鸥海鸥 （seagullseagull）金鱼（金鱼（gold fishgold fish）绯鲵鲣（绯鲵鲣（red-mulletred-mullet）蛙蛙 （frogfrog）要对这些动物进行分类，则不同的特征有不同的分法：要对这些动物进行分类，则不同的特征有不同的分法：特征选取不同对聚类结果的影响特征选取不同对聚类结果

49、的影响第二章第二章 聚类分析聚类分析81特征选取不同对聚类结果的影响特征选取不同对聚类结果的影响羊羊,狗狗,猫猫蓝鲨蓝鲨蜥蜴蜥蜴,毒蛇毒蛇,麻雀麻雀,海鸥海鸥,金鱼金鱼,绯鲵鲣绯鲵鲣,青蛙青蛙(a)按繁衍后代的方式分按繁衍后代的方式分哺乳动物哺乳动物非哺乳动物非哺乳动物第二章第二章 聚类分析聚类分析82金鱼金鱼绯鲵鲣绯鲵鲣蓝鲨蓝鲨羊羊,狗狗,猫猫蜥蜴蜥蜴,毒蛇毒蛇麻雀麻雀,海鸥海鸥 青蛙青蛙(b)按肺是否存在分按肺是否存在分无肺无肺有肺有肺特征选取不同对聚类结果的影响特征选取不同对聚类结果的影响第二章第二章 聚类分析聚类分析83青蛙青蛙羊羊,狗狗,猫猫 蜥蜴蜥蜴,毒蛇毒蛇麻雀麻雀,海鸥海鸥 金

50、鱼金鱼绯鲵鲣绯鲵鲣 蓝鲨蓝鲨(c)按生活环境分按生活环境分陆地陆地水里水里两栖两栖特征选取不同对聚类结果的影响特征选取不同对聚类结果的影响第二章第二章 聚类分析聚类分析84蓝鲨蓝鲨金鱼金鱼绯鲵鲣绯鲵鲣蜥蜴蜥蜴,毒蛇毒蛇麻雀麻雀,海鸥海鸥 青蛙青蛙羊羊,狗狗,猫猫(d)按繁衍后代方式和肺是否存在分按繁衍后代方式和肺是否存在分非哺乳且有肺非哺乳且有肺哺乳且无肺哺乳且无肺哺乳且有肺哺乳且有肺非哺乳且无肺非哺乳且无肺特征选取不同对聚类结果的影响特征选取不同对聚类结果的影响第二章第二章 聚类分析聚类分析85距离测度不同距离测度不同,聚类结果也不同聚类结果也不同数据的粗聚类是两类数据的粗聚类是两类,细聚类