《模式识别原理与应用》课件第1章.ppt

1、第1章绪论第第1章绪章绪 论论1.1模式识别的基本概念模式识别的基本概念1.2模式识别系统模式识别系统1.3模式识别的基本方法模式识别的基本方法第1章绪论1.1 模式识别的基本概念模式识别的基本概念人们在日常生活中,几乎时时在进行类识别活动。对于视觉而言,眼睛收集外界信息传至大脑,由大脑对所接收的视觉信息进行识别和理解。视觉信息识别是低层次的类识别,例如,当我们看见一只猫时,很容易识别出猫这一动物的类别。而高层次的视觉理解,是通过分析直观的观测结果得到更深层次的信息,这对人的知识和素质有很强的依赖性。第1章绪论例如,在二战时期,一名高素质的情报人员根据看到的一只经常出来晒太阳的波斯猫推断出敌方

2、高级指挥所的位置,从而为己方提供了非常有价值的情报信息。对于听觉而言,人耳将声音信息传至大脑,由大脑对所接收的声音信息进行识别和理解,获得声音所属的语言种类(语种识别)、声音所对应的说话人(说话人识别)以及声音所包含的关键词(关键词识别)等。除此之外,人还具有对触觉、味觉、嗅觉等信息的类识别能力,且也具有低级和高级两个层次。第1章绪论模式识别的目的就是利用计算机实现人的类识别能力,是对两个不同层次的识别能力的模拟。对信息的理解往往含有推理过程,需要专家系统、知识工程等相关学科的支持。本书讲述的模式识别理论主要是指对人的低级类识别能力的模拟,具体地说,就是实现“观察对象是什么”的判断,其中观察对

3、象就是模式。第1章绪论模式是指具有某种特定性质的观察对象。特定性质指的是可以用来区别观察对象是否相同或是否相似而选择的特性。观察对象存在于现实世界,可以是视觉、听觉、触觉、味觉、嗅觉等所能感知的任何物质。例如,一个数字、一句话、一张照片等都是观察对象,都可以成为模式识别中的识别对象。广义地说,存在于时间和空间中可观察的事物,如果可以区别它们是否相同或是否相似,都可以称为模式。根据模式的特性,将具有相似特性的模式的集合表达为模式类。模式识别就是根据模式的特性,将其判入某一类。第1章绪论模式识别是一种智能活动,包含分析和判断两个过程。分析的过程在于确定用于划分模式类的特征及其表达方法;判断的过程则

4、体现在依据待识别对象的特性,将其判属于某一个模式类。模式识别作为一门学科,属于机器智能,故属于人工智能的范畴。模式识别理论的发展和广泛应用,极大地推动了人工智能的发展和应用。第1章绪论1.2模式识别系统模式识别系统模式识别的本质就是根据模式的特性表达和模式类的划分方法,利用计算机将模式判属特定的类。因此,模式识别需要解决5个问题:模式的数字化表达、模式特性的选择、特性表达方法的确定、模式类的表达和判决方法的确定。一般地,模式识别系统由信息获取、预处理、特征提取和选择、分类判决等4个部分组成,如图1-1所示。第1章绪论图 1-1模式识别系统的组成框图1.信息获取信息获取对于人脑识别而言,人脑通过

5、感觉器官获取模式信息。对于机器识别来说,由于计算机只能处理数字信号,计算机获取模式信息意味着实现观察对象的数字化表达,因此,需要借助于各种传感器设备,将视觉、听觉、触觉、味觉、嗅觉等信息转化为电信号,再通过模/数(A/D)转换装置将电信号转换成数字化信息。信息获取过程如图1-2所示。第1章绪论图 1-2信息获取示意图不同性质的信息需要不同的传感器设备,有的传感器和A/D转换设备是融为一体的,有的则是分离的。例如,对于视觉信息,可以先采用摄像机完成光电转换,再采用图像采集卡完成A/D转换;也可以采用数字化摄像机(CCD)、数码相机直接获得数字信息。数字图像(或视频)是视觉信息的数字化表达。对于听

6、觉信息,可以先采用话筒完成声电转换,再采用声卡完成A/D转换;也可以采用数字录音机直接获得数字信息。数字语音是听觉信息的数字化表达。第1章绪论2.预处理预处理在得到模式的数字化表达后,往往需要对它进行预处理,以便去除或减少噪声的影响,突出有用信息。对于图像信息,采用数字图像处理技术作为其预处理技术,常用的方法有几何校正、图像增强、图像还原等。第1章绪论对于语音信息,采用数字语音处理技术作为其预处理技术。作为一种一维信号,除了它和人耳特性有关的一些特殊方法外,也可以用一般的信号处理方法进行处理。对于电信号,一般可以用信号处理的方法进行处理,包括统计信号处理、自适应信号处理和谱分析等技术,其目的在

7、于抑制噪声或将信号转换成更便于识别的形式。第1章绪论3.特征提取和选择特征提取和选择在模式识别中,需要先建立模式类,对于给定的模式,识别就是将其判属于某一个模式类的过程。模式和模式类能进行从属关系判决的前提条件是,模式和模式类中的元素具有相似的性质(或称特性)。为此,需要对模式信息进行特性分析。特性分析包含两个方面:一个是分类特性的选择;另一个是特性表达方法的选择。第1章绪论分类特性的选择是模式识别系统设计中非常重要而又关键的一步,与识别目的具有很大的相关性,且往往对领域专家有较强的依赖性。例如,在遥感图像军事目标识别中,需要结合军事专家的知识和判图专家的判读分析经验,形成对目标的特性描述,如

8、描述一个舰船目标,可选用舰船长度、宽度、高度等特性。特征是用于描述模式性质(特性)的一种定量的概念,通过对模式的分析得到一组特征,称这个过程为特征形成。特征一般有两种表达方法:一种是将特征表达为数值;另一种是将特征表达为基元。第1章绪论(1)当将特征表达为数值时,一个模式的d个特征值就构成了一个特征向量,记为x,即12(,)dx xxx其中,x的每个分量xi(i=1,2,d)对应一个特征。(2)当特征表达为基元时,一个模式表述为一个句子,记为x,即12dxx xx其中，xi(i=1,2,d)为基元，反映构成模式的基本要素。第1章绪论通常用于描述模式性质的特征很多,需要从一组特征中挑选出一些最有

9、效的特征以降低特征空间维数,即特征选择。特征提取是指采用映射(或变换)实现由模式测量空间向特征空间的转变,或者将特征空间的维数从高维变成低维。例如,现有的遥感成像光谱仪波段数达数百个之多,如果直接用原始数据进行地物分类,会因数据量太大而导致计算复杂,且分类效果不一定好,可通过映射或变换的方法,由原始数据空间变换到特征空间,得到最能反映模式本质的特征,同时降低空间维数。第1章绪论4.分类判决分类判决模式类是指具有相似特性的模式的集合,模式和模式类的关系就是元素和集合的关系。模式的分类过程,事实上就是判定表征观察对象的元素和指定集合的从属关系的过程。当元素只和某个集合具有从属关系时,就将该对象判属

10、于该集合对应的类;当元素和多个集合具有从属关系时,既可以任选一类进行判决,也可以拒绝判决;当元素和任何一个集合都不具有从属关系时,不作分类判决,即拒绝判决。第1章绪论基于机器学习的模式识别系统由两个过程组成,即设计和实现。设计是用一定数量的样本进行分类器的设计,这些样本的所属类别已知,称为训练样本。实现是用所设计的分类器对待识别模式进行分类判决。第1章绪论1.3模式识别的基本方法模式识别的基本方法模式识别的本质在于实现元素(表征观察对象)和集合(表征模式类)的从属关系的判定过程。根据是否有已知所属类别的训练样本,可将模式识别分为监督模式识别和非监督模式识别。根据模式识别的基本方法,可将模式识别

11、分为统计模式识别、结构模式识别、模糊模式识别、神经网络模式识别和多分类器融合等。本节简要介绍模式识别的基本方法。第1章绪论1.统计模式识别统计模式识别统计模式识别把观察对象表达为一个随机向量(即特征向量),将模式类表达为由有穷或无穷个具有相似数值特性的模式组成的集合。识别是从模式中提取一组特性的度量,构成特征向量来表示模式,然后通过划分特征空间的方式进行分类。统计模式识别适用于用较少特征就能描述观察对象的场合。第1章绪论统计分类判决对模式类的统计特性具有非常强的依赖性,有时还要考虑人的主观感受。例如,在构造判别函数时,使用的最优准则既可以是主观的,也可以是客观的;特征的权分配体现人的主观重视程

12、度。如图1-3所示,统计模式识别系统主要由信息获取、预处理、特征提取和选择以及分类器4个部分组成,其中,分类器包括分类器设计和分类决策。第1章绪论图 1-3统计模式识别系统的组成框图第1章绪论2.结构模式识别结构模式识别对于较复杂的模式,要对其充分描述需要很多数值特征,以至过于复杂。结构模式识别采用一些比较简单的子模式组成多级结构,来描述一个复杂模式。先将模式分解为若干个子模式,子模式又分解为更简单的子模式,依次分解,直至在某个研究水平上不再需要细分。最后一级最简单的子模式称为模式基元,要求基元的识别比识别模式本身容易得多。第1章绪论结构模式识别把观察对象表达为一个由基元组成的句子;将模式类表

13、达为由有限或无限个具有相似结构特性的模式组成的集合。基元构成模式所遵循的规则即为文法,或称句法。与统计模式识别类似,用已知类别的训练样本进行学习,产生该类或至少是这些样本的文法,这个学习和训练过程称为文法推断。因此,结构模式识别又称为句法模式识别。第1章绪论结构模式识别系统的组成框图如图1-4所示。其中,模式表达包括两部分:模式分割和基元及关系的识别。对于一个模式,经过预处理并对模式分解提取基元后,得到表征模式的句子,然后进行句法分析,判断它是否能被代表某个模式类的文法所接受,最终给出模式结构描述和识别结果。第1章绪论图 1-4结构模式识别系统的组成框图在实际应用中,统计方法和句法分析往往相互

14、配合、互相补充。一般地,采用统计方法完成基元的识别,再用句法分析来表达模式的结构信息。第1章绪论3.模糊模式识别模糊模式识别模式识别的实质就是判定观察对象(元素)和模式类(集合)之间的从属关系。传统的集合论中,元素和集合的关系是非常绝对的,要么属于,要么不属于,两者必居其一,而且二者仅居其一,绝不模棱两可。基于传统的集合论的判决方式称为硬判决,其中,待识别的对象只能是属于多类中的某一类。第1章绪论模糊集合论采用隶属度来描述元素属于一个集合的程度,用来解决信息的不确定性问题。模糊模式识别是以模糊集合论为基础,对应的判决方式是一种软判决,识别结果是观察对象属于每一类的隶属度。根据需要,利用某种原则

15、可以把模糊模式识别的软判决结果转化为硬判决。此时,隶属度成了用于判决的一个二次特征。第1章绪论4.神经网络模式识别神经网络模式识别人工神经网络,简称神经网络,是由大量简单的处理单元广泛互连而成的复杂网络,是在现代生物学研究人脑组织所取得的成果基础上提出的,用以模拟人类大脑神经网络结构和行为。第1章绪论模式识别的研究目标是利用计算机实现人类的识别能力,而人对外界感知的主要生理基础就是神经系统。因此,根据人脑生理结构构造而成的人工神经网络系统具有用于模式识别的理论和结构基础。事实上,模式识别是人工神经网络最成功的应用领域之一。神经网络模式识别主要利用人工神经网络的学习、记忆和归纳功能,先根据训练样本,训练分类器,再利用分类器对待识别对象进行分类决策。第1章绪论5.多分类器融合多分类器融合对于模式识别问题,其最终的目标是得到尽可能好的识别性能。为了实现这一目标,传统的做法是设计不同的分类方案,再根据实验结果,选择一个最好的分类器作为最终的解决方法。过去十多年中,对分类器研究的焦点从单个分类器的研究转移到多分类器系统的研究。多分类器融合,也称多分类器集成,就是融合多个分类器提供的信息,得到更加准确的分类(识别)结果。多分类器融合是信息融合技术在模式识别中的应用,利用多个分类器之间的互补性,能够有效地提高分类的准确度。