大学精品课件：模式识别pattern recognition c5.ppt

1、遥感信息工程学院1 模式特征分析与选取模式特征分析与选取 第五章第五章1第五章第五章模式特征分析与选取模式特征分析与选取 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院2第五章 模式特征分析与选取 第一节 描述模式分布状态的测度 第二节 特征提取的方法 第三节 离散K-L变换 第四节 利用K-L变换的分类特征提取第五节 增维问题 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院3n模式识别建立在对模式特征量化的基础上。首先要对表征模式的各种特征加以量测或量化，得到每一模式的特征数值集合，或特征向量，然后根据不同类型模式具有不同的特征数值集合，进行自动辨别。

2、n问题一：特征数值向量的分量个数很多（或维数很多），但是否都能有效地代表各类模式，针对不同的对象，是否都需要那么多特征来进行辨别。n结论：模式维数很高的情况下，计算量太大，且识别精度并不一定随着维数增多而提高。如陆地卫星1号有十二个波段的数据，而从识别精度来分析，三、四个波段的组合却是最好的，下图说明了有关方面的实验结果。这里有个特征挑选和优化的问题，或最佳组合的问题，也就是说需要选择最有代表性的特征。针对不同的研究对象，还需要进行不同的特征组合。第五章 模式特征分析与选取 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院4特征数值与识别精度的关系第五章 模式特征分析与选取

3、模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院5n问题二：有时特征量测值较少，模式集合处于低维空间，给自动分类带来困难。比如热红外航片数字化以后只有一维，这时需要考虑引入辅助数据，或其它影像数据以增加维数。n结论：为了提高识别精度而采取增加模式维数的方法。n综上所述，模式特征要进行特征优化、特征选取，而特征优化的前提是特征分析。本章所介绍的就是特征分析的理论。第五章 模式特征分析与选取 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院6第一节 描述模式分布状态的测度n各种模式在特征空间的分布状态是模式识别成功与否的一个重要因素。只有对这一分布状况进行分析，

4、才能断定描述模式的特征空间是否有利于分类，才能决定哪些特征是起主导作用的，哪些特征是可以忽略，从而进行特征的选取。n一般描述模式在特征空间的分布状态有如下几种方法：模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院7n一、欧氏距离一、欧氏距离 tntnbbbbaaaa、2121 ,模式1 1.模式与模式间的距离：模式与模式间的距离：21,iinitbababababaDnkikkmiimiiiaxmaxDmaxDmiax1212121,1,2,1,:之间距离为与点集第一节 描述模式分布状态的测度 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院82 2.类内距

5、离类内距离 同一类模式内所有点之间距离平方的平均值。若同类点集为：则类内距离为：,2,1,miaijimjiaaDDji且;,2,1,22类内距离用类内所有样本的方差表示为：2122knkD类内方差的大小反映了同一类模式的凝聚情况，即所有同类模式之间的距离的波动情况。第一节 描述模式分布状态的测度 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院93 3.类间距离类间距离 两类模式集合 ，各有 和 个样本，则类间距离为:jiba 和aKbKbajikjkibaD,2,1;,2,1,222112kknkmmD 类间距离也可以用两类的中心点（均值）之间的距离来表示:类间距离反映了

6、不同类别在特征空间中的差异程度。第一节 描述模式分布状态的测度 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院10n二、离散度二、离散度 令 离散度是另一种形式的距离概念，它以似然比表示，可以作为一个准则来确定选取哪些特征量以更好地区分诸类样本。1 1.似然比似然比 iixPxP jjxPxPijxij xPxPnjiij似然比 为模式 对于 和 两类归属明确程度的度量：第一节 描述模式分布状态的测度 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院11 2 2.离散度离散度所有样本对于 和 两类归属明确程度的平均量度为：ij dxxPxPnxPxEjiI

7、jiXjiji,ji dxxPxPnxPxEijIijXjjij,dxxPxPnxPxPijIjiIJjiXjiij,对于 和 归属明确程度的平均量度为：离散度第一节 描述模式分布状态的测度 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院12 离散度表示两类样本可区分程度的量度。n三、特征变换与排序三、特征变换与排序 对于同一类样本，即 时，有 。对两类样本，即 时，有 ，并且 。可见离散度以似然比函数的积分表达了两类模式的差异性，并具有距离函数的性质。当知道两类模式的分布规律之后，就可以计算其离散度。ji 0ijJji 0ijJjiijJJ利用正交矩阵 对样本x实施线性变

8、换得：xy第一节 描述模式分布状态的测度 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院13 为nn矩阵，由n个行向量i构成。当的各行向量为样本集合x协方差矩阵Cx的本征向量，对应于各本征向量i，(i=1,2,n)有本征值i(i=1,2,n)。实施正交变换后的样本集y的协方差矩阵：txyCC Cy实际上是由i构成的对角矩阵：nyC0021第一节 描述模式分布状态的测度 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院14 可见i是样本y各本征分量的方差，即 niii,2,1,2它们同时也是Cx的本征值。由于它们提拱了变换后的特征分量的方差信息，就有利于对变

9、换后的特征进行分析，比如x为同一类模式，则i的大小就反映了变换后该类的凝聚水平，相应于较小的i的特征是反映凝聚状态较好的那一维。而当x为多类模式集合时，将i按大小排列，就能发现较大的i所对应的那几维对分类有利，因为方差大的反映分离的状况好。xCxiixii第一节 描述模式分布状态的测度 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院15n四、熵四、熵 设某类样本x出现的概率为P(x)，则用来度量类内异样性的总体熵为:xnPEH 当对于该类中所有样本，P(x)=1 时，H=0，即不确定性量度值为0，当各样本出现的概率各异，H 值也随之变化。一般对 M 类样本，若每一类的概率密

10、度为:则每一类 的总体熵为:,2,1,mjxPiixiiidxxnPxPH第一节 描述模式分布状态的测度 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院16 当 为正态分布时，有：ixP2212121221212121exp211212nnCnndxnnCnmxCmxmxCmxCHiiiitiiitixini可见，熵 H 仅与样本的协方差矩阵 C 有关。第一节 描述模式分布状态的测度 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院17 对于一维模式来说，是样本方差，这个方差值越小，则H 值越小,它表示凝聚程度越高。对于多维模式来说，若所有样本X 经过线性

11、变换，则 为C 的各本征值的乘积，即CnC2121211nnHiniC这些本征值也就是各个方差值。于是，同样可以对类别的凝聚情况进行分析。第一节 描述模式分布状态的测度 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院18n在特征维数较多的情况下，选取其中有利于分类的特征，以减少特征维数，减少内存负担，加快运算速度，提高效率，是自动分类中的一个重要问题。n如何降低维数，保证有较好分类精度呢？一般要依据一些准则，这些准则是利用前节所述测度理论进行的。第二节 特征提取的方法 概述概述 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院19n模式识别中压缩特征空间的

12、方法可分为两类：1 1、特征提取、特征提取 用映射（或变换）的方法把原始特征变换为较少的新特征，称为特征提取。2 2、特征选择、特征选择 从原始特征中挑选出一些最有代表性，分类性能最好的特征来，称为特征选择。第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院20n特征提取PCA（主元分析法）一般来说，进行特征提取后，不能完全地表示原有的对象，总会有一点损失。在给定容许的损失后（比如1%的能量），我们总希望用最少的比特达到这一要求，也就是找一种是能量最为集中的的变换方法。在所有正交线性变换中，这种最优的变换是Karhunen-Loeve(KL)变换，相应的

13、特征提取方法被称为Principle Component Analysis(PCA)。第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院21n特征提取PCA（主元分析法）一般来说，进行特征提取后，不能完全地表示原有的对象，总会有一点损失。在给定容许的损失后（比如1%的能量），我们总希望用最少的比特达到这一要求，也就是找一种是能量最为集中的的变换方法。在所有正交线性变换中，这种最优的变换是Karhunen-Loeve(KL)变换，相应的特征提取方法被称为Principle Component Analysis(PCA)。我们希望通过变换，用较少的数近似表示

14、原来的较多的数，而且误差尽量的小。第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院22n特征提取LDA（线性分析方法）线性判别分析：LinearDiscriminantAnalysis(LDA)Fisher(1936),Rao(1965)Fisher线性判别函数：基本思想是，找一个方向作投影，使得投影后的数据类间距尽可能大，类内距尽可能小。这实际上是两类数据的特征提取，提取的特征数是。这一思想可以推广到任意类数据，提取任意多个特征。第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院23n特征选择 特征选择是从原始

15、特征中挑选出一些最有代表性，分类性能最好的特征来。每个特征的状态是离散的选与不选 从N个特征中选取k个,共 种组合.若不限定个数，则共 种。.这是一个典型的组合优化问题kNCkN2N1NCCC第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院24n特征选择的方法大体可分两大类：Filter（滤波）方法：并不考虑所使用的学习算法。通常给出一个独立于分类器的指标来评价所选择的特征子集S，然后在所有可能的特征子集中搜索出使得最大的特征子集作为最优特征子集。Wrapper（包装）方法：将特征选择和分类器结合在一起，即特征子集的好坏标准是由分类器决定的，在学习过程

16、中表现优异的的特征子集会被选中。第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院25n一种Filter算法:FOCUS 该算法致力于寻找一个能够正确区分所有类别的最小特征集合。.例如，若区分每个人的特征有：姓名、性别、籍贯、工作单位、身份证号则该算法会选择：身份证号.搜索时先看一个特征能否正确区分样本，若不能，则考察两个特征以此类推第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院26n一种Wrapper算法：OBLIVION.该方法与最近邻法结合，根据特征子集的分类表现来选择特征.用顺序后退法搜索特征子集：从全

17、体特征开始，每次剔除一个特征，使得所保留的特征集合有最大的分类识别率（基于最近邻法).依次迭代，直至识别率开始下降为止.用leave-one-out 方法估计平均识别率：用N-1个样本判断余下一个的类别，N次取平均第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院27 一、独立特征的选取准则一、独立特征的选取准则 若原始的各特征量测值是统计独立的，即其相关性很小，则可利用训练样本集逐一对各特征分量进行分析，看其对于各类样本可分性的程度大小如何。对于 和 两类n维样本，其第k维的样本均值为mik和mjk，方差为 和 。准则函数：ijikjk),(n21km

18、mG2jk2ik2jkikkkGijnkGk,2,1,愈大，第k维特征对 与 两类的可分性愈好。将 按大小排列，选其前m个特征，即可保证有较好分类结果。第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院28二、一般情况下的特征选取准则二、一般情况下的特征选取准则 考虑到各特征分量之间常常存在相关性，可采用如下准则：1 1.散布矩阵准则散布矩阵准则(1).类内散布矩阵类的均值向量。类中的样本，iiiitiiiiiCiwmxmxmxEPS 1样本总体均值。0001,mmmmmPStiiiCib(2).类间散布矩阵第二节 特征提取的方法 模式特征分析与选取模式

19、特征分析与选取 第五章第五章遥感信息工程学院29(3).总体散布矩阵样本集任意样本xmxmxESSStoobwt 显然，的迹的值愈小，的迹的值愈大，类别可分性愈好，故可采用所谓散布矩阵迹准则：wSbSbwtSStrJ1tJ当利用散布矩阵准则时，一般需要足够数量的样本，对于各种特征的组合，计算使 最大的组合，作为最佳组合，得到最佳特征选取方案。第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院30 2 2.散度准则散度准则 当类概率密度分布为正态分布时，散度准则：jijitjiijjitjijijiijjiijmmCCmmICCCCtrmmmmCCtrCC

20、CCtrJ11111111212212121 显然，使 最大的特征子集，就是适于分离 和 两类模式的最佳选择。ijJij对于多类模式，以平均散度作为准则，即：ijjiCijCiJPPJ11第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院31 上式是对两两类别的 值相加而得的。这种根据平均散度选择特征的方法虽然合理，但容易掩盖某些散度较小的类对。因为只要其中某些类对散度很大，计算平均散度时就有显著数值。为此，将上述散度公式加以改化，定义变换散度8/exp1%100ijTijJJTijJTijjiCijCiTJPPJ11平均变换散度准则为：ijJ第二节 特

21、征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院32 当 相当大时，只不过平稳趋于100%处，此处被称为“饱和态”。而对较小散度的变化，则较为敏感。下图指出了对于变化的敏感度，说明了它们之间的单调变化规律。TijJijJ第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院333 3.Bhattacharyya.Bhattacharyya距离和距离和Jeffries-Jeffries-MatusitaMatusita距离准则距离准则 （即J-M距离准则）这也是对于正态分布模式的特征选取准则。当两类模式的协方差矩阵相近或相等时，

22、有Bhattacharyya距离公式 jitjiijmmCmma181对多类模式，Bhattacharyya距离准则为：jijiCijCiaPPa11第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院34 显然，与散度准则一样，存在数值大的 项掩盖数值较小项的问题。故也采取改化方法，得到J-M距离公式：ija21exp12ijMijaJMijJijaMijjiCijCiMJPPJ11同样，与 之间的指数关系也有利于克服上式的不足。对多类模式，J-M准则为：第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院35三、穷

23、举法三、穷举法 对于n维模式，选取m维特征作为分类特征，利用散布矩阵迹准则，变换散度准则和J-M距离准则，都需要从 种特征组合中进行最佳组合选择，即将K种特征子集的准则函数值按从大到小顺序排列，选出最优组合。这样做虽然能比较全面地了解所有特征对各类的可分性信息，但当维数n很大时，计算量相当大。为此，可采取某种简化算法，所谓最大的最小类对距离法就是其中一种方法。mnCK 第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院36 此方法是从C类中选出最难分离的一对类别，即选用对应于C类中类对距离最小的准则函数数值，来代替变换散度或J-M准则。此时，首先用散度或

24、B氏距离计算出C类中每一类别对之间的距离 ，再从所有 中选出最小值，即ijdijdCijCiddijK,1;,2,1minmnCK KdKdKd KLcijjiciddijL,2,1,1,2,1minmax这一计算只针对某一特征子集，按穷举法，对 个特征子集实施 计算，然后将这K个 值按大小排列，从中选出最大的 值，即：第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院37 对应于d的特征子集，就是最佳的特征组合选择。此方法可以避免变换散度和J-M准则中的许多对数计算。四、最小熵法四、最小熵法 熵越小，表示类别凝聚的状态越好，而熵与协方差矩阵的本征值 直

25、接有关。对于n维模式，熵定义为：i2lnln1211iniyHi所以在特征选取时，就须选择那些与较小 相对应的特征分量。第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院38一般说来，对于每类模式，由于 不同，各类较小的 也不相同，实际计算时，认为各类协方差矩阵相同，即以此作为近似条件来确定较小的 ，以由它们对应的本征向量组成变换矩阵A，对原来的模式向量x施以线性变换：2lnln1211inimmyHHiCiMCCCC21iAxy 对于M类模式，总体熵的总和为：这样，就可以降低维数，得到分类所需的特征分量。第二节 特征提取的方法 模式特征分析与选取模式特

26、征分析与选取 第五章第五章遥感信息工程学院39n五、五、OIFOIF（OptimumOptimum Index Factor Index Factor）指标指标 OIF指标是ARIES一III图像处理系统中采取的一种简单易行的模式可分性测度和特征选取方法。其定义为：SOIF其中分子为样本各维标准差之和，分母为各维之间相关系数的绝对值的和，它表明在各维之间相关系数绝对值之和越小（即特征之间相关性小），而标准差之和越大（即区分各类别的可能性大），OIF指标值越大，则模式可分性越强。第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院40例：西藏班戈县西扎乡陆地

27、卫星MSS四个波段的影像窗（850像元1100像元）按32象元间隔采样，共计29325个象元，计算每三个波段的OIF值，结果如下表，四种波段组合及其OIF值列入表中，最佳组合为第4、6、7波段，而第4、5波段同时出现在组合中时，OIF值较低。这是因为这两个波段之间相关系数比较大，这与通常对MSS四个波段的分析是一致的。F1F2F3OIF46748.0056744.9445644.8345744.80第二节 特征提取的方法 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院41n 从n维特征选取m维特征，删去的n-m维特征不一定就是无用的信息，如何在信息损失最小的情况下选取特征，

28、在理论上就显得更严密些。通常采用正交变换，得到新的经变换的模式，以保证信息损失最小情况下获得有利于分类的特征。离散K-L变换（Karhunen-Loeve变换）就是常用的方法。第三节 离散K-L变换 n一、离散一、离散K-LK-L展开展开 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院42 若将连续随机函数X(t)和连续正交函数 在 内等间隔取n个离散点，即：tj21、TT n、tnX、XXtXjjjj2121 njn、tnX、XXtXtjjjjt,2,12121ajjnjaX1写成向量形式：将X(t)用 的线性组合来展开（离散K-L展开式），它将随机向量x展开为一组正交向

29、量的线性和：tj第三节 离散K-L变换 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院43tnaaaa21 nnnnnnnnn21212121222111矩阵为实际上是由 向量组成的正交变换矩阵。j第三节 离散K-L变换 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院44j的确定：是x的自相关矩阵R的本征向量组成，当需要写出x的K-L展开式时，首先须计算x的自相关矩阵R=E(XXT)，然后求R的本征向量，得：n21Xat 的确定：由于 为正交矩阵，有：a第三节 离散K-L变换 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院45n二、根

30、据二、根据K-LK-L展开式选择特征展开式选择特征 若以m个本征向量组成矩阵 ，为使误差最小，应采用较大的本征值所对应的本征向量。为此，将本征值按大小排列编号，即：采用前面m个 所对应的本征向量组成变换矩阵 ，就可以使变换误差最小。这种变换称为K-L变换。由于前m个 起了主要作用，这种变换也常称为主成分（或主分量）变换。021nii在作K-L变换前，应先将样本集 的均值作为新坐标轴的原点。由于无论采用协方差矩阵 还是自相关矩阵R来计算本征值，结果都是一致的。x RxxExExxExECttxxC第三节 离散K-L变换 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院46544

31、5,56,65,55:56,65,54,45,55:2100544555101m5.021PP51jtj2j2tj151jj1tiii21ixx5121xx5121xxEPR例(P89)：有两类模式：用K-L变换来作一维特征提取。解：1、求样本总体均值向量：无需做坐标平移令2、求自相关矩阵：第三节 离散K-L变换 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院4742502502542554545555101R.0 IR3、求本征值和本征向量：解本征值方程0425025025425.00.254.2522即：解得R的本征值4.04.5021由 解得本征向量为：iiiR112

32、1112121第三节 离散K-L变换 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院48这是原模式在向量轴 上的投影。1XYt29,29,211,211,210:211,211,29,29,210:211由 求得变换后的一维模式：4、取 作为变换矩阵，将原样本变换为一维 的样本。第三节 离散K-L变换 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院49第三节 离散K-L变换 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院50 K-L变换能在信息损失最小的情况下获得互不相关的新特征。由于这种变换是沿着方差较大的几个方向选取新坐标系的轴系

33、，变换的结果就突出了差异性，减小了相关性，当进一步考虑提取有利于鉴别不同类别的特征时，这一变换特性就成为分析的依据。在进行K-L变换时，可以根据不同的散布矩阵求得其本征向量，以构成变换矩阵，而这样作的结果对提取鉴别各类模式的信息具有不同的效应。第四节 利用K-L变换的分类特征提取 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院51一、按总体散布矩阵作一、按总体散布矩阵作K-LK-L变换变换 所有各类模式的总体散布矩阵 这种散布矩阵实际上是样本总体的协方差矩阵，在实施K-L变换时，若以该矩阵的较大本征值对应的本征向量构成变换矩阵，不仅能在均方误差最小的前提下保留原模式的主要信

34、息，而且突出了各类模式的差异性或可分性信息。故常常对样本实施K-L变换，然后以新的模式作为分类对象。ttmxmxES00第四节 利用K-L变换的分类特征提取 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院52二、按类内散布矩阵作二、按类内散布矩阵作K-LK-L变换变换类内散布矩阵为：CixmxmxEPSitiiCiw,2,111 是各类模式协方差矩阵之和。若用此矩阵作K-L变换，从分类的角度出发，希望各类模式的类内距离最小，因此，常选用较小本征值对应的本征向量组成变换矩阵。但这时不是以突出差异性为主，就需要进行分析。将各类模式按这样的变换矩阵映射到二维空间，若每类模式凝聚性

35、好，各类模式之间可分性也好，就可以进行变换后的分类，但若仅仅每类模式凝聚性好，类间可分性差，就不宜作变换后的分类。第四节 利用K-L变换的分类特征提取 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院53分析：图（a）属于变换后可分性较好的情况，各类模式分别投影到 轴上没有重叠。反之，图（b）中所示情况，投影到 轴上都有重叠，就不宜根据组成的变换矩阵作变换处理。21,21,第四节 利用K-L变换的分类特征提取 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院54三、按类间散布矩阵作三、按类间散布矩阵作K-LK-L变换变换 自动分类主要依赖于各类特征之间的差异

36、性，故利用类间散布矩阵进行K-L变换是十分重要的。类间散布矩阵为：toioiiCibmmmmPS1计算类间散布矩阵的本征值，按其大小排列，选择对应于较大本征向量构成变换矩阵，就可以得到有利分类的降维后的新模式。mi-类的均值向量，m0-所有类模式的总体 均值向量。第四节 利用K-L变换的分类特征提取 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院55在维数较高的情况下，究竟降维到何程度比较适宜，利用几何图形进行直观分析常常比较困难，可利用散布矩阵的迹准则来进行判断。设n维模式的类内和类间散布矩阵为 ,变换散布矩阵可由下式求得：BWSS 和BtBMWtWMSSSSBMWMSS

37、trJ1降维程度讨论：计算出几种不同降维变换矩阵的J值，选择对应于较大J值的变换方案，就可以得到有利分类的新模式。迹准则：第四节 利用K-L变换的分类特征提取 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院56例(P92)：下图所示为两类模式样本分布，试确定 特征提取的维数。解：（1）采用类内散布矩阵 311131113161:wwSS对应的本征向量为：1,4321tt1113111021321其本征根为：第四节 利用K-L变换的分类特征提取 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院57 当采用大本征根 和 对应的本征向量时，均有J=0，下图(a)

38、、(b)即为采用 和只采用 作变换后所得新模式的分布，显见两类混杂，不易区分。当采用小本征根 和 对应的本征向量时，则有J=3，从J值看，比上述变换方案中的J值大，效果好些。图(c)、(d)证实了这一点，它们分别以 和单独以 组成变换矩阵，得到了较好的变换结果。1221、13232、3第四节 利用K-L变换的分类特征提取 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院58y y1 12222b:b:选用选用1 1,J=0,J=0y y1 13333d:d:选用选用3 3,J=3,J=3y y1 1y y2 222222222a:a:选用选用1 1;2 2,J=0,J=0y

39、y1 1y y2 222333322c:c:选用选用2 2;3 3,J=3,J=3 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院59 采用 和单独采用 时，均有J=3。变换结果分别为下图(a)和(b)。可见，与前面采用类内散布矩阵时最小本征值所对应的 相同，其变换效果也相同。111111111161bS0,3321tt011211113132121、113解：（2）采用类间散布矩阵其本征根为：对应的本征向量为：第四节 利用K-L变换的分类特征提取 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院60 两类模式间的最近距离也是在作这种变换后最大，说明采用类

40、间散布矩阵时应取大本征值所对应的本征向量组成变换矩阵，采用类内散布矩阵时，一般则应考虑小本征值所对应的本征向量。y y1 13333d:d:选用选用1 1,J=3,J=3y y1 1y y2 222333322c:c:选用选用1 1;2 2,J=3,J=3第四节 利用K-L变换的分类特征提取 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院61第五节 增维问题 n在某些方面的自动分类过程中，为了提高分类精度，除了选择可分性强的特征进行降维处理外，还需要增加辅助数据，有时就将增加的辅助数据作为一维加入分类，从而得到了更好的分类效果。n比如，在遥感影像自动分类，纯粹依据光谱空间的

41、信息进行分类有一定的局限性，各类地物在光谱空间的分布界线或界面不清晰，互相混杂，如图所示，这时自动分类较困难。模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院62 若利用辅助数据，比如数字地面模型、土壤类型图，等等，选择某一种或几种辅助数据，将其数字化后，作为新的一维（或几维），从新的“特征”去分析各类别，如果各类别在光谱空间的重叠可通过辅助数据大部分区分开来，就说明在新的特征空间（包括辅助数据那一维或几维）类间距离大大增加，也就是说类别可分性增加了，这样就可以大大改善分类精度。所以，针对具体问题选择合适的辅助数据以增加类别可分性是十分重要的。第五节 增维问题 模式特征分析与

42、选取模式特征分析与选取 第五章第五章遥感信息工程学院63n实例：在利用空间试验室彩红外影像进行藏北草资源调查自动分类的尝试中，高空摄影影像经数字化，得到三个“波段”数据（其中第三“波段”在数字化时已基本上没有什么信息）。进行自动分类效果不好。后根据草场垂直分布特点，加进DTM“影像”和坡度、坡向数据等，在增加维数、增加地理信息的基础上进行自动分类，取得了较好的效果。n不同类型的遥感数据复合，也是属于增维方面的问题。如上述空间试验室影像光谱段少，于是将Landsat影像与之复合，分类结果得到草场专家较高的评价。n从上述分析看，增维问题涉及到辅助数据的应用和数据复合技术。而增维问题往往是出于增加更

43、多信息，模仿人工识别，考虑更多的因素，实际上是一种模式识别的智能化。第五节 增维问题 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院64一、辅助数据的应用一、辅助数据的应用n在分析影像，判读解译时，往往要考虑光谱信息的背景条件，如高程、坡向、土壤类型、温湿度条件、人文因素等，这促使人们考虑如何在识别中利用辅助条件。而自动分类一旦引入有关辅助数据，分类精度就大大提高。例如联邦德国汉诺威大学在利用陆地卫星影像数据对海滩沉积进行分类时，分出了沙、轻度泥沙、泥沙、泥性泥沙和泥等五类。由于考虑到海滩泥沙的光谱反射率与泥沙当时的湿度有关，而湿度又与低水时刻（落潮）有关（该地带每天两次被

44、涨潮水淹没），于是将每一像素所对应地点的低水时刻作为一种辅助数据引入到分类过程中，分类效果较好。武汉大学与甘肃草原生态研究所合作，在进行西藏班戈县三万平方公里草资源分布调查计算机分类时，根据草型垂直分布的特点（即不同高程地带，草型不同），引入了数字地面模型（DTM）数据，加上其它处理技术，分类精度达90%以上。第五节 增维问题 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院65n凡与所研究的对象关系密切的资料、统计数据、专题图等都可以作为辅助数据在自动分类中发挥作用，其种类是十分多的。对于同一幅影像，土壤专家的判读结果又可以作为其它资源调查（如林种分布、农田类型分布）自动分

45、类的辅助数据。一个地区不同高度上的气像台站的观测数据经过整理、分析、计算，就可以成为该地区资源调查自动分类的重要参数。第五节 增维问题 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院66n辅助数据的利用：1 数字化。2 辅助数据应有数据类型，属性。3 与主要数据相匹配。n使用辅助数据有两种方式：1直接加入分类：直接加入分类是将辅助数据看作一个“波段”，和影像各波段一起参加分类，如上述西藏草资源调查自动分类时就是这样。直接加入分类的另一种情况是当采用最大似然法计算条件概率时利用辅助数据。2 间接发挥作用：间接作用是指不加入分类，仅在作逻辑处理时使用。第五节 增维问题 模式特征

46、分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院67n在分类之前、分类过程中、分类之后都可以利用辅助数据。分类过程中使用，即直接加入分类和分类中的逻辑判断。分类之前使用如首先根据DTM将不同高程带的数据分开，然后依各高程带分别分类。分类之后利用辅助数据则是作后处理。比如对自动分类过程中未划归类别的像素根据某种辅助数据确定归属，例如长在盐碱地的草定为碱茅等。这就是所谓间接发挥作用。第五节 增维问题 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院68二、数据复合技术的利用二、数据复合技术的利用 数据复合技术是近几年发展起来的新技术，不同数据的复合实际上就是地面上同一位

47、置的地物点上多种信息的组合。比如对于地面点（X,Y），除了各种光谱信息外，还有高程、所在地貌单元、土壤类型、温湿度情况、交通情况、人口密度等。而光谱信息也包括许多层次，如黑白航片、彩红外片、卫星像片等相应的信息数据。所有这些，可以看作是在一个n维信息空间上一点的所有信息。第五节 增维问题 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院69n各种数据必须保持几何位置的一致，否则，无法进行综合分析。n多重影像数据的复合，就是首先将所有要采用的影像数据按同一地面坐标起始点，同样的纠正范围，同一重采样步距实施纠正，然后才能完成复合。n影像数据复合可以将不同类型的遥感数据叠合在一起进

48、行分类。例如中国科学院有关单位将SPOT影像与TM影像数据进行数据复合，使SPOT的较高空间分辨率与TM的较高光谱分辨率结合起来，收到了较好的效果。n影像数据复合还可以进行变迁监测，不同时域的影像复合后，就可以分析哪些部分是未变成分，哪些部分是变化了的成分。第五节 增维问题 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院70三、纹理分析三、纹理分析n所谓纹理信息是指灰度的空间频率分布的变化。纹理分析包括统计纹理分析和结构纹理分析。n简单的统计纹理分析是取一个合适的滑动窗，按某一算子作卷积。这些算子有均值、均方差、局部反差增强、局部梯度算子、局部边界算子等。n所谓结构纹理分析

49、，是研究影像结构单元的空间分布，它需要首先确定由颜色、大小和形式等特征所代表的结构单元，然后分析这些结构单元之间的关系。第五节 增维问题 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院71四、智能化四、智能化专家意识的注入专家意识的注入n模式识别的本质是尽可能按照人的意愿实施分类自动化。在人工智能、专家系统的研究日益深入的今天，要求模式识别更加智能化。所谓智能化即尽可能模仿人的思维、举动。工厂里的机器人是模仿人的机械动作，这要简单一些。“对奕”的机器人是模仿人的思维，这就比较复杂了。模式识别的智能化则是根据具体的任务，参照有关专家在执行这项任务时所采用的理论、技术、方法，尽

50、可能地在计算机上实施。第五节 增维问题 模式特征分析与选取模式特征分析与选取 第五章第五章遥感信息工程学院72n例如草资源分布调查，根据草原分类理论，第一级分类要考虑水热指标，它与温度、湿度有关，也与高程有关，高程越高，温度越低，湿度越大，草型分布随之而变。第二级分类要考虑地貌分区、土地条件。如何在计算机上实施呢？简单地直接利用DTM，就可以顾及第一级要求。严格地按要求办，则是根据所研究地区不同高度的气象台观测数据，计算温度曲面和湿度曲面。考虑地貌分区则可以采用按自然区的影像分割方案，比如将山地影像和宽谷平原影像分开，分别分类。前述西藏班戈草资源调查，就是采取了这种方法，才收到了较好的效果的。