模式识别7特征选择和提取课件.ppt

1、 特征选择和提取 特征选择和提取 特征选择和提取是模式识别中的一个关键问题 前面讨论分类器设计的时候，一直假定已给出了特征向量维数确定的样本集，其中各样本的每一维都是该样本的一个特征；这些特征的选择是很重要的，它强烈地影响到分类器的设计及其性能；假若对不同的类别，这些特征的差别很大，则比较容易设计出具有较好性能的分类器。特征选择和提取 特征选择和提取是构造模式识别系统时的一个重要课题 在很多实际问题中，往往不容易找到那些最重要的特征，或受客观条件的限制，不能对它们进行有效的测量；因此在测量时，由于人们心理上的作用，只要条件许可总希望把特征取得多一些；另外，由于客观上的需要，为了突出某些有用信息

2、，抑制无用信息，有意加上一些比值、指数或对数等组合计算特征；如果将数目很多的测量值不做分析，全部直接用作分类特征，不但耗时，而且会影响到分类的效果，产生“特征维数灾难”问题。特征选择和提取 为了设计出效果好的分类器，通常需要对原始的测量值集合进行分析，经过选择或变换处理，组成有效的识别特征；在保证一定分类精度的前提下，减少特征维数，即进行“降维”处理，使分类器实现快速、准确和高效的分类。为达到上述目的，关键是所提供的识别特征应具有很好的可分性，使分类器容易判别。为此，需对特征进行选择。应去掉模棱两可、不易判别的特征；所提供的特征不要重复，即去掉那些相关性强且没有增加更多分类信息的特征。特征选择

3、和提取 说明 实际上，特征选择和提取这一任务应在设计分类器之前进行；从通常的模式识别教学经验看，在讨论分类器设计之后讲述特征选择和提取，更有利于加深对该问题的理解。特征选择和提取 所谓特征选择，就是从n个度量值集合x1,x2,xn中，按某一准则选取出供分类用的子集，作为降维（m维，mn）的分类特征；所谓特征提取，就是使(x1,x2,xn)通过某种变换，产生m个特征(y1,y2,ym)(m2，故最优2x1特征提取器此时的K-L变换式为：19.59.59.57.5C0.8750.4820.4820.875V10.8750.482Uu120.8750.482TTxUxyxux特征提取7.3 离散K-

4、L变换5.3.1 离散的有限K-L展开 展开式的形式 如果对c种模式类别ii=1,c做离散正交展开，则对每一模式可分别写成：xi=ai，其中矩阵 取决于所选用的正交函数。对各个模式类别，正交函数都是相同的，但其展开系数向量ai则因类别的不同模式分布而异。K-L展开式的性质 K-L展开式的根本性质是将随机向量x展开为另一组正交向量j的线性和，且其展开式系数aj（即系数向量a的各个分量）具有不同的性质。在此条件下，正交向量集j的确定 K-L展开式系数的计算步骤7.3 离散K-L变换5.3.2 按K-L展开式选择特征 K-L展开式用于特征选择相当于一种线性变换。若从K个特征向量中取出m个组成变换矩阵

5、，即=(1 2 m)，mK此时，是一个n*m维矩阵，x是n维向量，经过Tx变换，即得到降维为m的新向量。选取变换矩阵，使得降维后的新向量在最小均方差条件下接近原来的向量x7.3 离散K-L变换5.3.2 按K-L展开式选择特征 结论 从K-L展开式的性质和按最小均方差的准则来选择特征，应使Eaj=0。由于Ea=ETx=TEx，故应使Ex=0。基于这一条件，在将整体模式进行K-L变换之前，应先将其均值作为新坐标轴的原点，采用协方差矩阵C或自相关矩阵R来计算特征值。如果Ex0，则只能得到“次最佳”的结果。7.3 离散K-L变换5.3.2 按K-L展开式选择特征 结论 将K-L展开式系数aj（亦即变

6、换后的特征）用yj表示，写成向量形式：y=Tx。此时变换矩阵用m个特征向量组成。为使误差最小，不采用的特征向量，其对应的特征值应尽可能小。因此，将特征值按大小次序标号，即1 2 m n=0若首先采用前面的m个特征向量，便可使变换误差最小。此时的变换矩阵为7.3 离散K-L变换5.3.2 按K-L展开式选择特征 结论 K-L变换是在均方误差最小的意义下获得数据压缩的最佳变换，且不受模式分布的限制。对于一种类别的模式特征提取，它不存在特征分类问题，只是实现用低维的m个特征来表示原来高维的n个特征，使其误差最小，亦即使其整个模式分布结构尽可能保持不变。7.3 离散K-L变换5.3.2 按K-L展开式选择特征 结论 通过K-L变换能获得互不相关的新特征。若采用较大特征值对应的特征向量组成变换矩阵，则能对应地保留原模式中方差最大的特征成分，所以K-L变换起到了减小相关性、突出差异性的效果。在此情况下，K-L变换也称为主成分变换。7.3 离散K-L变换5.3.2 按K-L展开式选择特征 K-L变换实例 原始模式分布 特征提取作业 设有如下两类样本集，其出现的概率相等：1：(0 0 0)T,(1 0 0)T,(1 0 1)T,(1 1 0)T2：(0 0 1)T,(0 1 0)T,(0 1 1)T,(1 1 1)T用K-L变换，分别把特征空间维数降到二维和一维，并画出样本在该空间中的位置。