大学学习资料：模式识别考题总结(详细答案).doc

1、模式识别考题总结模式识别考题总结( (详细答案详细答案) )1. 简述模式的概念及其直观特性，模式识别的分类，有哪几种方法简述模式的概念及其直观特性，模式识别的分类，有哪几种方法。 （6）答（1） ：什么是模式？广义地说，存在于时间和空间中可观察的物体，如果我们可以广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。区别它们是否相同或是否相似，都可以称之为模式。模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。模式的直观特性：可观察性；可区分性；相似性。模式的直观特性：可观察性；可区分性；相似性。答（2）

2、 ：模式识别的分类：假说的两种获得方法（模式识别进行学习的两种方法） ：监督学习监督学习、概念驱动或归纳假说；非监督学习非监督学习、数据驱动或演绎假说。模式分类的主要方法：数据聚类数据聚类： 用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据集。是一种非监督学习的方法，解决方案是数据驱动的。统计分类统计分类：基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。特征向量分布的获得是基于一个类别已知的训练样本集。是一种监督分类的方法，分类器是概念驱动的。结构模式识别结构模式识别： 该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目的。 （句法模式识别）神经网络神经网络

3、：由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以在不同的神经元之间传递增强或抑制信号。 增强或抑制是通过调整神经元相互间联系的权重系数来（weight）实现。神经网络可以实现监督和非监督学习条件下的分类。2. 什么是神经网络？有什么主要特点？选择神经网络模式应该考虑什么因什么是神经网络？有什么主要特点？选择神经网络模式应该考虑什么因素？（素？（8）答（1） ：所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统（计算机理系统（计算机） 。由于我们建立的信息处理系统实际上是模仿生理神经网络，因此

4、称它为人工神经网络。 这种网络依靠系统的复杂程度， 通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络的两种操作过程：训练学习、正常操作（回忆操作） 。答（2） ：人工神经网络的特点：固有的并行结构和并行处理；固有的并行结构和并行处理；知识的分布存储；知识的分布存储；有较强的容错性；有较强的容错性；有一定的自适应性；有一定的自适应性；人工神经网络的局限性：人工神经网络不适于高精度的计算；人工神经网络不适于做类似顺序计数的工作；人工神经网络的学习和训练往往是一个艰难的过程；人工神经网络必须克服时间域顺序处理方面的困难；硬件限制；正确的训练数据的收集。答（3） ：选取人工

5、神经网络模型，要基于应用的要求和人工神经网络模型的能力间的选取人工神经网络模型，要基于应用的要求和人工神经网络模型的能力间的匹配，主要考虑因素包括：匹配，主要考虑因素包括：网络大小；网络大小；所需输出类型；所需输出类型；联想记忆类型；联想记忆类型；训练方法；训练方法；时间的限定。时间的限定。3. 画出句法模式识别的框图，并解释其工作原理画出句法模式识别的框图，并解释其工作原理。 （8）答（1） ：句法模式识别框图如下：答（2） ：句法模式识别系统的组成：图像预处理，图像分割，基元及其关系识别，句法分析。基于描述模式的结构信息， 用形式语言中的规则进行分类， 可以更典型地应用于景物图片的分析。因

6、为在这类问题中，所研究的模式通常十分复杂，需要的特征也很多，仅用数值上的特征不足以反映它们的类别。句法模式识别系统处理过程： 基元本身包含的结构信息已不多， 仅需少量特征即可识别。如果用有限个字符代表不同的基元， 则由基元按一定结构关系组成的子图或图形可以用一个有序的字符串来代表。假如事先用形式语言的规则从字符串中推断出能生成它的文法，则假如事先用形式语言的规则从字符串中推断出能生成它的文法，则可以通过句法分析，按给定的句法（文法）来辨识由基元字符组成的句子，从而判别它是可以通过句法分析，按给定的句法（文法）来辨识由基元字符组成的句子，从而判别它是否属于由该给定文法所能描述的模式类，达到分类的

7、目的。否属于由该给定文法所能描述的模式类，达到分类的目的。4. （1）解释线性判别函数进行模式分类的概念）解释线性判别函数进行模式分类的概念； （2）既然有了线性判别函数）既然有了线性判别函数，为什么还要用非线性判别函数进行模式分类？（为什么还要用非线性判别函数进行模式分类？（3）两类模式，每类包括）两类模式，每类包括 5 个个 3维不同的模式，且良好分布。如果它们是线性可分的，问权向量至少需要几个维不同的模式，且良好分布。如果它们是线性可分的，问权向量至少需要几个系数分量？假如要建立二次的多项式判别函数系数分量？假如要建立二次的多项式判别函数， 又至少需要几个系数分量？又至少需要几个系数分量

8、？ （设设模式的良好分布不因模式变化而改变模式的良好分布不因模式变化而改变。 ） （8）答（1） ：模式识别系统的主要作用是判别各个模式所属的类别。线性判别函数分类就是使用线性判别函数将多类样本模式分开。一个一个 n 维线性判别函数的一般形式：维线性判别函数的一般形式：1122101( )Tnnnnd xw xw xw xww xw其中012(,.,)Tnww ww称为权向量（或参数向量） ，12( ,.,)Tnxx xx。( )d x也可表示为：( )Td xw x其中，12( ,.,1)Tnxx xx称为增广模式向量，0121(,.,)Tnnww ww w称为增广权向量。两类情况两类情况：

9、判别函数( )d x：120( )0Tif xd xw xif x多类情况多类情况：设模式可分成12,.,M 共 M 类，则有三种划分方法：多类情况多类情况 1用线性判别函数将属于i类的模式与不属于i类的模式分开，其判别函数为：0( )0iTiiiif xd xw xif x这种情况称为/ii两分法，即把即把 M 类多类问题分成类多类问题分成 M 个两类问题个两类问题，因此共有因此共有 M 个个判别函数判别函数，对应的判别函数的权向量为,1,2,.,n 1iw i 。多类情况多类情况 2采用每对划分，即|ij 两分法，此时一个判别界面只能分开两种类别，但不能把它与其余所有的界面分开。其判别函数

10、为：( )Tijijdxw x若( )0ijdx ，ji ，则ix重要性质：重要性质：ijjidd 要分开要分开 M 类模式，共需类模式，共需 M(M-1)/2 个判别函数。个判别函数。不确定区域：若所有( )ijdx，找不到ji ，( )0ijdx 的情况。多类情况多类情况 3（多类情况（多类情况 2 的特例）的特例）这是没有不确定区域没有不确定区域的|ij 两分法。假若多类情况 2 中的ijd可分解成：( )( )( )()Tijijijdxd xdxwwx，则0ijd 相当于( )( )ijd xdx，ji 。这时不存在不确定区域。此时，对对 M 类情况应有类情况应有 M 个判别函数个判

11、别函数：( ),1,2,Tkkdxw x kM即( )( )ijd xdx，ji ，,1,2,.i jM， 则ix， 也 可 写 成 ， 若( )max( ),1,2,.,ikd xdx kM，则ix。该分类的特点是把该分类的特点是把 M 类情况分成类情况分成 M-1 个两类问题。个两类问题。模式分类若可用任一个线性函数来划分， 则这些模式就称为线性可分的， 否则就是非线性可分的。一旦线性函数的系数 wk 被确定，这些函数就可用作模式分类的基础。对于 M 类模式的分类，多类情况 1 需要 M 个判别函数，而多类情况 2 需要 M*(M-1)/2个判别函数，当 M 较大时，后者需要更多的判别式（

12、这是多类情况 2 的一个缺点） 。采用多类情况 1 时，每一个判别函数都要把一种类别的模式与其余 M-1 种类别的模式分开，而不是将一种类别的模式仅与另一种类别的模式分开。由于一种模式的分布要比 M-1 种模式的分布更为聚集，因此多类情况 2 对模式是线性可分的可能性比多类情况 1 更大一些（这是多类情况 2 的一个优点） 。答（2）广义线性判别函数出发点：线性判别函数简单，容易实现；非线性判别函数复杂，不容易实现；若能将非线性判别函数转换为线性判别函数，则有利于模式分类的实现。采用广义线性判别函数的概念，可以通过增加维数来得到线性判别，但维数的大量增采用广义线性判别函数的概念，可以通过增加维

13、数来得到线性判别，但维数的大量增加会使在低维空间里在解析和计算上行得通的方法在高维空间遇到困难，增加计算的复杂加会使在低维空间里在解析和计算上行得通的方法在高维空间遇到困难，增加计算的复杂性。所以某些情况下使用非线性判别函数或分段线性判别函数效果更好。性。所以某些情况下使用非线性判别函数或分段线性判别函数效果更好。解（3）假设该两类模式是线性可分的，则在三维空间中一个线性平面可以将这两类模式分开，所以判别函数可以写成：1234( )d xw xw xw xw所以权向量需要 4 个系数。对于 n 维 x 向量，采用 r 次多项式，d(x)的权系数 w 的项数为：()! !rwn rnrNCr n

14、当 r=2，n=3 时，(2)!(2)(1)102! !2WnnnNn所以，此时权向量需要 10 个系数分量。5. 设一设一有限态有限态自动机自动机01202(0,1, ,Aq q qq q，定义如下：定义如下：021222011021(,0), (,0), (,0)(,1), (,1), (,1)qqqqqqqqqqqq试求等价的正则文法，使得试求等价的正则文法，使得 L(G)=T(A)。 （10）解： 设由 A 得一正则文法(,)，NTGV V PS， 则12 ,NVS x x，0,1TV ，0Sq由01(,1)qq，得生成式11Sx 由02(,0)qq，得生成式20,0SSx 由10(

15、,1)qq，得生成式11xS 由12( ,0)qq，得生成式1120,0 xxx 由21(,1)qq，得生成式211xx 由22(,0)qq，得生成式2220,0 xxx 对比实例：当扫描字符串 1110 时，A 按以下状态序列接受该字符串201101110qqqqq用对应的正则文法 G 推导，得：111111111110SxSx按有限态自动机确定正则文法给定一个有限态自动机0( , ,)AQq F ，可确定一个正则文法(, , )NTGV V P S，使得 L(G) = T(A)。由0111,.,nnnQq qq qqF，可确定：121 ,.,x ,NnnVS x xx，0Sq，iixq，T

16、V 。从求 G 中的生成式 P 可按如下原则：(1)若( , )ijq aq，则ijxax(2)若1( , )inq aq，则1,iinxa xax6. K-均值算法聚类：均值算法聚类：K=2，初始聚类中心为，初始聚类中心为12,x x，数据为，数据为： （10）12345678910(0,0),(1,0),(0,1),(1,1),(8,7)(9,7),(8,8),(9,8),(8,9),(9,9)xxxxxxxxxx算法算法：第一步：选K个初始聚类中心，12(1),z (1),.,(1)kzz，其中括号内的序号为寻找聚类中心的迭代运算的次序号。 可选开始的K个模式样本的向量值作为初始聚类中心

17、。第二步：逐个将需分类的模式样本 x按最小距离准则分配给K个聚类中心中的某一个(1)jz。 即( )min( ) ,1,2,jiD kxz kiK， 则( )jxSk， 其中k为迭代运算的次序号，第一次迭代1k ，jS表示第j个聚类，其聚类中心为jz。第三步：计算各个聚类中心的新的向量值，(1),1,2,.,jz kjK求各聚类域中所包含样本的均值向量：( )1(1),1,2,jjx SkjzkxjKN其中jN为第j个聚类域jS中所包含的样本个数。以均值向量作为新的聚以均值向量作为新的聚类中心类中心，可使如下聚类准则函数最小：2( )(1) ,1,2,jjjx SkJxzkjK在这一步中要分别

18、计算在这一步中要分别计算 K 个聚类中的样本均值向量，所以称之为个聚类中的样本均值向量，所以称之为 K-均值均值算法。算法。第四步：若(1)( )jjzkzk，则返回第二步，将模式样本逐个重新分类，重复迭代运算；若(1)( )jjzkzk，则算法收敛，计算结束。7. 给出两类模式分布，每一列代表一个样本：给出两类模式分布，每一列代表一个样本：1：55456545651x2：55654565452x试用试用 K-L 变换来做一维特征的提取（变换来做一维特征的提取（12） 。解：首先将所有样本看作一个整体，求出样本均值向量：55111155jj1j2jmxx0由于均值为 0，符合 K-L 变换的最

19、佳条件。如果均值不为 0，则所有样本要减去均值向量。由于1和2的样本数相同，所以认为他们的先验概率相同，即：12()()0.5PP求出总体的自相关矩阵R或协方差矩阵C：2125.425() 2525.4TiiiiRPE x x解特征方程0RI，求出R的特征值：1250.4,0.4求出对应于特征值的特征向量iiiR：121111,1122 选取1对应的特征向量作为变换矩阵，由Tyx得出变换后的一维模式：1：1099111122222 1x 2：10111199222222x 8. 用第二类势函数的算法进行分类（用第二类势函数的算法进行分类（10）选择指数型势函数，取选择指数型势函数，取=1，在二

20、维情况下势函数为：，在二维情况下势函数为：)()(2222112),(kkkxxxxxxkeexxK这里：这里：1类为类为 x=(0 0)T, x=(2 0)T；2类为类为 x=(1 1)T, x=(1 -1)T解：可以看出，这两类模式是线性不可分的。算法步骤如下：第一步：取(1)1(0,0)Tx，则22221(1)1212( )( ,)exp (0)(0) exp ()K xK x xxxxx第二步：取(2)1(2,0)Tx因exp (40)exp( 4)0，故222112( )( )exp ()KxK xxx第三步：取(3)2(1,1)Tx因exp (1 1)exp( 2)0，故22223

21、2(3)1212( )( )( ,)exp () exp (1)(1) K xKxK x xxxxx后面同理，就是不断将样本带入，如果分类正确，则势函数保持不变，即：1( )( )kkKxKx如果分类错误，则有两种情况：(k 1)1(k 1),()0kxKx，则1(k 1)( )( )( ,)kkKxKxK x x(k 1)2(k 1),()0kxKx，则1(k 1)( )( )( ,)kkKxKxK x x经过迭代，全部模式都已正确分类，因此算法收敛于判别函数。得出：)2()1()1()1()1()(2221222122212221)(xxxxxxxxeeeexd9. 有一种病，正常为有一种

22、病，正常为1，不正常为，不正常为2，已知：，已知：12()0.9, ()0.1PP现对某人进行检查，结果为现对某人进行检查，结果为x，由概率曲线查出：，由概率曲线查出：12( |)0.2, ( |)0.4P xP x风险代价矩阵为：风险代价矩阵为：111221220610LLLLL对该检查者进行判决：对该检查者进行判决：（1） 用贝叶斯最小错误概率判别，求出判决函数和决策分界面。用贝叶斯最小错误概率判别，求出判决函数和决策分界面。（2） 用贝叶斯最小风险判别，求出判别函数和决策分界面。用贝叶斯最小风险判别，求出判别函数和决策分界面。解（1） ：111222(| )() ( |)(| )() (

23、 |)PxPP xPxPP x由于1221( |)()11( |)2()9P xPlP xP所以1x。解（2） ：21( )( |) (),1,2jijiiir xL P xPj由于122122211211( |)()11( |)2()54P xPLLlP xPLL所以1x。10. 阐述误差反传算法（阐述误差反传算法（BP 算法）的原理，并写出其训练步骤。算法）的原理，并写出其训练步骤。答（1） ：BP 算法推算过程：算法推算过程：当加入第 k 个输入时，隐蔽层 h 结点的输入加权和为：kkhihiisw x如果令第一层的加权矩阵为1W，则还可以表示为：1kTkhsW x相应节点的输出为：()

24、()kkkhhihiiyF sFw x写成矩阵形式为：1()()kkTkhhFFysW x同样，输出层 j 结点的输入加权和为：()kkkjhjhhjihihhisw yw Fw x令第二次的加权矩阵为2W，则可以写成：221()kTkTTkjhFsW yWW x相应点的输出：()()()kkkkjjhjhhjihihhiyF sFw yFw Fw x写成矩阵形式为：21()kTTkjFFyWW x这里，各结点的阈值等效为一个连接的加权0hw或0 jw，这些连接由各结点连到具有固定值-1 的偏置结点，其连接加权也是可调的，同其它加权一样参与调节过程。误差函数为：jkhikiihhjkjjkkj

25、kjxwFwFTyTWE,2,2)(21)(21)(为了使误差函数最小，用梯度下降法求得最优的加权，权值先从输出层开始修正，然为了使误差函数最小，用梯度下降法求得最优的加权，权值先从输出层开始修正，然后依次修正前层权值，因此含有反传的含义。根据梯度下降法，由隐蔽层到输出层的连接后依次修正前层权值，因此含有反传的含义。根据梯度下降法，由隐蔽层到输出层的连接的加权调节量为：的加权调节量为：()()kkkkkkhjjjjhjhkkhjEwTyF syyw 其中kj为输出结点的误差信号：()()()kkkkkkjjjjjjF sTyF skkkjjjTy 在 BP 算法中常采用 Sigmoid 函数：

26、1( )1syF se其导数为：( )( )(1( )(1)F sF sF syy对应的误差为：(1)()kkkkkjjjjjyyTy对于输入层到隐蔽层结点连接的加权修正量ihw，必须考虑将()E W对ihw求导，因此利用分层链路法，有：,()()()()kkkkkkhihjjjhjhikkk jihhihkkkkkjhjhihik jkyEEwTyF swF sxwyww F sxx 其中：()()kkkkkhhhjjhhjF swF skkhhjjjw 这样就可以根据hjw和ihw分别调整输出层和隐层的权值了。BPBP 训练算法实现步骤训练算法实现步骤准备： 设网络具有 m 层，mjy表示

27、第 m 层中第 j 个结点的输出，0jy（零层输出） 等于jx，即第 j 个输入。mijw表示从1miy到mjy的连接加权。这里，m 代表层号，而不是向量的类号。1.（初始化加权矩阵初始化加权矩阵）将各加权随机置为小的随机数。可用均匀分布的随机数，以保证网络不被大的加权值所饱和。2.（输入数据输入数据）从训练数据组中选一数据对(,)kkx T，将输入向量加到输入层（m=0），使得对所有端点 i：0kiiyx，k 表示向量类号。3.（输出预测数据输出预测数据）信号通过网络向前传播，即利用关系式：1()()mmmmjjijiiyF sFw y计算从第一层开始的各层内每个结点 i 的输出mjy，直到

28、输出层的每个结点的输出计算完为止。4.（计算输出层误差计算输出层误差）计算输出层每个结点的误差值，对 Sigmod 函数：()()(1)()mmkmmmkmjjjjjjjjF sTyyyTy它是由实际输出和要求目标值之差获得。5.（误差反传误差反传）计算前面各层各结点的误差值11()mmmjjjiiiF sw这里逐层计算反传误差，直到将每层内每个结点的误差值算出为止。6.（修改权值修改权值）利用加权修正公式：1mmmijjiwynewoldijijijwww修正所有连接权。一般0.011，称为训练速率系数。7.（运算至权值收敛运算至权值收敛）返回第 2 步，为下一个输入向量重复上述步骤，直至网

29、络收敛。一、 试问“模式”与“模式类”的含义。如果一位姓王的先生是位老年人，试问“王先生”和“老头”谁是模式，谁是模式类？答：在模式识别学科中，就“模式”与“模式类”而言，模式类是一类事物的代表，概念或典型，而“模式”则是某一事物的具体体现，如“老头”是模式类，而王先生则是“模式”是“老头”的具体化。二、试说明 Mahalanobis 距离平方的定义，到某点的 Mahalanobis 距离平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。答：Mahalanobis 距离的平方定义为：其中 x，u 为两个数据，是一个正定对称矩阵（一般为协方差矩阵） 。根据定义，距某一点的 Mahalanob

30、is 距离相等点的轨迹是超椭球，如果是单位矩阵，则 Mahalanobis 距离就是通常的欧氏距离。三、 试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，以说明这两种学习方法的定义与它们间的区别。答：监督学习方法用来对数据实现分类，分类规则通过训练获得。该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。非监督学习方法不需要单独的离线训练过程，也没有带分类号（标号）的训练数据集，一般用来对数据集进行分析，如聚类，确定其分布的主分量等。就道路图像的分割而言， 监督学习方法则先在训练用图像中获取道路象素与非道路象素集，进行分类器设计，然后用所设计的分类器对

31、道路图像进行分割。使用非监督学习方法， 则依据道路路面象素与非道路象素之间的聚类分析进行聚类运算，以实现道路图像的分割。四、试述动态聚类与分级聚类这两种方法的原理与不同。答：动态聚类是指对当前聚类通过迭代运算改善聚类；分级聚类则是将样本个体，按相似度标准合并，随着相似度要求的降低实现合并。五、如果观察一个时序信号时在离散时刻序列得到的观察量序列表示为，而该时序信号的内在状态序列表示成。如果计算在给定 O 条件下出现 S 的概率，试问此概率是何种概率。如果从观察序列来估计状态序列的最大似然估计， 这与 Bayes 决策中基于最小错误率的决策有什么关系。答：在给定观察序列条件下分析它由某个状态序列

32、 S 产生的概率是后验概率，写成 P(S|O)，而通过 O 求对状态序列的最大似然估计，与贝叶斯决策的最小错误率决策相当。六、已知一组数据的协方差矩阵为12/12/11，试问1协方差矩阵中各元素的含义。2求该数组的两个主分量。3主分量分析或称 K-L 变换，它的最佳准则是什么？4为什么说经主分量分析后，消除了各分量之间的相关性。答：协方差矩阵为12/12/11，则1. 对角元素是各分量的方差，非对角元素是各分量之间的协方差。2. 主分量，通过求协方差矩阵的特征值，用1212110 得4/1) 1(2， 则2/32/1， 相应的：2/3， 对应特征向量为，对应。这两个特征向量，即为主分量。3.

33、K-L 变换的最佳准则为：对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算截尾误差最小。4. 在经主分量分解后，协方差矩阵成为对角矩阵，因而各主分量间相关性消除。七、试说明以下问题求解是基于监督学习或是非监督学习：1. 求数据集的主分量2. 汉字识别3. 自组织特征映射4. CT 图像的分割答：1、求数据集的主分量是非监督学习方法；2、汉字识别：对待识别字符加上相应类别号有监督学习方法；3、自组织特征映射将高维数组按保留近似度向低维映射非监督学习；4、CT 图像分割按数据自然分布聚类非监督学习方法；八、试列举线性分类器中最著名的三种最佳准则以及它们各自的原理。答：线性

34、分类器三种最优准则：Fisher 准则准则：根据两类样本一般类内密集，类间分离的特点，寻找线性分类器最佳的法线向量方向，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。这种度量通过类内离散矩阵 Sw 和类间离散矩阵 Sb 实现。感知准则函数感知准则函数：准则函数以使错分类样本到分界面距离之和最小为原则。其优点是通过错分类样本提供的信息对分类器函数进行修正， 这种准则是人工神经元网络多层感知器的基础。支持向量机支持向量机： 基本思想是在两类线性可分条件下， 所设计的分类器界面使两类之间的间隔为最大，它的基本出发点是使期望泛化风险尽可能小。九、证明在正定或半正定时，Mahalanob

35、is 距离 r 符合距离定义的三个条件，即（1）r(a,b)=r(b,a)（2）当且仅当 a=b 时，有 r(a,b)=0（3）r(a,c)r(a,b)+r(b,c)证明：(1) 根据定义(2) 由于为对称阵，故可以分解为，其中，且所有特征值大于等于零。可以认为这就变为了传统意义上的欧氏距离， 可以由欧氏距离满足的性质直接证明本命题。十、对一副道路图像，希望把道路部分划分出来，可以采用以下两种方法：1在该图像中分别在道路部分与非道路部分画出一个窗口，把在这两个窗口中的象素数据作为训练集，用 Fisher 准则方法求得分类器参数，再用该分类器对整幅图进行分类。2将整幅图的每个象素的属性记录在一张

36、数据表中，然后用某种方法将这些数据按它们的自然分布状况划分成两类。 因此每个象素就分别得到相应的类别号，从而实现了道路图像的分割。试问以上两种方法哪一种是监督学习，哪个是非监督学习？答：第一种方法中标记了两类样本的标号，需要人手工干预训练过程，属于监督学习方法；第二种方法只是依照数据的自然分布，把它们划分成两类，属于非监督学习方法。十一、已知有两类数据,分别为试求：该组数据的类内及类间离散矩阵及。答：第一类的均值向量为十二、设一个二维空间中的两类样本服从正态分布，其参数分别为：，先验概率，试证明：其基于最小错误率的贝叶斯决策分界面方程为一圆，并求其方程。证明： 先验概率相等条件下，基于最小错误

37、率贝叶斯决策的分界面上两类条件概率密度函数相等。因此有：化简为，是一个圆的方程。十三、试分析五种常用决策规则思想方法的异同。答、五种常用决策是：1. 基于最小错误率的贝叶斯决策，利用概率论中的贝叶斯公式，得出使得错误率最小的分类规则。2. 基于最小风险的贝叶斯决策，引入了损失函数，得出使决策风险最小的分类。当在 01 损失函数条件下，基于最小风险的贝叶斯决策变成基于最小错误率的贝叶斯决策。3. 在限定一类错误率条件下使另一类错误率最小的两类别决策。4. 最大最小决策：类先验概率未知，考察先验概率变化对错误率的影响，找出使最小贝叶斯奉献最大的先验概率，以这种最坏情况设计分类器。5. 序贯分类方法

38、，除了考虑分类造成的损失外，还考虑特征获取造成的代价，先用一部分特征分类，然后逐步加入性特征以减少分类损失，同时平衡总的损失，以求得最有效益。十四、假设在某个地区细胞识别中正常（w1）和异常（w2）两类先验概率分别为P(w1)=0.9，P(w2)=0.1，现有一待识别的细胞，其观察值为 x，从类条件概率密度分布曲线上查得2 . 0)(1wxP，4 . 0)(2wxP，并且已知011，612，121，022试对该细胞 x 用一下两种方法进行分类：1. 基于最小错误率的贝叶斯决策；2. 基于最小风险的贝叶斯决策；请分析两种结果的异同及原因。答：1.2.十五、既然有线性判别函数，为什么还要引进非线性

39、判别函数？试分析由“线性判别函数”向“非线性判别函数”推广的思想和方法。答： 实际中有很多模式识别问题并不是线性可分的，这时就需要采用非线性分类器， 比如当两类样本分不具有多峰性质并互相交错时，简单的线性判别函数往往会带来较大的分类错误。这时，树分类器作为一种分段线性分类器，常常能有效地应用于这种情况。十六、1. 什么是特征选择？2. 什么是 Fisher 线性判别？答：1. 特征选择就是从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的。2. Fisher 线性判别：可以考虑把 d 维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维，这在数学上容易办到，然而，即使样本

40、在 d 维空间里形成若干紧凑的互相分得开的集群，如果把它们投影到一条任意的直线上，也可能使得几类样本混在一起而变得无法识别。但是在一般情况下，总可以找到某个方向，使得在这个方向的直线上，样本的投影能分开得最好。问题是如何根据实际情况找到这条最好的、最易于分类的投影线，这就是 Fisher 算法所要解决的基本问题。十七、写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。十八、 请论述模式识别系统的主要组成部分及其设计流程，并简述各组成部分中常用方法的主要思想。信息获取：通过测量、采样和量化，可以用矩阵或向量表示二维图像或以为波形。预处理：去除噪声，加强有用的信息，并对输入测量仪器或其他

41、因素造成的退化现象进行复原。特征选择和提取：为了有效地实现分类识别，就要对原始数据进行变换，得到最能反映分类本质的特征。分类决策：在特征空间中用统计方法把识别对象归为某一类。十九、有两类样本集Tx0 , 0 , 011，Tx0 , 0 , 1 21，Tx 1 , 0 , 1 31，Tx0 , 1 , 1 41Tx 1 , 0 , 012，Tx0 , 1 , 022，Tx 1 , 1 , 032，Tx 1 , 1 , 1 421. 用 K-L 变换求其二维特征空间，并求出其特征空间的坐标轴；2. 使用 Fisher 线性判别方法给出这两类样本的分类面。数据获取数据获取预处理预处理特征提取与选择特

42、征提取与选择分类决策分类决策分类器设计分类器设计信号空间特征空间二十、定性说明基于参数方法和非参数方法的概率密度估计有什么区别？答： 基于参数方法：是由已知类别的样本集对总体分布的某些参数进行统计推断非参数方法：已知样本所属类别，但未知总体概率密度函数形式二十一、答：二十二、简述支持向量机的基本思想。答：SVM 从线性可分情况下的最优分类面发展而来。最优分类面就是要求分类线不但能将两类正确分开(训练错误率为 0)，且使分类间隔最大。SVM 考虑寻找一个满足分类要求的超平面，并且使训练集中的点距离分类面尽可能的远，也就是寻找一个分类面使它两侧的空白区域(margin)最大。过两类样本中离分类面最

43、近的点，且平行于最优分类面的超平面上 H1，H2的训练样本就叫支持向量。二十三、对于两类问题，假定),()(iiiNwxP，2 , 1i，x为 d 维特征向量请给出以下三种情况下的贝叶斯判别函数，并说明各有什么特点：1.212.213.I221，I为单位矩阵答：1.212.2111( )()()ln()2tiiiig xxxP 1101 ; ln()2tiiiiiiwwP 0( )tiiig xw xw0()0tw xx1()ijw ).()()()(/ )(ln)(2110jijitjijijiPPx判别边界仍是一条直线，但不垂直于均值的连线。判别边界仍是一条直线，但不垂直于均值的连线。3.

44、I2210221 ; ln()2tiiiiiiwwP 2() ()( )ln()2tiiiixxg xP 2(2)( )ln()2ttiiiiix xxg xP 0( )tiiig xw xw0( )tiiig xw xw0()0tw xx)()()(ln)(21220jijijijiPPxijw0221 ; ln ()2tiiiiiiwwP 222211ln()ln()22ttjttiiiijjjxPxP 判决平面判决平面：( )( )ijg xg x判别边界是一条直线，且垂直于均值的连线。二十四、设两个家庭，每家 3-5 人，选每个人的一张照片，共 8 张，混放在一起，将照片两两对照，得出

45、描述其“相似程度”的模糊关系矩阵。要求按相似程度聚类，希望把二个家庭分开。模式识别模式识别试卷二试卷二问答题问答题一、 试问“模式”与“模式类”的含义。如果一位姓王的先生是位老年人，试问“王先生”和“老头”谁是模式，谁是模式类？二、试说明 Mahalanobis 距离平方的定义，到某点的 Mahalanobis 距离平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。三、试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，以说明这两种学习方法的定义与它们间的区别。四、试述动态聚类与分级聚类这两种方法的原理与不同。五、如果观察一个时序信号时在离散时刻序列得到的观察量序列表

46、示为，而该时序信号的内在状态序列表示成。如果计算在给定 O 条件下出现 S 的概率，试问此概率是何种概率。如果从观察序列来估计状态序列的最大似然估计，这与 Bayes 决策中基于最小错误率的决策有什么关系。六、已知一组数据的协方差矩阵为，试问1 协方差矩阵中各元素的含义。2 求该数组的两个主分量。3 主分量分析或称 K-L 变换，它的最佳准则是什么？4 为什么说经主分量分析后，消除了各分量之间的相关性。七、试说明以下问题求解是基于监督学习或是非监督学习：1. 求数据集的主分量2. 汉字识别3. 自组织特征映射4. CT 图像的分割八、试列举线性分类器中最著名的三种最佳准则以及它们各自的原理。九

47、、在一两维特征空间，两类决策域由两条直线 H1 和 H2 分界，其中而包含 H1 与 H2 的锐角部分为第一类，其余为第二类。试求：1用一双层感知器构造该分类器2用凹函数的并构造该分类器十、设有两类正态分布的样本基于最小错误率的贝叶斯决策分界面，分别为 X2=0，以及 X1=3，其中两类的协方差矩阵，先验概率相等，并且有，。试求：以及。模式识别试题二模式识别试题二答案答案问答第 1 题答：在模式识别学科中，就“模式”与“模式类”而言，模式类是一类事物的代表，概念或典型，而“模式”则是某一事物的具体体现，如“老头”是模式类，而王先生则是“模式”，是“老头”的具体化。问答第 2 题答：Mahala

48、nobis 距离的平方定义为：其中 x，u 为两个数据，是一个正定对称矩阵（一般为协方差矩阵）。根据定义，距某一点的Mahalanobis 距离相等点的轨迹是超椭球，如果是单位矩阵，则 Mahalanobis 距离就是通常的欧氏距离。问答第 3 题答：监督学习方法用来对数据实现分类，分类规则通过训练获得。该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。非监督学习方法不需要单独的离线训练过程，也没有带分类号（标号）的训练数据集，一般用来对数据集进行分析，如聚类，确定其分布的主分量等。就道路图像的分割而言，监督学习方法则先在训练用图像中获取道路象素与非道路象素集，进行分类器设计

49、，然后用所设计的分类器对道路图像进行分割。使用非监督学习方法，则依据道路路面象素与非道路象素之间的聚类分析进行聚类运算，以实现道路图像的分割。问答第 4 题答：动态聚类是指对当前聚类通过迭代运算改善聚类；分级聚类则是将样本个体，按相似度标准合并，随着相似度要求的降低实现合并。问答第 5 题答： 在给定观察序列条件下分析它由某个状态序列 S 产生的概率似后验概率， 写成P(S|O)，而通过 O 求对状态序列的最大似然估计,与贝叶斯决策的最小错误率决策相当。问答第 6 题答：协方差矩阵为，则1） 对角元素是各分量的方差，非对角元素是各分量之间的协方差。2） 主分量，通过求协方差矩阵的特征值，用得，

50、则，相应的特征向量为：，对应特征向量为，对应。这两个特征向量即为主分量。3） K-L 变换的最佳准则为：对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算截尾误差最小。4） 在经主分量分解后，协方差矩阵成为对角矩阵，因而各主分量间相关消除。问答第 7 题答：1、求数据集的主分量是非监督学习方法；2、汉字识别对待识别字符加上相应类别号有监督学习方法；3、自组织特征映射将高维数组按保留近似度向低维映射非监督学习；4、CT 图像分割按数据自然分布聚类非监督学习方法；问答第 8 题答：线性分类器三种最优准则：Fisher 准则准则：根据两类样本一般类内密集, 类间分离的特点，寻