国家级课程模式识别课件.ppt

1、1已知：（统计结果）先验概率：P(1 1)=1/3)=1/3（鲈鱼出现的概率）P(2 2)=1-)=1-P(1 1)=2/3)=2/3（鲑鱼出现的概率）条件概率：p(x|1 1)见图示（鲈鱼的长度特征分布概率）p(x|2 2)见图示（鲑鱼的长度特征分布概率）求：后验概率：P(|x=10)=?（如果一条鱼x x1010，是什么类别？）整体概述概述二点击此处输入相关文本内容概述一点击此处输入相关文本内容概述三点击此处输入相关文本内容3解法1 1：111111122(10|)()(|10)()(|)()(|)()(|)()0.05 1/3 0.0480.05 1/30.502/3p xPPxp xp

2、 xPp xPp xP10101010利用Bayes公式4写成似然比形式1122212112122(|)0.05100.1(|)0.50()2/32()1/3 ,p xlxp xPPlxx10（）10判决阀值（10）即是鲑鱼。解法2：5例题1图示)(1xP)(2xPx条件概率密度分布)(ixP鲈鱼鲑鱼100.050.55.58.56例题1图示)(1xP)(2xPx2.04.06.08.00.1后验概率分布)(xPi107n 最小误判概率准则判决n 最小损失准则判决n 最小最大损失准则n N-P(NeymanPearson)N-P(NeymanPearson)判决第四章 统计判决841 41 最

3、小误判概率准则判决第四章 统计判决910图例：最小误判概率准则)()(11Pxp)()(22Pxp212)(P121)(P1112最小误判概率准则下的判决规则：如果，则判)()(11xpP)()(22xpP21x12x)()()(2112xpxpxl)()(12PP或等价地，如果，则判13)(1xP)(2xP21x另一个等价形式是：如果 则判)()()()(iiixpPxPxp由贝叶斯定理14对于多类问题，最小误判概率准则有如下几种等价的判决规则:若 ，则判 若 ，则判)()(xPxPjiij ix)(xPi)(maxxPjjix（后验概率形式）若 ，则判 若 ，则判（条件概率形式）)()()

4、()(jjiiPxpPxpij ix)()(iiPxp)()(maxjjjPxpix若 ，,则判 ijijjiijPPxpxpxl)()()()()(ij ix（似然比形式）如果 ，则判（条件概率的对数形式）)(ln)(ln)(ln)(lnjjiiPxpPxpij ix15例：对一批人进行癌症普查，患癌症者定为属 1类，正常者定为属 2类。统计资料表明人们患癌的概率 ，从而 。设有一种诊断此病的试验，其结果有阳性反应和阴性反应之分，依其作诊断。化验结果是一维离散模式特征。统计资料表明：癌症者有阳性反映的概率为0.95即 ，从而可知 ，正常人阳性反映的概率为0.01即 ,可知 。005.0)(1

5、P995.0)(2P95.0)(1阳xP05.0)(1阴xP01.0)(2阳xP99.0)(2阴xP问有阳性反映的人患癌症的概率有多大？16)()()()()()(221111PxPPxPPxP阳阳阳995.001.0005.095.0005.095.0323.0)()()()(111阳阳阳xPPxPxP解：说明有阳性反应的人其患癌的概率有32.3%32.3%17写成似然比形式：9501.095.0)()()(2112阳阳xPxPxl197005.0995.0)()(1212PP1212)(xl2x1819)()(21ln21)(ln)(1iiiiiixxPxd ci,2,1上式中去掉与类别无

6、关的项并不影响分类判决结果：ici,2,11()(/)()11()ln()ln(2)ln()()222iiiiiiiiid xp xPnd xPxx 或对数形式 类的判决函数可以表示为：20)()(21ln21)(ln)(1iiiiiixxPxd ci,2,1i(1)当 时iiiiiiiixxxPxxPxd11112121)(ln)()(21)(ln)(ij当 和 相邻 时xPPxdxdjijiji1)()(ln)(ln)()(0)(2121011xxwijjjii21ij当 和 相邻 时xPPxdxdjijiji1)()(ln)(ln)()(0)(2121011xxwijjjii式中：)(1

7、jiijw)()()()()(ln)(2110jijijijijiPPx显然，该判别界面为一超平面。此决策超平面过点 ，是该超平面的法矢量。0 xijw22若各类的概率相等，由判别式)()(21)(ln)(1iiiixxPxd可简化为马氏距离的平方，即：)()()(1iiixxxd因此 的类别就由 到各类的均矢的马氏距离决定，应判 属于马氏距离最小的那一类。xxx23x1x2 122112w21决策超平面过点，矢量是该超平面的法矢量。通常不与方向相同，所以决策界面不与正交。0 xijw)(1jiijw)(ji)(ji24x1x2 122112w221II为单位阵，2为分量的方差，显然有矢量ij

8、w和矢量)(ji方向相同，此时决策平面垂直于两类中心的连线 若)()(jiPP此时决策界面还过i和j连线的中点 25(2)i)()(21ln21)(ln)(1iiiiiixxPxdci,2,10iiiwxwxWx这是一般的情况。i i类模式的判决函数为:121iiWiiiw1iiiiiiPw1021ln21)(ln其中0)()()()()(00jijijijiwwxwwxWWxxdxd相邻两类的决策界面为:2627二维模式，1 12 2的几种情况12(a)圆，2 2类的方差小12(b)椭圆，2 2类的方差小12(c)抛物线，2 2类的方差小12(d)双曲线(e)直线，两类的分布关于一直线是对称

9、1228例：模式分布如图所示，两类的均矢和协方差阵可用下式估计。iNjijiiixNm1)(1iiijNjijiiimmxxNCi)(1)(1)(0,1,1)(1,1,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x32129(0,1,1)(1,1,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x321)1,1,3(411m)3,3,1(412m31113111316121CCC8444844481C30两类均作为正态分布，并假设 ，故判决式为)()(21PPiiiimCmmCxxd1121)(234)(11xxd211884)(3212xx

10、xxd8444844481C)1,1,3(411m)3,3,1(412m04888)()(32121xxxxdxd01222321xxx31 考虑两类问题，设两类模式为协方差阵相等的多变量正态分布，它们的密度函数分别为:4.1.3 4.1.3 正态模式分类的误判概率)(ixp),(iN)()(21)()(2111jjiixxxx )()(21)(11jijijix )(jxp),(jN)(ln)(ln)(ln)(jiijijxpxpxlxL对数似然比32)()(21)()(21)(111jijijijijiiijiLE 221ijijijirLLE 2)(ijijiijiLLELVar21)(

11、)(jiiixE)()()(11jiiijiixxE)()(1jiji2ijr)()(12jijiijr令)(xLij是 的线性函数，而 的各分量是正态分布的，故 是正态分布的随机变量。xx)(xLij)()(21)(11jijijix)(xLij33 221ijijijirLLE 2)(ijijiijiLLELVar2ijrxi0rij2/2xj-rij2/2p(Lij|i)Lijp(Lij|j)()(lnlnijijPP34)(iijLP)2/(2)21(exp21 2222ijijijijijijijrrdLrrLr将属于i类的模式误判为属于j类的错误概率为)2/(12)21(exp21

12、 2222ijijijijijijijrrdLrrLr)(jijLP将属于i类的模式误判为属于j类的错误概率为dyyuu)2exp(21)(2式中35)(iijLP)2/(2)21(exp21 2222ijijijijijijijrrdLrrLr)()()()()(jijjiijiLPPLPPePijijjijijirrPrrP22211)(21)(dyyuu)2exp(21)(2)2/(12)21(exp21 2222ijijijijijijijrrdLrrLr)(jijLP于是，总的误判概率为:36特取 ，此时 =0=0 上式表明了误判概率与两类的马氏距离的关系：随 的增大而单调递减，只要

13、两类马氏距离足够大，其误判概率可足够小。21)()(jiPPijijrreP211212121)(dyyijr2exp2122dyyrijrij2exp212222ijr)(eP2ijr)(%)(eP2040511374.1 4.1 设以下两类模式均为正态分布 1 1：(0,0)(0,0)T T，(2,0)(2,0)T T，(2,2)(2,2)T T，(0,2)(0,2)T T 2 2：(4,4)(4,4)T T，(6,4)(6,4)T T，(6,6)(6,6)T T，(4,6)(4,6)T T 设P(P(1 1)=P()=P(2 2)=1/2)=1/2，求该两类模式之间的BayesBayes

14、 判别界面的方程。作业4.2 4.2 设两类二维正态分布参数为u u1 1=(-1,0)=(-1,0)T T，u u2 2=(1,0)=(1,0)T T先验概率相等。（a a）令 试给出负对数似然比判决规则（b b）令试给出负对数似然比判决规则。2111212111121212384.2 4.2 最小损失准则判决第四章 统计判决394.2.1 4.2.1 损失概念、损失函数与平均损失,21c设模式空间中存在c c个类别:,21a决策空间由a a个决策:决策 j j常指将模式x x指判为某一类w wj j或者是拒判。ijij)(对一个实属 i i 类的模式采用了决策 j j 所造成的损失记为：a

15、c,2121于是就有 空间中的二元函数，称其为损失函数。40决策-损失表 12c1(1/1)(1/2)(1/c)2(2/1)(2/2)(2/c)c(c/1)(c/2)(c/c)c+1(c+1/1)(c+1/2)(c+1/c)n决策 j j指将模式x x指判为w wj j或者是拒判。ijjijiij100-10-1损失函数41 令决策的数目a a等于类数c c，如果决策 j j 定义为判 属于 j j 类，那么对于给定的模式 在采取决策 j j 的条件下损失的期望为条件平均风险xExPxRxRijiciiijjj1)()()(),2,1(cjxx 条件期望损失 刻划了在模式为 、决策为 j j条

16、件下的平均损失，故也称 为条件平均损失或条件平均风险（RiskRisk）。由贝叶斯公式，上式可以写为x)(xRj)(xRj)()()()(1xpPxpxRiiciijj)()()()(11iciiiiciijPxpPxp42求上式Rj(x)关于x的数学期望:cjciiiijjxdPxp11)()(cicjiiijjxdPxpx11)()()|)(ciiiixdxpxP1)()|)()(ciiiixEP1)|)()()(xExdxpxRRj)()(cjjjxdxpxR1)()(平均损失43n可以将最小条件平均损失判决规则表示为如果 则判 4.2.2 4.2.2 最小损失准则判决)(min)(xR

17、xRiijjx定理：使条件平均损失最小的判决也必然使总的平均损失最小。所以最小条件平均损失准则也称为最小平均损失准则或最小平均风险准则，简称为最小损失准则。44)()()()()()(222111111xpPxpPxpxR)()()()()()(222211122xpPxpPxpxR 对于两类问题，如果)(1xR)(2xR21x则：这时最小损失判决规则可以表为：)()()()(22211111PxpPxp)()()()(22221112PxpPxp45)()()()(22211111PxpPxp)()()()(22221112PxpPxp经整理可得：)()()()()()(1111122222

18、21PxpPxp 两类问题的最小损失准则的似然比形式的判决规则为：)()()()(111212221221PPxpxp如果 21x则判 46若记似然比阈值)()()()(111222211212PP注意，若1212)(xl我们规定任判或拒判。)(12xl1221x则两类问题的判决规则为：如果则判：47)(12xl1221x如果则判：损失函数如何确定依赖于实际问题和经验，有时为了方便，对于一般的c类问题，令jijiij,1,0 （0-10-1损失函数）)()()()(111222211212PP)()(1212PP此时：此即为最小误判概率准则的判决规则 48取0-10-1损失函数时，最小损失准则

19、等价于最小误判概率准则，此时的平均损失就是误判概率，使平均损失最小即使误判概率最小。这也表明，最小误判概率准则是最小损失准则的特例。4.2.2 最小损失准则判决49502202exp21)(xxp2212)1(exp21)(xxp似然比为：21001221exp)()()(xxpxpxl5121001221exp)()()(xxpxpxl运用最小损失准则，判决规则为：判0 x即信号为“0”0”。)()()()(0100011110PP 201221exp)(xxl21x时)()()()(ln2101000111102PPx两边取对数：当 时5253544.2.3 4.2.3 含拒绝判决的最小损

20、失判决拒绝判决可以作为最小损失判决中的一个可能判决，1c“拒绝判决”。55)()(1xRxRjc如果j j=1,2,=1,2,c c则作出拒绝判决。设(c+1c+1(x)|)|i i)=)=r r，(i(i=1,2,=1,2,c),c)，（即各类的拒判损失相同）rciirciircxPxPxR111)|()|()|(则 又设(j j(x)|)|i i)=)=e e，(j(j i i，i i，j j=1,2,=1,2,c),c)，（即各误判损失相同）x（即各正确判决损失相同）(i i()|)|i i)=)=c c，(i(i=1,2,=1,2,c),c)，且通常有 c c r r e e56)|(

21、)|()|(1xpxRiciijj)|()()|(1xPxpjceicie)|()(xPjcee57)|()|(1xRxRjcx如果，(j=1,2,c)，则对做拒绝判决。)|()(xPjceercecrcerejxP1)|(=1-t 这里 cecrt 称之为拒判门限。因为 c r 1-1/c时,1-t1/c,上式恒成立,不存在拒判问题,即存在拒判决策的条件应该是:t1-1/c59判决规则如下：4.2.3 4.2.3 含拒绝判决的最小损失判决cecrttPtPxpxp)()1)()()(1221如果 1x则判)1)()()()(1221tPtPxpxp如果2x则判604.34.3最小最大损失准则

22、第四章 统计判决61)()()(2112xpxpxl)()(12PP12x最小误判概率准则)()()()(111212221221PPxpxp21x最小损失准则tPtPxpxp)()1)()()(12211x)1)()()()(1221tPtPxpxp2xtPtPxpxptPtP)()1)()()()1)()(122112拒判拒绝判决的最小损失62tPtPxpxp)()1)()()(12211x)1)()()()(1221tPtPxpxp2xtPtPxpxptPtP)()1)()()()1)()(122112拒判拒绝判决的最小损失cecrtrec拒判损失误判损失正确判决损失63最小最大损失准则

23、的基本思想：实际中，类先验概率 P P(i i)往往不能精确知道或在分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决在 P P(i i)不确知或变动的情况下使平均损失变大的问题。应该立足最差的情况争取最好的结果。64对于两类问题，设一种分类识别决策将特征空间分划为两个子空间1和2，记ij为将实属i类的模式判为j的损失函数，各种判决的平均损失为xdxpxxRR)()(xdxpxxRxdxpxxR21)()()()(21xdPxpxdPxpiiiiiiii)()()()(2121221111)()()()(22211111xdxpPxdxpP22)()()()(22221112xd

24、xpPxdxpP65利用)(1)(12PP则平均损失可写成1)()(2222122xdxpR12)()()()()()(221221111222111xdxpxdxpP)(1bPa由于)(1P在 0 0 和 1 1 之间取值，所以平均损失值有baRa21)(1)(xdxpxdxpii和66n由上式可见，当类概密、损失函数ij、类域i 取定后，R是P(1)的线性函数。n考虑P(1)的各种可能取值情况，为此在区间(0,1)中取若干个不同的P(1)值，并分别按最小损失准则确定相应的最佳决策类域1、2，然后计算出其相应的最小平均损失R*，从而可得最小平均损失R*与先验概率P(1)的关系曲线。67PA(

25、1)1 P(1)ACDR*BR*B0DCPB(1)68 如果能求出某个)()(11BPP，相对于)(1BP的最佳判决类域1和2能使该式中的0b，即0)()()()()(1222122111122211xdxpxdxpb在此决策类域下，无论)(1P如何变化，因0b而使R与)(1P无关，从而使得平均损失R恒等于常数a，即aRxdxpR*1)()(2222122求使0b的)(1P等价于在最小平均损失*R)(1P关系中求使0)(1*dPdR的)(1P，显然，此时的)(1P使*R取所有最小损失的最大值*mR。所以*mR是最大的最小损失。69)()()()()()()()()(2211222111PxpP

26、xpPxpPxpxRjjj具体的设计过程是:(1)(1)按最小损失准则找出对应于(0,1)(0,1)中的各个不同值的)(1P的最佳决策类域1、2，(2)(2)计算相应各个)(1P及最佳决策类域的最小平均损失，得*R)(1P曲线，找出使*R取最大值的)(1*P，(3)(3)运用)(1*P、)(11*P及ij构造似然比阈值并运用最小损失准则下的决策规则对具体的模式分类识别。)()()()()()()()()(12121221122PxpxpxpPxpxpxpxRjjjj70最小最大损失判决规则 为：如果 )()()(1)()()(111121222121*PPxpxp则判21x当采用 0-10-1

27、 损失函数时，由0b可得xdxpxdxp)()(2112上式表明，最小最大损失判决所导出的最佳分界面应使两类错误概率相等,可知此时的平均损失1)(2xdxpR71作业P125 4.1 4.2 4.7P125 4.1 4.2 4.77244 N-P(NeymanPearson)44 N-P(NeymanPearson)判决第四章 统计判决73在某些实际问题中，可能存在以下几种情况：不知道各类的先验概率)(iP；难于确定误判的代价ij；某一种错误较另一种错误更为重要。针对，可以采用最小最大损失准则或令各类概率相等的办法克服；针对(3)(3)，可以采用最小损失准则判决。针对上面的三个问题，更主要的是

28、针对，我们采用N-PN-P准则。针对，如果允许的话，可以避开使用损失函数 而采用最小误判概率准则；74所谓N-PN-P准则，是严格限制较重要的一类错误概率令其等于某常数而使另一类误判概率最小。对两类问题，0)(xd 将特征空间 分成两 个子空间1 和2，其中 21U U，21I I。当一模式特征点1 x 时，指判1 x；当2 x 时，指判2 x。75将实属1类的模式x判属2类的误判概率为2)(112xdxp将实属2类的模式判属1类的误判概率为1)(221xdxp N-PN-P准则是在使某一类误判概率等于常数的约束下使另一类误判概率最小。76令021常数，求使12最小。运用拉格朗日乘数法求条件极

29、值，为此作辅助函数:)(02112y02112)()(xdxpxdxp1)()()1(210 xdxpxp77郎格朗日乘数法:在条件极值问题中,满足条件 g(x,y)=0 g(x,y)=0 下，去寻求函数 f(x,y)f(x,y)的极值。对三变量函数 F(x,y,)=f(x,y)+g(x,y)F(x,y,)=f(x,y)+g(x,y)分别求F F对三变量的偏导,并联立方程式 F F =g(x,y)=0=g(x,y)=0 F Fx x=f=fx x(x,y)+g(x,y)+gx x(x,y)=0 (x,y)=0 F Fy y=f=fy y(x,y)+g(x,y)+gy y(x,y)=0 (x,y

30、)=0 求得的解 (x,y)(x,y)就成为极值的候补。这样求极值的方法就叫做拉格朗日乘数法、叫做拉格朗日乘数。78求1使y取极小值。1)()()1(210 xdxpxpy1无法直接用解析的办法求得。一般地讲，但注意到在式子中是确定的，)(1xp、)(2xp在空间中也是确定的，如果选择满足条件0)()(21xpxp的x的全体作为*1这时所求得的y值*y比1的其它取法时的y值要小。就能保证因为这种取法下,是使被积函数取正数的最大的域。*179，*1如前定义这时的y值为12111)()()()()1(21210*xdxpxpxdxpxpy xdxpxpxdxpxpy)()()()(12112121

31、*121111)(*111*212上有0)()(21xpxp于是在11在上有0)()(21xpxp12上式中第二项的积分为正值，第三项的积分为负值。*yy显然80同理,由2)()()(210 xdxpxpy因此选择满足条件0)()(21xpxpx的全体 作为*1选择满足条件0)()(21xpxpx的全体 作为*2在1中 0)()(21xpxp在2中 0)()(21xpxp综上，即：81于是将其中一类错误概率作为控制量而使另一类错误概率最小的N-N-P P判决规则为：上式中，是判决阈值。如果，)()(21xpxp则判 21x可以看出，N-PN-P判决规则的形式和最小误判概率准则及最小损失准则的形

32、式相同，只是似然比阈值不同。82这里是由下列关系式确定：02211)(xdxp即适当地选取以保证使021，因此的值决定着类域1、2。这里)(2lp为似然比l的条件概密。，令)()()(21xpxpxl为求因当l时就判1x，所以当0给定后，可由式0)(221)(dllp确定。拉格朗日乘子831221xp(l|2)p(l|1)的值决定着类域1、2，这里的 是由0所确定的，即适当地选取使021。为求 ，令)(2lp为似然比)(xl在2x的条件下的概密，因当l时就判1x，所以当0给定后，拉格朗日乘子可由式 确定。0221)(dllp 1 2l84在具体运用N-PN-P准则时，首先根据给定的控制量 0计

33、算门限，然后运用判决规则进行判决分类。85例：设两类问题中，二维模式均为正态分布，其均值矢量和协方差阵分别为：)0,1(1)0,1(2I21 ，取定04.021试求N-P判决阈值。解：由公式和给定的条件可算得两类的概密分别为:)(1xp2)1(exp212221xx)(2xp2)1(exp212221xx由上面二式可以算得 :1212exp)()(xxpxp861212exp)()(xxpxp其为判决界面，上式两边取对数，于是可得判决规则:211ln21xx由于界面只是1x的函数，需求)(2xp的边缘密度)(21xp2221)()(xdxpxp222212)1(exp21xdxx2)1(exp

34、2121x872221)()(xdxpxp2)1(exp2121x由上面的判决规则，有:121ln21212)1(exp21dxxdyy2exp2121ln21dyy2exp212121ln210dzz222ln420exp12111 xy1dxdy 88)22ln42(2121有数学手册可查得:5!213!111)(5302xxxdtexxt可算得21与的关系如下表所示：89x1x221-1 1 1 221t=-(1/2)ln 由设定的04.021，查上表可得4，对应的693.02)(ln，从而得此问题的判决规则为:693.01x，则判 21x若90本章主要介绍了贝叶斯统计决策理论为基础的贝

35、叶斯分类方法,其中包括了最小误判概率、最小损失准则等，依据这些准则设计的分类器，从理论上讲是最优的性能，即分类的错误率或风险在所有可能的分类器中为最小，因此经常被用来作为衡量其他分类器设计方法优劣的标准。由于正态分布在物理上的合理性和数学上的计算简便性，我们详细介绍了贝叶斯分类方法在正态分布下的几种特殊情形，导出了其对应的判决函数、决策面方程及相应的几何描述。91下面我们简单回顾一下本章所学的几种贝叶斯决策准则:1 1、最小误判概率准则)()()(2112xpxpxl)()(12PP如果12x则判两类时:多类时:)(xPi)(maxxPjjix如果判922 2、最小损失准则12x则判)()()

36、()(111212221221PPxpxp如果 两类时:多类时:计算ciiijjxPxR1)()(若)()(minxRxRjjl则判lxcj,2,1933 3、含拒绝判决的最小损失准则tPtPxpxp)()1)()()(12211x)1)()()()(1221tPtPxpxp2xtPtPxpxptPtP)()1)()()()1)()(122112拒判其中：cecrtrec拒判损失误判损失正确判决损失两类时:943 3、含拒绝判决的最小损失准则多类时:计算ciiijjxPxR1)()(若)()(minxRxRjjl则判lx1,2,1ccj其中 为拒绝判决。1c954 4、最小最大损失准则如果 )

37、()()(1)()()(111121222121*PPxpxp则判 21x)(2*P)(1*P是如何获得的？)(1P让 从0 逐渐变化到1，按最小损失准则算出最小平均损失，即取各类条件平均损失的最小者。由此可得出RP(RP(1 1)曲线，最大的R R对应的P(P(1 1)就是)(1*P965 5、N-PN-P准则如果，)()(21xpxp则判 21x 是如何获得的？0)(221)(dllp由固定 0 0反求 97例：在军事目标识别中，假定有灌木丛和坦克两种类型，它们的先验概率分别是0.7和0.3，损失函数如下表所示，其中，类型 1和 2分别表示灌木和坦克，判决 1=1，2=2，3表示拒绝判决。

38、现在做了四次试验，获得四个样本的类概率密度如下：P(x|1):0.1,0.15,0.3,0.6,P(x|2):0.8,0.7,0.55,0.3（1 1）用最小误判概率准则，判断四个样本各属哪一个类型。问：（3）把拒绝判决考虑在内，重新考核四次试验的结果。（2 2）假定只考虑前两种情况，试用最小损失准则判断四个样本各属于哪一个类型。类型判决损 失98答:求出四个样本两类的似然比。)2,545.0,214.0,125.0()3.06.0,55.03.0,7.015.0,8.01.0()|()|(2112xPxPl最小误判概率准则时的阈值：429.07.03.0)()(1212PP（1）因此按最小误

39、判概率准则判决时，第一、第二样本属于第二类即坦克，第三、第四属于第一类即灌木丛。99（2）按最小损失准则判决因此按最小损失准则判决时，第一、第二样本属于第二类即坦克，第三、第四属于第一类即灌木丛。最小损失准则时的阈值：286.0)5.24(7.0)12(3.0)()(111212221212PP)2,545.0,214.0,125.0()3.06.0,55.03.0,7.015.0,8.01.0()|()|(2112xPxPl100（3）带拒绝的最小损失准则判决)()()()()()(222111111xpPxpPxpxR)()()()()()(222211122xpPxpPxpxR)()()

40、()()()(222311133xpPxpPxpxR由于是比较大小,可忽略p(x),p(x),即只需计算)()()()()(222111111PxpPxpxR)()()()()(222211122PxpPxpxR)()()()()(222311133PxpPxpxR101（3）带拒绝的最小损失准则判决因此第一、第二、第三、第四样本均拒判。)()()()()(222111111PxpPxpxR)()()()()(222211122PxpPxpxR)()()()()(222311133PxpPxpxR=2.5*0.7*(0.1,0.15,0.3,0.6)+2.0*0.3*(0.8,0.7,0.55

41、,0.3)=(0.655,0.683,0.855,1.23)=4.0*0.7*(0.1,0.15,0.3,0.6)+1.0*0.3*(0.8,0.7,0.55,0.3)=(0.52,0.63,1.005,1.77)=1.5*0.7*(0.1,0.15,0.3,0.6)+1.5*0.3*(0.8,0.7,0.55,0.3)=(0.465,0.473,0.563,0.765)102利用贝叶斯分类器实现手写数字识别的例子对每个手写的数字样品,按NxNNxN方式划分,共有2525份，如图所示。对每一份内的象素个数进行累加统计,除以每一份内的象素总数,设定阈值T=0.05,若每一份内的象素占有率大于T则

42、对应的特征值为1,否则为0.1 1、理论基础（1）先计算先验概率2 2、实现步骤)(iPNNPii)(P(i)类别为数字i的先验概率Ni数字i的样品数N为样品总数103利用贝叶斯分类器实现手写数字识别的例子2 2、实现步骤（2）计算 ，再计算类条件概率)(ijP)|(iXP)2/()1()(0iNXkkjijNxPii24,1,09,1,0ji 表示样品X属于 i类条件下，X的第j个分量为1的概率估计值。)(ijP)()|1(ijijPXxP)(1)|0(ijijPXxP104利用贝叶斯分类器实现手写数字识别的例子2 2、实现步骤|),()|(24210iiXxxxxXPXP240)|(jij

43、XxP9,1,0i其中=0=0或1 1（3 3）利用贝叶斯公式求后验概率)|()()|()()|()()|()()|(991100XPPXPPXPPXPPXPiii9,1,0i105利用贝叶斯分类器实现手写数字识别的例子2 2、实现步骤（4 4）后验概率的最大值的类别（0909）就是手写数字的所属类别。106利用贝叶斯分类器实现手写数字识别的例子2 2、实现步骤（4 4）后验概率的最大值的类别（0909）就是手写数字的所属类别。（1）先计算先验概率)(iP（2）计算 ，再计算类条件概率)(ijP)|(iXP（3 3）利用贝叶斯公式求后验概率107已知两个一维模式类别的类概率密度函数为其它，其它

44、 031 5.05.0)|(020 15.0)|(21xxxpxxxp先验概率P P(1 1)=)=P P(2 2)=0.5)=0.5。(1)(1)求BayesBayes判决函数（用0-10-1损失函数）；(2)(2)求总误判概率P P(e)(e)。P126:4.8 作业108模式识别主讲：蔡宣平 教授 电话：73441 73441（O O）,73442,73442（H H）E-mailE-mail：单位:电子科学与工程学院信息工程系109第五章 统计决策中的训练、学习 与错误率测试、估计n 统计推断概述n 参数估计n 概密的窗函数估计法n 有限项正交函数级数逼近法11051 51 统计推断概

45、述第五章 统计决策中的训练、学习 与错误率测试、估计111本章目的：已知类别的样本（训练样本）学习或训练获得类概密)(ixp在上一章的学习中,我们一直假设类的条件概率密度函数是已知的,然后去设计贝叶斯分类器。但在实际中，这些知识往往是不知道的，这就需要用已知的样本进行学习或训练。也就是说利用统计推断理论中的估计方法，从样本集数据中估计这些参数。5.1 统计推断概述112如果已知i 类的概密)(ixp 的函数类型，即知道i 类的概型，但不知道其中的参数或参数集，可采用参数估计的方法，当解得这些参数 后)(ixp 也就确定了。),(21 mi确定未知参数参数估计参数估计有两类方法:将参数作为非随机

46、量处理，如矩法估计、最大似然估计；1.1.将参数作为随机变量，贝叶斯估计就属此类。5.1 统计推断概述113非参数估计5.1 统计推断概述当不知道类的概型时，就要采用非参数估计的方法，这种方法也称为总体推断，这类方法有：1.p-1.p-窗法2.2.有限项正交函数级数逼近法3.3.随机逼近法114基本概念母体（总体）：一个模式类称为一个总体或母体5.1 统计推断概述母体的子样：一个模式类中某些模式(即母体中的 一些元素)的集合称为这个母体的子样。母体的子样含有母体的某些信息，可以通过构造样本的函数来获得。统计量：一般来说，每一个样本都包含着母体的某些信息，为了估计未知参数就要把有用的信息从样本中

47、抽取出来。为此，要构造训练样本的某种函数，这种函数在统计学中称为统计量。115基本概念经验分布：由样本推断的分布称为经验分布。5.1 统计推断概述)(ixp)(iP)(xPi数学期望、方差等理论量（或理论分布）：参数空间：在统计学中，把未知参数 的可能值的集合称为参数空间，记为Q Q。点估计、估计量：针对某未知参数 构造一个统计量作为 的估计 ，这种估计称为点估计。称为 的估计量。116基本概念5.1 统计推断概述 为了准确地对某一类的分布进行参数估计或总体推断，应只使用该类的样本。就是说在进行参数估计时，应对各类进行独立的参数估计或总体推断。因此在以后的论述中，如无必要，不特别言明类别。区间

48、估计：在一定置信度条件下估计某一未知参数 的取值范围，称之为置信区间，这类估计成为区间估计。117118基本概念5.1 统计推断概述渐近无偏估计：即 。当不能对所有 的都有 时，希望估计量 是渐近无偏估计。EENNlimN EENN119基本概念5.1 统计推断概述均方收敛:NNVarlim均方逼近:均方收敛:)(limNNNE又称相合估计一致估计:当样本无限增多时，估计量 依概率收敛于 ，N0)(limNNP120 52 52 参数估计第五章 统计决策中的训练、学习 与错误率测试、估计1215.2 参数估计5.2.1 5.2.1 均值矢量和协方差阵的矩法估计5.2.2 5.2.2 最大似然估

49、计(MLE)(MLE)5.2.3 5.2.3 贝叶斯估计(BE)(BE)1225.2 参数估计均值矢量和协方差阵的矩法估计矩法估计是用样本(的统计)矩作为总体(理论)矩的估值。若类的概型为正态分布，我们用矩法估计出类的均值矢量和协方差阵后，类的概密也就完全确定了。),()(21nxdxpxxE均值矢量:NjjxN11均值无偏估计:1235.2 参数估计均值矢量和协方差阵的矩法估计222212222222121212211nnnnnn)(2llkkklxxE lklkllkkdxdxxxpxx),()(xxE)(xxE协方差阵:1245.2 参数估计均值矢量和协方差阵的矩法估计)(xxE协方差阵

50、:NjjjxxNC1)(11协方差阵无偏估计:NjjjNmxNmxN1)()(11或1255.2 参数估计设)(Nm和)(NC是由N个样本算得的均矢和协方差阵，1Nx则可采用递推公式进行估算若再加入一个新的样本1111)1(NjjxNNm)(1111NNjjxxN)(111NxNmNN1)1(xm初始值:)(11)(1NmxNNmN 均值矢量和协方差阵的矩法估计1265.2 参数估计协方差矩阵的递推估计式:均值矢量和协方差阵的矩法估计)1()(1(1)1(11NmxNmxNNCjNjj)()()()1(1111112111NNNNjNjjxNmNxNmNNNNxxNxxN)()(11111Nm