统计模式识别-贝叶斯分类器h课件.ppt

1、统计模式识别（二）贝叶斯分类器内容n贝叶斯分类的基本原理n最小错误率贝叶斯分类n最小风险贝叶斯分类n最大似然比贝叶斯分类n正态分布中的贝叶斯分类回顾：n线性分类器设计思路n梯度下降法n感知器法哈哈统计 有一个从没带过小孩的统计学家，因为妻子出门勉强答应照看三个年幼好动的孩子。妻子回家时，他交出一张纸条，写的是：“擦眼泪11次；系鞋带15次；给每个孩子吹玩具气球各5次,累计15次；每个气球的平均寿命10秒钟；警告孩子不要横穿马路26次；孩子坚持要穿马路26次；我还要再过这样的星期六0次”。统计学真的这样呆板吗？仅仅收集数据，整理分析，累加平均 n统计学以数据为研究内容，但仅仅收集数据，决不构成统

2、计学研究的全部。n统计学是面对不确定情况寻求决策、制定方法的一门科学n人力、财力、时间等的限制，只有部分或少量数据，要推断所有数据的的特征nPR中的分类问题是根据识别对象特征的观测值，将其分到相应的类别中去。1、贝叶斯公式及其意义：一、贝叶斯分类原理：)(ABPk)()(ApABPkniiikkBApBPBApBP1)()()()(P(B|A)是事件A发生时事件Bk发生的条件概率；P(Bk)是事件Bk发生的概率；p(A|Bk)是事件Bk发生时事件A发生的条件概率密度；p(A)是事件A发生的条件概率密度；贝叶斯公式表达了两个相关事件在先后发生时的推理关系2、作为统计判别问题的模式识别：以两类分类

3、问题来讨论：设有两个类别1和2，理想情况，1和2决定了特征空间中的两个决策区域。确定性分类：我们任取一个样本x x，当它位于1的决策区域时，我们判别x x 1；当它位于2的决策区域时，我们判别x x 1。也可以说：当x x位于1的决策区域时，它属于1的概率为1，属于2的概率为0。随机性统计分类：如我们任取一个样本x x，当它位于1的决策区域时，它属于1的概率为小于1，属于2的概率大于0，确定性分类问题就变成了依照概率判决规则进行决策的统计判别问题。3、先验概率和后验概率：先验概率：根据大量样本情况的统计，在整个特征空间中，任取一个特征向量x x，它属于类j的概率为P P(j j),也就是说，在

4、样本集中，属于类j的样本数量于总样本数量的比值为P P(j j)。我们称P P(j j)为先验概率。显然，有：P P(1 1)P P(2 2)P P(c c)1 1后验概率：当我们获得了某个样本的特征向量x x，则在x x条件下样本属于类j的概率P(P(j j|x)|x)称为后验概率。后验概率就是我们要做统计判别的依据。4、后验概率的获得：后验概率是无法直接得到的，因此需要根据推理计算，由已知的概率分布情况获得。根据贝叶斯公式可得：)x(jPnipPpP1jjjj)x()()x()()x()x()(jjppP其中：p p(x|j j)为类为类j所确定的决策区域中，特征向量x出现的概率密度，称为

5、类条件概率密度，又称为似然函数。p p(x)p(x)为全概率密度，可由全概率公式计算得到。以细胞识别为例：n细胞切片的显微图像经过一定的预处理后，抽取出d个特征。每一细胞可用一个d维的特征向量x表示。希望根据x的值分到正常类1或异常类2中去。n假定可以得到Pr（1）、Pr（2），Pr（1）+Pr（2）=1,和p(x|1)、p(x|2)。n如果只有先验概率，那么合理的选择是把x分到Pr（1）、Pr（2）大的一类中去。一般由于Pr（1）Pr（2），这样就把所有的细胞分到了正常的一类。失去了意义。如果有细胞的观测信息，那么可以改进决策的方法。为了简单起见，假定x x是一维的特征（如胞核的总光强度）。

6、p(x x|1)和p(x x|2)已知：利用贝叶斯公式：21xxxiiriiriirPpPpP 得到的Pr（i|x x）称为状态（正常、异常）的后验概率。上述的贝叶斯公式，通过观测到的x，把先验概率转换为后验概率。5 贝叶斯分类估计密度函数p(x|i)i=1，2,，Mp(x|1)p(x|2)p(x|M)p(1)p(2)p(M)最大值选择器判别结果x贝叶斯分类器贝叶斯分类的前提n要决策分类的类别数是一定的。n各类别总体的概率分布是一定的。二、几种贝叶斯分类判别规则：1、最小错误率贝叶斯分类：若有c个分类，若取得样本的特征向量x的条件下，某个类对应的后验概率后验概率P(k k|x)|x)最大，则判

7、别x k k发生错误分类的可能性最小，因此，以下判别规则称为最小错误率贝叶斯分类：若 P(k k|x)|x)maxmax P(j j|x)|x)，则则 x k kj1,2,c1、最小错误率贝叶斯分类例例：某地区细胞识别；P(1)=0.9，P(2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到：解解：该细胞属于正常细胞还是异常细胞，先计算后验概率P(x/1)=0.2，P(x/2)=0.4.),()(),()(,182.0)(1)(818.01.04.09.02.09.02.0)()()()()(211211221111用所以先验概率起很大作因为属正常细胞。因为PPxxPxPxPxPPxP

8、PxPxPjjj下面证明上述基于最小错误率的贝叶斯规则是错误率最小的。证明：证明：错误率是对所有x x的平均错误率Pr（e）xxxdpePePrr 两类时的条件错误概率为：xxxxxxx212121 PPPPPPePrrrrrrr当当 令t是两类的分界面，当x x是一维时，即x轴上的一点。xxxxxxdpPdpPePtrtrr12 xxxxdPpdPptrtr 1122 xxxxdpPdpPRrr 211R122 1122 PPrr 要使Pr（e）是最小的，可从两个思路看：1.要使 最小，使对每个x x，Pr（e|x x）都要最小。所以取后验概率最大的。xxxdpePePrr2.假如将分界面移

9、到t点 t CBAePtr DCBAePtr t应是错误率最小的分界点，相应的规则也是错误率最小。对于多类情况，最小错误率决策规则为：若 ，则 xmaxx 2 1jrcjirPP，ix或若 则 jjrcjiirpPpPxx，2 1maxixix2、最小风险贝叶斯分类：最小错误率贝叶斯分类只考虑分类错误的概率最小，但是，每次分类错误带来的损失是不一样的，例如：要判断某人是正常(1)还是肺病患者(2),于是在判断中可能出现以下情况：第一类，判对(正常正常)11；第二类，判错(正常肺病)21；第三类，判对(肺病肺病)22；第四类，判错(肺病正常)12。第二类和第四类属于分类错误。显然，第四类错误带来

10、的损失大于第二类错误带来的损失。地震预报。，耽误早期诊断和治疗将异常划为正常，漏诊恐慌；人增加精神负担，造成将正常划为异常，给病生了，要遭受损失。预报为无震，但地震发没有发生；，要付出代价，但地震预报为有震，要作准备 细胞识别 2、最小风险贝叶斯分类：为评估分类错误的风险，引入以下概念：行动i：表示把模式x判决为i类的一次动作。损失函数ij=(i|j)：表示模式x x本来属于j类错判为i所受损失条件平均风险（也叫条件期望损失）：对未知x采取一个判决行动i(x)所冒的风险（或所付出的代价）).(,.,2,1,1MaaixPExRjMjjijii 对于实际问题，最小风险的贝叶斯决策可按如下步骤进行

11、：1.根据Pr（j），p(x|x|j)，j=1，2，c，以及给出的x x，计算后验概率 2.计算条件风险 cjPpPpPciirijrjjr，2 1 xxx1miPaaRcjjrjii，2 1 1xx即 若 ，则采用决策 。3.从得到的m个条件风险中，选最小的。xximikaRminaR，2 1ka2、最小风险贝叶斯分类：最小风险贝叶斯判别规则：kiikxxRxR则若,minc,.,2,1分类器。这时便得到最小错误率最大，最小，就相当于后验概率时时函数用)()()(1)()()()()(,1,0)(:10i1xPxRxPxPxPxPxRjijiiiijjjijijjjiMiiijjj2、最小风

12、险贝叶斯分类：作用。较大，决策损失起决定因类风险大。因决策异常细胞因为条件风险：概率：由上例中计算出的后验，曲线上查的从类条件概率密度分布异常为概率为例：已知正常细胞先验6,)()(818.0)()(092.1)()()(182.0)(,818.0)(0,1,6,04.0)(,2.0)(,1.0)(,9.0)(1212112122121211212221121121xxRxRxPxRxPxPxRxPxPxPxPPPjjjii3、最大似然比贝叶斯分类：在最小错误率贝叶斯分类中，P(k|x)max P(j|x)，则 x kj1,2,c则有：P(k|x)P(j|x),j=1,2,.c,jk;即 )x

13、()x(jkpp)()(kjPP,j=1,2,j=1,2,.c,jk;.c,jk;,j=1,2,j=1,2,.c,jk;.c,jk;)x()(kkpP)x()(jjpP,j=1,2,j=1,2,.c,jk;.c,jk;)x()x()(jjppP)x()x()(kkppP3、最大似然比贝叶斯分类：定义：)x()x(Ljiijpp)()(ijijPP似然比 判别阈值 则最大似然比贝叶斯分类的判别规则可以表达为：若 Lijij，则x k k，i i、j=1,2,j=1,2,.c,.c,三、正态分布决策理论三、正态分布决策理论1、正态分布判别函数为什么采用正态分布：n正态分布在物理上是合理的、广泛的。

14、n正态分布数学上简单，N(m,C)只有均值和方差两个参数。单变量正态分布：)()()(,)()(:),(21exp21)(22/1方差均值或数学期望其中TmxmxECdxxxPxEmCmNCmxCxP1、正态分布判别函数1)()(,0)(dxxPxxP列关系：概率密度函数应满足下)(xPmXCm295.01Cm2（多变量）多维正态分布 （1）函数形式：维协方差矩阵为维均值向量，维特征向量其中nnCnmmmmnxxxxmxCmxCxPTnTnTn),.,(,.,:21exp21)(21211212iiiiidxxPxxEm)()(nnnnnnnnnnnnTxxxxxxxxEmxmxmxmxEmx

15、mxEC.,.,.111111111111是协方差，非对角线是方差对角线jijixxExxExxExxEijijnnnnnnnnnnnnn22222212121221111111111,.(2)、性质：、m与C对分布起决定作用P()=N(m,C),m由n个分量组成，C由n(n+1)/2元素组成。多维正态分布由n+n(n+1)/2个参数组成。、等密度点的轨迹是一个超椭球面。区域中心由m决定，区域形状由C决定。、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。、线性组合的正态性。211X2X 判别函数

16、：类条件概率密度用正态来表示：)(lnln212ln221)(ln21exp21ln)(21exp21)()()(112121212iiiiTiiiiTiiniiiTiiniiPCnmxCmxPmxCmxCPmxCmxCPxPxg 决策面方程：0)()(xgxg 0)()(ln21)()(111jiiiiiiiPPmxCmxmxmxxgxg2、最小错误率(Bayes)分类器：（1）.第一种情况：第一种情况：C1 C22、最小错误率(Bayes)分类器：显然,判别平面是x的二次型方程,即两类模式可用二次判别界面分开。当x为二维模式,判别界面即为二次曲线,它可能是椭圆、圆、抛物线或双曲线。右图即为椭圆的情况。2、最小错误率(Bayes)分类器：（2）.第二种情况：第二种情况：各个特征统计独立，且同方差情况。即C1=C1 (最简单情况)2、最小错误率(Bayes)分类器：这是x的线性函数，为一超平面。当x是二维时，判别界面为一直线。