第2章统计决策方法课件.ppt

1、软件工程专业第二章第二章 统计决策方法统计决策方法 计算机与通信工程学院计算机与通信工程学院计算机与通信工程学院计算机与通信工程学院模式识别模式识别软件工程专业课前思考课前思考 机器自动识别分类，能不能避免错分类?怎样才能减少错误？不同错误造成的损失一样吗？先验概率，后验概率，概率密度函数？什么是贝叶斯公式？正态分布？期望值、方差？正态分布为什么是最重要的分布之一？2023-2-16软件工程专业学习指南学习指南 本章要说明分类识别中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？怎样才能使错分类最少？不同的错分类造成的危害是不同的，有的错分类种类造成的危害更大，因此控制这种

2、错分类则是更重要的。为此引入了一种“风险”与“损失”概念，希望做到使风险最小。要着重理解“风险”与“损失”的概念，以及在引入“风险”概念后的处理方法。2023-2-16软件工程专业 理解本章的关键 要正确理解先验概率，类概率密度函数，后验概率这三种概率 对这三种概率的定义，相互关系要搞得清清楚楚 Bayes公式正是体现这三者关系的式子，要透彻掌握。2023-2-16软件工程专业 统计决策理论 是模式分类问题的基本理论之一 贝叶斯决策理论 是统计决策理论中的一个基本方法软件工程专业最小风险贝叶斯决策2聂曼-皮尔逊判决3最小错误率贝叶斯决策1第二章第二章 统计决策理论统计决策理论62023-2-1

3、6正态分布决策理论4软件工程专业最小错误率贝叶斯决策1 172023-2-16软件工程专业信息获取预处理特征提取分类决策 模式识别系统的基本构成 分类决策：把样本分到哪一类最合理类别空间样本3样本2样本1 样本空间到决策空间的一个映射 采用不同的标准会得到不同意义下的“最优”的决策最小错误率贝叶斯决策82023-2-16软件工程专业基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策 基本思想 使错误率为最小的分类规则 称之为基于最小错误率的贝叶斯决策 软件工程专业例子：挑选西瓜例子：挑选西瓜编号敲声好瓜1沉闷是2沉闷否3沉闷否4沉闷否5清脆是6清脆是7清脆否8浊响是9浊响否102023-2-

4、16软件工程专业贝叶斯公式贝叶斯公式 先验 似然 后验112023-2-16当敲击声音为清脆时,该西瓜是好瓜的概率软件工程专业挑选西瓜挑选西瓜 这种决策信息没有意义 如何根据敲声挑选出好的西瓜？根据贝叶斯公式只根据先验知识挑选西瓜122023-2-16软件工程专业 如果有：则为好瓜，反之亦然 分母相同，实际只需要比较分子 这种根据后验概率进行决策的方法称为最小错误率贝叶斯决策132023-2-16软件工程专业判别函数的几种等价形式判别函数的几种等价形式2023-2-16)取对数方法(,)()(ln)()(ln)()4()似然比形式(,)()()()()()3()类条件概率密度(),()()()

5、()()2()后验概率(),()()()1(12211221221121PPxPxPxgPPxPxPxgPxPPxPxgxPxPxg等价2112212112212122112121)()(ln)()(ln)()4()()()()()3()()()()()2()()()1(xPPxPxPxgxPPxPxPxPxPPxPxxPxP决策规则：决策规则：软件工程专业讨论讨论 类条件概率密度函数直接用来分类是否合理？2023-2-16221:)|()|(XPXP121:)|()|(XPXP具有一定的合理性不满足最小错误率要求但是没有考虑先验概率软件工程专业 类条件概率和后验概率区别？后验概率:P(1|x

6、)和P(|x)同一条件x下，比较1与2出现的概率 两类1和2，则有P(1|x)+P(2|x)=1 如P(1|x)P(2|x)则可以下结论，在x条件下，事件1出现的可能性大 类条件概率:P(x|1)和P(x|2)是在不同条件下讨论的问题 即使只有两类1与2，P(x|1)+P(x|1)1 P(x|1)与P(x|2)两者没有联系问题问题软件工程专业问题问题 为什么先验概率和类条件概率密度函数可以作为已知，而后验概率需要通过计算获得？计算概率都要拥有大量数据 估计先验概率与类条件概率密度函数时都可搜集到大量样本 对某一特定事件要搜集大量样本是不太容易 只能借助Bayes公式来计算得到 2023-2-1

7、6软件工程专业错误率分析错误率分析 对待分类模式的特征我们得到一个观察值 x，合理的决策规则：决策错误的条件概率（随机变量x 的函数）：182023-2-16软件工程专业平均错误率平均错误率(连续情况)(离散情况)192023-2-16如果我们把作出w1决策的所有观测值区域称为R1，则在R1区内的每个x值，条件错误概率为p(w2|x)。另一个区R2中的x,条件错误概率为p(w1|x)21)()|()()|()(12RRdxxpxPdxxpxPeP因此平均错误率P(e)可表示成软件工程专业2023-2-16软件工程专业 优点：癌细胞筛查：是癌细胞但是判断为正常细胞的风险应该比正常细胞判断为癌细胞

8、的风险大得多决策规则最小误差最小风险限定一类错误率 只是在最小错误率下的最优212023-2-16 缺点：基于后验概率决策的贝叶斯分类器具有最小错误率小结小结软件工程专业最小风险贝叶斯决策2 2222023-2-16软件工程专业基本思想基本思想 使错误率最小并不一定是一个普遍适用的最佳选择。例如：癌细胞分类，两种错误的代价(损失)不同 两种错误:癌细胞正常细胞 正常细胞癌细胞 宁可扩大一些总的错误率，但也要使总的损失减少。引进一个与损失有关联的，更为广泛的概念风险。在作出决策时，要考虑所承担的风险。2023-2-16软件工程专业相关概率相关概率 损耗函数ii=(i/i)表示模式样本X本来属于i

9、类而判决为i类所受损失。损耗函数ij=(i/j)表示模式样本X本来属于j类错判为i所受损失 风险R（期望损失）：对未知x采取一个判决行动(x)所付出的代价（损耗）条件风险（也叫条件期望损失）在整个特征空间中定义期望风险，期望风险2023-2-16).(,.,2,1,1MaaixPExRjMjjijii )(,平均风险dxxPxxRR软件工程专业最小风险贝叶斯决策最小风险贝叶斯决策2023-2-16决策规则：kiMikxxRxR则,min若,.,2,1软件工程专业最小风险最小风险 VS 最小错误率最小错误率2023-2-16v 二类问题：把x归于1时风险：把x归于2时风险：)()()()()()

10、(22212122121111xPxPxRxPxPxR121121111122221()()()()()0,01:()1,()()()()()1()()()ijijMiijjijjjjj ij iiiiRxRxxPxxijijRxPxPxPxPxRxPx 最小风险分类规则：时用函数时后验概率最小，就相当于最大软件工程专业聂曼-皮尔逊决策3 3272023-2-16软件工程专业聂曼皮尔逊准则聂曼皮尔逊准则 聂曼皮尔逊准则是在取某类错误率为常数时，另一类错误率尽可能小。例如：2023-2-16211()(|)P ep x w dx)(1xP)(2xP12X1X12122()(|)P ep x w

11、dx120min().()0P est P e 两类错误率软件工程专业 Lagrange乘子法将有约束极值问题问题转化为2023-2-16120min()()P eP e21120LagrangeP xdxP xdx其中：为代定常数，称为乘子。软件工程专业211111021102211,00,P xdxP xdxP xP xdxxP xP xdxxP x因为，由上式可知，要使 最小 对分界点 和 求导，令及，得 =最佳 即是给定条件下能使 极小,于是决策规则可定义为：1122()().P xxP x聂曼皮尔逊规则归结为找合适的阈值注：注：可以看出聂曼-皮尔逊决策规则与最小错误率贝叶斯决策规则都

12、是以似然比为基础的，不同地是最小错误决策阈值为先验概率之比，而聂曼-皮尔逊决策阈值则是Lagrange乘子。软件工程专业2023-2-16112222221(),.()(),P xP xP xdx 当时作的分界线为 的函数。在取为常数时，可确定，此时一定使 最小。软件工程专业 优点：322023-2-16 缺点：必须知道类条件概率（似然）可以设计理论上最优分类器小结小结软件工程专业正态分布决策理论4 4332023-2-16软件工程专业本节和前三节的关系本节和前三节的关系 前三节:基本概念 阶段性的总结 本节:概念具体化 结合一种比较典型的概率分布来进一步分析基于最小错误贝叶斯决策分类器的种种

13、情况 软件工程专业本节重点本节重点 什么叫正态分布 高斯分布的表达式 如何将正态分布与基于最小错误率的贝叶斯决策结合起来 如何简化方式表示正态分布软件工程专业 研究正态分布的原因 数学上比较简单 N(,)只有均值和方差两个参数 物理上的合理性软件工程专业单变量正态分布单变量正态分布 单变量正态分布概率密度函数定义为 2222211()exp(,)22:()(),()()()xP xNE xxP x dxExxP x dx 其 中均 值 或 数 学 期 望，方 差1)()(,0)(dxxPxxP列关系：概率密度函数应满足下)(xPX2295.01软件工程专业 思考:正态分布，或高斯分布是先验概率

14、P(i)，还是分布P(X|i),还是后验概率P(i|X)？不是我们所讨论的先验概率P(i)，也不是后验概率P(i|X)，而是p(x|i)。2023-2-162i11(|)exp22xP x 软件工程专业（多变量）多维正态分布（多变量）多维正态分布2023-2-1611221212111()exp22:,.,(,.,)TnTnTnP xxxxx xxnnn n 其中维特征向量，维均值向量为维协方差矩阵(对称阵)，为的逆阵，为的行列式iiiiidxxPxxE)()(nnnnnnnnnnnnTxxxxxxxxExxxxExxE.,.,.111111111111软件工程专业2023-2-16 1111

15、11112221 11 212222212.,.,.nnnnnnnnnijijnnn nExxExxExxExxijij对 角 线是 方 差非 对 角 线，是 协 方 差软件工程专业性质性质、与对分布起决定作用P(x)=N(,),由n个分量组成，由n(n+1)/2元素组成。多维正态分布由n+n(n+1)/2个参数组成。、等密度点的轨迹是一个超椭球面。区域中心由决定，区域形状由决定。、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。、边缘分布与条件分布的正态性。、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。、线性组合的正态性。2023-2-16

16、211X2X软件工程专业正态分布时最小错误率贝叶斯决策正态分布时最小错误率贝叶斯决策2023-2-16判别函数：判别函数：类条件概率密度用正态来表示：112211221()()()11exp(),2211lnexpln()2211ln 2lnln()222iiTiiiiniTiiiiniTiiiiigxPxPxxPxxPnxxP 取 对 数决策面方程决策面方程：()()0ijgxgx111()()2()1lnln02()ijiijjijiijjgxgxxxxxPP 软件工程专业第一种情况第一种情况 各个特征统计独立，且同方差情况2023-2-16222.0:.0.iI即，只有方差，协方差为零。

17、11222122211()ln 2lnln()2221,ln 221()ln()2ln(),2TiiiiiiiiiTiiiiiTiiiiingxxxPnIIIigxxxPxPxxx 因为都与 无关。对分类无影响。其中判别函数：软件工程专业2023-2-16如果M类先验概率相等：)(,2)()(.)()(2221欧氏距离imxxgPPP最小距离分类器最小距离分类器未知样本x与i相减，找最近的i把x归类软件工程专业2023-2-16 00220012,(),()11,ln()22()maxTTTTiiiiiTiiiTiiiiiiTTiiijjiw Mxxx xxx xigxw xwwwPgxw x

18、ww xwx 因为二次项与 无关简化可得：线性判别函数其中：判别规则：21212211212212)()(ln)(21)(1)()()(xPPxxgxgxgTTT对于二类情况2020()()0,()0,()1()ln2()ijiijijiijjijg xgxIW xxWPxP 决策面方程：由于于是可改写为：其中软件工程专业2001212():,():()0iijaIbWxxHWxWWH因为协方差为零。所以等概率面是一个圆形。因与点积为，因此分界面 与垂直且通过 点；又因为，所以与同向。决策面 垂直于 的联线。12,i 二类情况下1212():()(),()(),():cPPHPPHd如果先验概

19、率相等通过 联线的中点。否则就是离开先验概率大的一类。对多类情况，用各类的均值联线的垂直线作为界面。时决策面)()(21PP124334H23H14H12H0 x12WH1121x2xHW20 x讨论讨论软件工程专业12112312.1()()()ln()2()()().()1()()()()2MTiiiiiTiiiigxxxPPPPPgxxxr 因为与 无关若先验概率相等马氏距离 对于未知样本x，把x与各类均值相减，把x归于最近一类，即为最小距离分类器。110110()()(),1,ln()2TTiiTiiiTiiiiiixxxxigxWxwWwP 把展开；与 无关。（线性函数）其中 i 相

20、等，即各类协方差相等。几何上看，相当于各类样本集中于以均值点为中心的同大小和形状的超椭球内。第二种情况第二种情况软件工程专业)()()()()(ln)(21)(,0)(1010jiTjijijijijiTPPxWxxW。其中0)()()()(ln)(21)()()()(max)(21212211111212010 xgxgxPPxxgxgxgxwxWwxWxgjijiTTijTjMjiTii相邻与决策界面：若对于二类情况决策规则：软件工程专业讨论：讨论：针对1，2二类情况，如图：200010():,():()0,()():();();1():(),;2iiijijijaIbWxxWxxHxcW

21、WHdxHH 因为所以等概率面是椭圆，长轴由本征值决定因为与点积为 所以与正交，且 通过 点。因为一般与不同向不垂直于 值联线。若各类先验概率相等，则则 通过均值联线中点否则 离开先验概率大的一类。1121x2xHW20 x软件工程专业i为任意，各类协方差矩阵不等，二次项xT i x与i有关，所以判判别函数为二次型函数别函数为二次型函数。ijTjjTMjiTiiTixwxWxWxwxWxWxxg010max)(决策规则：112111122211122211()()()()()()()22()1lnln2()TTg xgxg xxxxxPxP对于二类情况:)(lnln2121)()(,21,)(

22、:10110iiiiTiiiiiiiiTiiTiPwnWnnWwxWxWxxg，维列向量矩阵其中判别函数第三种情况第三种情况(一般情况一般情况)软件工程专业圆)(a1x2x12双曲线)(d122椭圆)(b21抛物线)(c12121212()()0),2),3)ijg xgxx x 决策面方程：，决策面为超二次曲面。下面看一下决策界面的各种图形：对于二类问题，条件：1 二类情况；为条件独立；先验概率相等。直线)(e2211软件工程专业讨论圆)(a1x2x121p x2对于(a)图，的方差比 小，因此来自 的样本更加可能在该类的均值附近找到，且由于圆的对称性，决策面是包围 的一个圆2xp2若把 轴

23、伸展，图(b)的决策面就伸展为一个椭圆2x椭圆)(b21软件工程专业讨论若两类的条件概率在 方向上具有相同的方差，但在 方向上 的方差比 的方差大，此时 值大的样本可能来自类 ，且决策面为图(c)的抛物线1x2x1p x2xp2x1抛物线)(c1212双曲线)(d122若对 在 方向上加大其方差，其决策面为图(d)的双曲线2xp1x软件工程专业讨论如果两类的条件概率方差表现出特殊的对称性，则决策面退化为图(e)的直线对直线)(e2211软件工程专业2023-2-16作业作业1、分别写出在以下两种情况(1)(2)下的最小错误率（基本的）贝叶斯决策规则。2、两类的模式分布为二维正态协方差矩阵为单位矩阵1=2=I，设20.09。求聂曼-皮尔逊准则.12P xP x12PPTT0,1,0,121软件工程专业