第2章贝叶斯决策课件.pptx

1、2023年6月26日星期一第第2章贝叶斯决策章贝叶斯决策贝叶斯决策理论引言引言贝叶斯贝叶斯决策常用的准则决策常用的准则分类器，判别函数，决策面分类器，判别函数，决策面正态分布的判别函数正态分布的判别函数引言机器自动识别分类，能不能避免错分类，做到百分之百正确？怎样才能减少错误？错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，那么有没有可能对危害大的错误严格控制？什么是先验概率、类概率密度函数和后验概率？它们的定义和相互关系如何?贝叶斯公式正是体现三者关系的式子。引言贝叶斯决策理论贝叶斯决策理论贝叶斯统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器（Classifie

2、r）的设计起指导作用。贝叶斯决策的两个要求贝叶斯决策的两个要求各个类别的总体概率分布(先验概率和类条件概率密度)是已知的 要决策分类的类别数是一定的引言：12,Tddx xxRxx12,ic 为为d维维特征向量特征向量。引言评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。贝叶斯贝叶斯决策常用的准则：决策常用的准则：最小错误率准则 最小风险准则 Neyman-Pearson准则 最小最大决策准则贝叶斯决策理论引言引言贝叶斯贝叶斯决策常用的准则决策常用的准则分类器，判别函数，决策面分类器，判别函数，决策面正态分布的判别函数正态分布的判别函数BayesianBaye

3、sian置信网置信网Bayes决策准则最小错误率最小错误率准则准则最小风险准则Neyman-Pearson准则最小最大决策准则假设你昨晚目击了一起夜间出租车肇事逃逸事件，你记得看到的肇事出租车是蓝色的，而且你还知道下面2条信息，那么你会认为肇事出租车是什么颜色的？(1)西安所有的出租车都是绿色或蓝色的；(2)大量实验表明，在昏暗的灯光条件下，人眼对于蓝色和绿色的区分的可靠度是75%；假设随后你又了解到第3条信息：（3）西安的出租车10辆中有9辆是绿色的，此时你又会得出怎样的结论？Some about Bayes(1)用B表示事件“肇事车是蓝色的”，用LB表示“肇事车看起来是蓝色的”，则对颜色区

4、分准确程度的概率可以表示为 P(LB|B)=0.75 P(LB|B)=0.75 对当肇事车看起来是蓝色的情况下，确实是蓝色的概率为 P(B|LB)P(LB|B)P(B)0.75P(B)P(B|LB)P(LB|B)P(B)0.25(1-P(B)而西安的出租车10辆中有9辆是绿色的，则给出了先验概率P(B)=0.1，于是有 P(B|LB)0.750.1=0.075 P(B|LB)0.25(1-P(B)=0.250.9=0.225 P(B|LB)=0.075/0.072+0.225=0.25 P(B|LB)=0.225/0.072+0.225=0.75 因此肇事车辆为绿色。Some about Ba

5、yes(2)一所学校里面有 60%的男生，40%的女生。男生总是穿长裤，女生则一半穿长裤一半穿裙子。假设你走在校园中，迎面走来一个穿长裤的学生（很不幸的是你高度近似，你只看得见他（她）穿的是否长裤，而无法确定他（她）的性别），你能够推断出他（她）是女生的概率是多大吗？算出学校里面有多少穿长裤的，然后在这些人里面再算出有多少女生？即要求的就是P(Girl|Pants)。假设校园内总人数为U，计算的结果是 U*P(Girl)*P(Pants|Girl)/U*P(Boy)*P(Pants|Boy)+U*P(Girl)*P(Pants|Girl)。容易发现这里校园内人的总数是无关的，可以消去。于是得到

6、 P(Girl|Pants)=P(Girl)*P(Pants|Girl)/P(Boy)*P(Pants|Boy)+P(Girl)*P(Pants|Girl)注意，如果把上式收缩起来，分母其实就是 P(Pants)，分子其实就是 P(Pants,Girl)。而这个比例很自然地就读作：在穿长裤的人（P(Pants)）里面有多少（穿长裤）的女孩（P(Pants,Girl)）。上式中的 Pants 和 Boy/Girl 可以指代一切东西，所以其一般形式就是：P(B|A)=P(A|B)*P(B)/P(A|B)*P(B)+P(A|B)*P(B)最小错误率准则最小错误率准则先验概率：先验概率：类条件概率：类

7、条件概率：后验概率：后验概率：贝叶斯公式贝叶斯公式iPiPxiPx iiiPPPPxxx i 1ciiPPPxx其中：其中：最小错误率准则 例：例：最小错误率准则数学表示：数学表示：表示类别这一随机变量表示类别这一随机变量1：表示患病表示患病2：表示不患病表示不患病 X：表示白细胞浓度这一随机变量表示白细胞浓度这一随机变量 x：表示白细胞浓度值表示白细胞浓度值最小错误率准则11220.5%99.5%PPPP 最小错误率准则122000,10007000,3000PNPNxx1Px2Px最小错误率准则最小错误率最小错误率准准则则以先验概率、类条件概率密度、特征值（向量）为输入以后验概率作为类别判

8、断的依据贝叶斯公式保证了错误率最小最小错误率准则最小错误率最小错误率的贝叶斯决策的贝叶斯决策规则为：规则为：1Px2Pxx1=x2?最小错误率准则最小错误率准则的平均错误率：最小错误率准则的平均错误率：x2=x3x2和和x3 都是都是 p(x,1)=p(x,2)的根的根，因此，因此是两类分界是两类分界最小错误率准则最小错误率准则的平均错误率：最小错误率准则的平均错误率：x2=x3，则则 最小错误率准则平均错误率是否最小？平均错误率是否最小？最小错误率准则似然比公式似然比公式 iiiPPPPxxx1122p xPp xP1212p xppp x12PPxx则：则：等价于：等价于：似然比公式似然比

9、公式最小错误率准则特例特例1：最小错误率准则特例特例2：最小错误率准则形式逻辑（经典确定性推理）形式逻辑（经典确定性推理）以鲈鱼和鲑鱼分类为例：以鲈鱼和鲑鱼分类为例：假言：如果鱼的长度假言：如果鱼的长度 大于大于45cm45cm，则该鱼为，则该鱼为 鲈鱼鲈鱼 ，否则该鱼，否则该鱼为鲑鱼为鲑鱼前提：现在某条鱼前提：现在某条鱼 结论：该鱼为鲑鱼结论：该鱼为鲑鱼概率推理（不确定性推理）概率推理（不确定性推理）x38cmx 2 1 2 iPx 最小错误率准则例子：例子：给定给定 ，类条件，类条件概率密度如图。概率密度如图。现有一条鱼现有一条鱼 x=38cmx=38cm，若采用最小错误率决策，该鱼应该为

10、哪一若采用最小错误率决策，该鱼应该为哪一类？类？1212P yP y111380.16 0.5380.8380.16 0.50.04 0.5p xyP yP yxp x2380.2P yx1y故判决：故判决：Bayes决策准则最小错误率准则最小风险最小风险准则准则Neyman-Pearson准则最小最大决策准则最小风险准则最小风险贝叶斯决策：最小风险贝叶斯决策：考虑各种错误造成损失考虑各种错误造成损失不同而提出的一种决策规则。不同而提出的一种决策规则。条件风险：条件风险：最小风险准则期望风险：期望风险：对于对于x x的不同观察值，采取决策的不同观察值，采取决策i i时，其条件风险大小是不同的。

11、所以究竟采取哪时，其条件风险大小是不同的。所以究竟采取哪一种决策将随一种决策将随x x的取值而定。这样，决策的取值而定。这样，决策可以可以看成随机向量看成随机向量x x的函数，记为的函数，记为(x)(x)。可以定义期。可以定义期望风险望风险R Rexpexp为：为：期望风险反映对整个空间上所有期望风险反映对整个空间上所有x x的取值采取相的取值采取相应的决策应的决策(x)(x)所带来的所带来的平均风险平均风险。expRRpdx xxx最小风险准则两分类问题的例子：两分类问题的例子：似然比公式似然比公式最小风险准则最小风险贝叶斯决策的步骤：最小风险贝叶斯决策的步骤：1）根据先验概率和类条件概率计

12、算出后验概率；2）利用后验概率和损失矩阵计算采取每种决策的条件风险；3）比较各个条件风险的值，条件风险最小的决策即为最小风险贝叶斯决策最小风险准则最小风险准则对于贝叶斯最小风险决策，如果损失函数为对于贝叶斯最小风险决策，如果损失函数为“0-10-1损失损失”，即取如下的形式：，即取如下的形式：那么，条件风险为：那么，条件风险为：此时，贝叶斯最小风险决策与最小错误率决此时，贝叶斯最小风险决策与最小错误率决策等价。策等价。0,;,1,1,ijfor ijwi jcfor ij 11ciijjjijj iRPPP xxxxBayes决策准则最小错误率准则最小风险准则Neyman-Pearson准则准

13、则最小最大决策准则Neyman-Pearson准则最小错误率最小错误率准则准则:后验概率最大化，理论上错误率最小最小风险最小风险准则：准则：风险函数最小化，理论上总风险最小在先验概率和损失未知的情况下如何决策？在先验概率和损失未知的情况下如何决策？Neyman-Pearson准则问题：先验概率和损失未知问题：先验概率和损失未知通常情况下，无法确定损失。先验概率未知，是一个确定的值某一种错误较另一种错误更为重要。基本思想：基本思想：要求一类错误率控制在很小，在满足此条件的前提下再使另一类错误率尽可能小。用lagrange乘子法求条件极值Neyman-Pearson准则对两分类问题，错误率可以写为

14、：对两分类问题，错误率可以写为：由于P(1)和P(2)对具体问题往往是确定的（但是未知），一般称P1(e)和P2(e)为两类错误率。P1(e)和P2(e)的值决定了的值决定了P(e)的值。的值。12121221221122112211,|RRRRP ep xR xp xR xp xpdxp xpdxp xdx pp xdx ppe pp e pNeyman-Pearson准则Neyman-Pearson准则为了求L的极值点，将 L 分别对 t 和求偏导：求偏导：v注意：这里分析注意：这里分析的是两类错误率，的是两类错误率，与先验概率无关！与先验概率无关！v决策准则决策准则？Neyman-Pea

15、rson准则最小错误率准则的等价形式vNeyman-Pearson准则准则 两者都以似然比为基础，在未知先验概率时使用两者都以似然比为基础，在未知先验概率时使用Neyman-Pearson准则。准则。Bayes决策准则最小错误率准则最小风险准则Neyman-Pearson准则最小最大决策准则最小最大决策准则最小最大决策准则Neyman-Pearson准则假定先验概率是一个确定的值，此时判定结果会受到先验概率的影响。实际中，类先验概率 P P(i i)往往不能精确知道或在分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决在 P P(i i)不确知或变动的情况下使期望风险变大的问题。

16、最小最大决策准则：最小最大决策准则：在最差的条件下争取最好的结果，使最大风险最小！最小最大决策准则分析期望风险 R 与先验概率 P(1)的关系：的关系：对于两类问题，设一种分类识别决策将特征对于两类问题，设一种分类识别决策将特征空间空间R划分为两个子空间划分为两个子空间 R1 和和 R2，记，记ij为将属于为将属于 i 类的模式类的模式判为判为j 类的损失函数，各种类的损失函数，各种判决判决的期的期望风险为：望风险为：12111122211222RRRpxpxpxdxpxpxpxdx最小最大决策准则将将)(1)(12PP和和121iiRRpxdxpxdx带入上式：带入上式：1212111122

17、211222111122211222RRRRRpxpxp x dxpxpxp x dxpx p xpx p xdxpx p xpx p xdx最小最大决策准则期望风险可写成：12122122221112221111122221RRRRp xdxpp xdxp xdxapbv一旦一旦 R1 和和 R2 确定，确定，a和和b为常数为常数v一旦一旦 R1 和和 R2 确定，确定，R 与与 P(1)成线性关系成线性关系v选择使选择使 b=0 的的R1 和和 R2，期望风险与，期望风险与P(1)无关！无关！最小最大决策准则PA(1)1 p(1)ACDR*BR*B0DCR1,R2不变不变R1,R2改变改变

18、PB(1)b=0此时最大此时最大风险最小风险最小,D=ab=0 时的时的p(1)最小最大决策准则求 b=0 时的 p(1)等价于在R随着p(1)的变化曲线上求：10Rp时的时的p(1)。v在在 b=0 时的时的 决策条件下，决策条件下，期望风险与期望风险与p(1)无关，无关，值为值为a，此时，此时，R的最大值最小。这种决策准则称为的最大值最小。这种决策准则称为最小最大决策准则最小最大决策准则。最小最大决策准则由于：当采用当采用0-1损失函数时，损失函数时，b=0可推导出：可推导出：2111222111112222RRbp xdxp xdx2112RRp xdxp xdx此时，最小最大损失判决所

19、导出的最佳分界面应使此时，最小最大损失判决所导出的最佳分界面应使两类错误概率相等！两类错误概率相等！贝叶斯决策理论引言引言贝叶斯贝叶斯决策常用的准则决策常用的准则分类器，判别函数，决策面分类器，判别函数，决策面正态分布的判别函数正态分布的判别函数BayesianBayesian置信网置信网分类器，判别函数，决策面分类器最常用的表述方式为判别函数：基于判别函数的判决基于判别函数的判决,1igxic 每个类别对应一个判别函数。每个类别对应一个判别函数。如果：如果：,ijgxgxi j则模式为则模式为j分类器，判别函数，决策面判别函数判别函数Discriminant functions分类器，判别函

20、数，决策面基于最小误差概率的贝叶斯分类器基于最小误差概率的贝叶斯分类器 iigxpx iiigxp xp loglogiiigxp xp分类器，判别函数，决策面特殊的，对于两分类问题，也可以只用一个判别函数 令：判决规则判决规则例如：12g xgxgx如果：如果：0g x 则模式为则模式为1否则为否则为2 12g xpxpx 1122loglogp xpg xpp x分类器，判别函数，决策面判决区域判决区域:判决区域 Ri 是特征空间中的一个子空间，判决规则将所有落入 Ri 的样本x分类为类别i。决策面（决策面（Decision Surface）：）：判决边界是特征空间中划分判决区域的（超）平

21、面在判决边界上，通常有两类或多类的判别函数值相等分类器，判别函数，决策面判别函数和决策面：判别函数和决策面：分类器，判别函数，决策面分类器分类器设计就设计就是设计是设计判别函判别函数，求数，求出判定出判定面方程面方程g(x)!贝叶斯决策理论引言引言贝叶斯贝叶斯决策常用的准则决策常用的准则分类器，判别函数，决策面分类器，判别函数，决策面正态分布的判别函数正态分布的判别函数BayesianBayesian置信网置信网正态分布的统计决策为什么研究正态分布？为什么研究正态分布？物理上的合理性：较符合很多实际情况，观测值通常是很多种因素共同作用的结果，根据中心极限定理中心极限定理，服从正态分布。数学上比

22、较简单：参数个数少单变量正态分布单变量正态分布多元正态分布多元正态分布正态分布的统计决策单变量正态分布密度函数（高斯分布）：单变量正态分布密度函数（高斯分布）：正态分布的统计决策多元正态分布函数多元正态分布函数 11/2/211exp22Tdpxxx 11TdEx，2Tijd dExx ijiijjEEExxxx期望期望(均值向量均值向量)协方差矩阵协方差矩阵(对称非负定对称非负定)12Tdxxxx，多元正态分布的性质参数个数：参数个数：d+d(d+1)/2d+d(d+1)/2 均值向量：均值向量：d d个参数个参数 协方差矩阵：对称的协方差矩阵：对称的d d维矩阵，维矩阵，d(d+1)/2d

23、(d+1)/2个个参数参数等密度点的轨迹为一超椭球面等密度点的轨迹为一超椭球面 11/2/211exp22Tdpxxx1Txx常数要使密度要使密度p(x)值不变，需指数项为常数，即：值不变，需指数项为常数，即：超椭球面超椭球面多元正态分布的性质马氏距离马氏距离(Mahanlanobis Distance)(Mahanlanobis Distance)：2111()()()()0nnTijiijjijXXpxx与与 欧式距离：欧式距离：()()Txx不同，马氏距离考虑数据的统计分布，在模式识别不同，马氏距离考虑数据的统计分布，在模式识别中有广泛的用处。中有广泛的用处。多元正态分布的性质正态分布的

24、随机变量，不相关等价于独立正态分布的随机变量，不相关等价于独立v边缘分布仍是正态分布边缘分布仍是正态分布多元正态分布的性质线性变换仍是正态分布线性变换仍是正态分布v线性组合仍是正态分布（线性变换的特例）线性组合仍是正态分布（线性变换的特例）一维正态一维正态随机变量随机变量多元正态分布的性质正态分布的判别函数贝叶斯判别函数可以写成对数形式：贝叶斯判别函数可以写成对数形式：lnlniiigpPxx 111ln2lnln222tiiiiiidgP xxxv类条件概率密度函数为正态分布时：类条件概率密度函数为正态分布时：11/2/2i11exp22Tiidpxxx正态分布的判别函数情况一：情况一：各类

25、协方差阵相等，且各特征独立，方差相等情况二：情况二：各类协方差阵相等情况三：情况三：各类协方差阵不相等 任意的1c 21c I情况一：情况一：21c I 111ln2lnln222tiiiiiidgP xxx121iI 212ln2TTTiiiiigP xx xx将代入 22lnconst2iiigP xx得到决策函数展开决策函数其中，二次项Tx x对所有的 i 是相等的因此，等价的判决函数为：02211ln2TTTiiiiiiigP xxx21Tii021ln2TiiiiP 其中：ijggxx决策面可以写成：00Txxij2021ln2iijijjijppx其中：过 与0 x正交的超平面ij

26、pp当012ijx，但是，如果ijpp当，向先验概率小的方向偏移。0 x位于两中心的中点；22ij相对于平方距离较小，那么判决边界的位置相对于确切的先验概率值并不敏感。在此情况下，最优判决的规则为：在此情况下，最优判决的规则为：为将某特征向量x归类，通过测量每一x到c个均值向量中心的每一个欧氏距离，并将x归为离它最近的那一类。这样的分类器称为“最小距离分类器”。情况一：最小距离分类器情况一：最小距离分类器ijpp最小距离分类器判决边界是d-1维超平面，垂直于两类中心的连线情况一：最小距离分类器情况一：最小距离分类器上述结果表示在二维特征空间里，如下图所示：可以推广到多类的情况，注意这种分类方法

27、没有不确定的区域。向先验概率210 x21)()(21wPwP0 x)()(21wPwP两类判决面与垂直，的中点时其交点为为时0 x较小类型的均值点偏移。各类的协方差矩阵相等，在几何上，相当于各类样本集中在以该类均值为中心的同样大小和形状的超椭球内。i1c 情况二：情况二：)(ln|ln212ln2)()(21)(1iiiiTiiwPdxxxg决策函数决策函数不变，与i无关：)(ln)()(21)(1iiiTiiwPxxxg一个特例：当PwPi)(时，各样本先验概率相等。)()(21)(1iiTiixxxg)()(12iiTixx2i)()()(12iiTiixxxg其中：为x到均值点的“马氏

28、距离”（Mahalanobis）的平方。22对于样本x 只要计算出，把x归于最小的类别。进一步简化：PwPi)(一般地，决策函数 11ln2TiiiigP xxx展开决策函数 11112ln2TTTiiiiigP xxxx1Txx对所有的 i 是相等的，则 1101ln2TTTiiiiiiigPxxx1ii 101ln2TiiiiwP 其中 ijggxx决策面可以写成：00Txx1ij 其中：过 与0 x正交的超平面0111ln2iijijTjijijPPx由于并非沿着ij方向，因此分界面并非与均值间的连线垂直正交。当各类先验概率不相等时，不在的中点上，而是偏向先验概率较小的均值点。v上述结果

29、表示在二维特征空间里，如下图所示：)(210jix当各类先验概率相等时，判决面与的交点ji0 xjiijpp时决策面向先验概率小的方向偏移情况三：情况三：任意的ji)(ln|ln212ln2)()(21)(1iiiiTiiwPdxxxg)(ln|ln21)()(21)(1iiiiTiiwPxxxg210()TTiiiig xx w xw xw去掉与i无关的项：可以写为：1212iiw 11 iiiw)(lnln212110iiiiTiiwPw其中二次项，一次项系数和常数项分别为：由于：()()0ijg xgx221100()()0TTijijijxwwxwwxwwii)(iwP对应的决策面为超

30、二次曲面。第 i 类和第 j 类的决策面为：随着的不同，超二次曲面可以为：超球面、超椭球面、超抛物面、超双曲面，或超平面等。即：甚至在方差不相等的一维高斯分布情况下，其判决区域也可以不连通！情况三：情况三：各类协方差不同，决策面为为超二次曲面。各类协方差不同，决策面为为超二次曲面。v上述结果表示在二维特征空间里，如下图所示：正态分布的判别函数例：两类正态分布样本：1131/20,602 10.5P111,:N222,:N求决策面方程22320,202 20.5P 122222gxlnTxx 111111gxlnTxx12 令令 12gxgx1111112222lnlnTTxxxx320331/2032ln2601/26201/22TT xxxx22221212121221/2126361/21/23213/22ln2xxxxxxxx