(模式识别)第四章统计分类课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《(模式识别)第四章统计分类课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 模式识别 第四 统计 分类 课件
- 资源描述:
-
1、第四章第四章 统计分类统计分类 统计决策理论统计决策理论根据每个类别的总体根据每个类别的总体概率分布决定决策边界概率分布决定决策边界 Bayes决策理论是统计决策的基本方法决策理论是统计决策的基本方法每一类出现的先验概率每一类出现的先验概率类条件概率密度类条件概率密度Bayes(贝叶斯贝叶斯)分类分类 如何使分类错误率尽可能小,是研究如何使分类错误率尽可能小,是研究各种分类方法的中心议题。各种分类方法的中心议题。Bayes决策理论是随机模式分类方法决策理论是随机模式分类方法最重要的基础。最重要的基础。几个重要的概念几个重要的概念 先验概率先验概率:预先已知的或者可以估计的预先已知的或者可以估计
2、的某种类型在识别系统中出现的概率。某种类型在识别系统中出现的概率。若用两个类型若用两个类型A和和B为例,用为例,用P(A)和和P(B)表示各自的先验概率。满足表示各自的先验概率。满足P(A)+P(B)=1。推广到一般的推广到一般的c类问题中,用类问题中,用1,2,C表示类型,则各自的先验概率用表示类型,则各自的先验概率用P(1),P(2),P(C)表示,表示,则则满足满足P(1)+P(2)+P(C)=1几个重要的概念几个重要的概念(续续)类条件概率密度类条件概率密度:系统位于某种类别条件下,系统位于某种类别条件下,模式样本模式样本X出现的概率密度分布函数。出现的概率密度分布函数。常用常用p(X
3、|A),p(X|B)以及以及p(X|1),p(X|2),p(X|C)来表示。来表示。几个重要的概念几个重要的概念(续续)后验概率后验概率:系统在某个具体的样本系统在某个具体的样本X下,下,属于某种类型的概率属于某种类型的概率 用用P(A|X),P(B|X)以及以及P(1|X),P(2|X),P(C|X)表示。表示。后验概率可以根据后验概率可以根据Bayes公式计算出来,可公式计算出来,可直接用作分类判决的依据。直接用作分类判决的依据。几个重要的概念几个重要的概念(续续)Bayes公式公式)()()|()|(XpPXpXPiii 全概率公式全概率公式CiiiPXpXp1)()|()(几个重要的概
4、念几个重要的概念(续续)正态分布的概率密度函数正态分布的概率密度函数(标量形式标量形式),(方差)(均值或数学期望)其中dxxpxxEdxxxpxENxxp)(,)()(:),(21exp21)(22222几个重要的概念几个重要的概念(续续)正态分布的概率密度函数正态分布的概率密度函数(矢量形式矢量形式)的行列式为的逆阵,为维协方差矩阵为维均值向量维特征向量其中121211212),.,(,.,:21exp21)(,nnnnxxxXXXXpTnTnTn已知先验分布和观测值的类条件分布,已知先验分布和观测值的类条件分布,Bayes决策理论是最优的。决策理论是最优的。最小错误的最小错误的Bayes
5、准则准则 样本属于后验概率较高的那种类型样本属于后验概率较高的那种类型 对两类的情形对两类的情形1211221212(|)(|)(|)(|)(|)(|)PXPXXPXPXXPXPXXX或者)()()|()|(XpPXpXPiii12(|)(|)PXPX1122(|)()(|)()()()p XPp XPp Xp X即1122111222112212(|)()(|)()(|)()(|)()(|)()(|)()p XPp XPXp XPp XPXp XPp XPXX因此有:或者 前式又可写成似然比形式前式又可写成似然比形式2112212122111221)()()|()|()()()|()|()(
6、)()|()|(XXPPXpXpXPPXpXpXPPXpXp或者 上式两边同时加上自然对数等单调增函数,上式两边同时加上自然对数等单调增函数,结论都成立结论都成立2112212122111221)()(ln)|()|(ln)()(ln)|()|(ln)()(ln)|()|(lnXXPPXpXpXPPXpXpXPPXpXp或者05000100001500000.511.522.533.54x 10-4 X=3100,p(X=3100|1)=2.178510-4 p(X=3100|2)=5.712310-52211000200021exp100021)1000,2000()|(xNXp222300
7、0700021exp300021)3000,7000()|(xNXp2221exp21),(xN(|).(|)().().,-41-522122.1785 103 81375.7123 1099 51990 53 8137199p Xp XPPX该病人不患病多类问题的多类问题的Bayes最小错误准则最小错误准则ijjCjiiXPXpPXp)()|(max)()|(1Bayes准则的误差分析准则的误差分析最小风险的最小风险的Bayes准则准则 最小风险判决规则也是一种最小风险判决规则也是一种Bayes分分类方法。类方法。最小错误率判决规则没有考虑错误判最小错误率判决规则没有考虑错误判决带来的决带
8、来的“风险风险”,或者说没有考虑,或者说没有考虑某种判决带来的损失。某种判决带来的损失。同一问题中,某种判决总会有一定的同一问题中,某种判决总会有一定的损失,特别是错误判决有风险。不同损失,特别是错误判决有风险。不同的错误判决有不同的风险的错误判决有不同的风险。例如:宁可错杀一千也不放过一个。例如:宁可错杀一千也不放过一个。前例中,判断是否血液病,可能有两种前例中,判断是否血液病,可能有两种错误判决:错误判决:正常细胞错判为癌细胞;正常细胞错判为癌细胞;癌细胞错判为正常细胞。癌细胞错判为正常细胞。两种错误带来的风险不同。两种错误带来的风险不同。中,会给健康人带来不必要的精神负担,中,会给健康人
9、带来不必要的精神负担,可以进一步的检查排除可以进一步的检查排除中,会使患者失去进一步检查、治疗的中,会使患者失去进一步检查、治疗的机会,造成严重后果。机会,造成严重后果。显然,第显然,第种错误判决的风险大于第种错误判决的风险大于第种种 判决风险也可以理解为判决损失,即使判决风险也可以理解为判决损失,即使在正确判决的情况下,一般也会付出某在正确判决的情况下,一般也会付出某种代价,也会有损失。种代价,也会有损失。由于有判决风险的存在,最小错误率判由于有判决风险的存在,最小错误率判决就不够了,必须引入最小风险判决规决就不够了,必须引入最小风险判决规则。则。用用i,i=1C 表示对问题可能作出的判决。
10、表示对问题可能作出的判决。对于给定的模式样本对于给定的模式样本X,令,令ij=(i|j)表示表示X属于属于j而被判决为而被判决为i所带来的风险或者损失所带来的风险或者损失 条件风险(也叫条件期望损失)条件风险(也叫条件期望损失)XPEXRjCjjijii|1 通过最小化各个风险通过最小化各个风险R(i|X)就可以使就可以使总的平均风险最小。总的平均风险最小。因此可得到因此可得到Bayes最小风险的决策规最小风险的决策规则则ijCjiXXRXR采取决策对样本)|(min)|(.1()|)()RRXX p X dx 若令若令21 21=12 12,11 11=2222=0=0,则则 “最最小风险的
11、小风险的BayesBayes决策决策”等价于等价于“最小错最小错误的误的BayesBayes决策决策”书中书中4-19式为前公式在两类问题并且式为前公式在两类问题并且认为判别正确无损失认为判别正确无损失(ii=0)情况下的结情况下的结论论 加上风险的概念加上风险的概念对把原本属于对把原本属于1(血液病血液病)的样本诊断为正常带的样本诊断为正常带来的风险最大,为来的风险最大,为6对把原本属于对把原本属于2(正常)的样本诊断为血液病(正常)的样本诊断为血液病的风险为的风险为2正确诊断的风险为正确诊断的风险为0.5 1为判别有病,为判别有病,2为判别正常,可以得到风险为判别正常,可以得到风险矩阵:矩
12、阵:12111=0.512=2221=622=0.5 X=3100,p(X=3100|1)=2.178510-4 p(X=3100|2)=5.712310-5(|).(|)()()(.).()()(.).,-41-52122222111122.1785 103 81375.7123 1020 5 99 554 272760 5 0 53 813754 2727p Xp XPPX该病人不患病 12111=0.512=2221=60022=0.5 X=3100,p(X=3100|1)=2.178510-4 p(X=3100|2)=5.712310-5(|).(|)()()(.).()()(.).,
13、-41-52122222111112.1785 103 81375.7123 1020 5 99 50 56000 5 0 53 81370 5p Xp XPPX该病人患病Bayes分类器的决策函数形式分类器的决策函数形式 将前面的将前面的Bayes最小错误和最小风险决策最小错误和最小风险决策法则写成第二章介绍的决策函数形式,则法则写成第二章介绍的决策函数形式,则 最小错误的最小错误的Bayes决策决策:gi(X)=P(i|X)最小风险的最小风险的Bayes决策决策:gi(X)=-R(i|X)判别规则:判别规则:如果如果gi(X)gj(X)对于一切对于一切ij时成立,则决策时成立,则决策Xi类
14、类 针对最小错误的针对最小错误的Bayes决策,以下这决策,以下这些决策函数形式都有相同的分类结果些决策函数形式都有相同的分类结果 分类问题,决策边界应该满足分类问题,决策边界应该满足 gi(X)=gj(X)对两类问题,决策边界写成对两类问题,决策边界写成 g(X)=g1(X)-g2(X)判别规则:如果判别规则:如果g(X)0,则决策则决策X1类,否则决策类,否则决策X2类类 根据前面定义的根据前面定义的gi(X),有两种常用的有两种常用的g(X)形式形式正态形式的正态形式的Bayes分类分类 类条件概率密度类条件概率密度p(X|i)符合正态分布符合正态分布根据中心极限定理,大量独立同分布的随
展开阅读全文