贝叶斯决策理论与统计判决方法课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《贝叶斯决策理论与统计判决方法课件.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 贝叶斯 决策 理论 统计 判决 方法 课件
- 资源描述:
-
1、2021/7/261(最新整理最新整理)贝叶斯决策理论与统计判决方法贝叶斯决策理论与统计判决方法2021/7/2622021/7/263 在前一章中已提到,模式识别是一种分类问题,即根据识在前一章中已提到,模式识别是一种分类问题,即根据识别对象所呈现的观察值,将其分到某个类别中去。统计决别对象所呈现的观察值,将其分到某个类别中去。统计决策理论是处理模式分类问题的基本理论之一,对模式分析策理论是处理模式分类问题的基本理论之一,对模式分析和分类器的设计起指导作用。贝叶斯决策理论是统计模式和分类器的设计起指导作用。贝叶斯决策理论是统计模式识别中的一个基本方法,我们先讨论这一决策理论,然后识别中的一个
2、基本方法,我们先讨论这一决策理论,然后讨论涉及统计判别方法的一些基本问题。讨论涉及统计判别方法的一些基本问题。2021/7/264设想有一个鱼类的加工厂,希望能将传送带上的鱼的品种的分类过程自设想有一个鱼类的加工厂,希望能将传送带上的鱼的品种的分类过程自动进行。比如通过光学感知手段,架设一台摄像机,拍摄若干样品的图动进行。比如通过光学感知手段,架设一台摄像机,拍摄若干样品的图像,来区分鲑鱼(像,来区分鲑鱼(salmon)和鲈鱼()和鲈鱼(sea bass).2021/7/265识别过程:识别过程:数据获取:架设一个摄像机,采集一些样本图像,获取样本数据数据获取:架设一个摄像机,采集一些样本图像
3、,获取样本数据 预处理:去噪声,用一个分割操作把鱼和鱼之间以及鱼和背景之预处理:去噪声,用一个分割操作把鱼和鱼之间以及鱼和背景之间分开间分开 特征提取和选择:对单个鱼的信息进行特征选择,从而通过测量特征提取和选择:对单个鱼的信息进行特征选择,从而通过测量某些特征来减少信息量某些特征来减少信息量 长度长度 亮度亮度 宽度宽度 鱼翅的数量和形状鱼翅的数量和形状 嘴的位置,等等嘴的位置,等等 分类决策:把特征送入决策分类器分类决策:把特征送入决策分类器2021/7/266例:例:模型模型:鲈鱼通常较鲑鱼长(专家知识)鲈鱼通常较鲑鱼长(专家知识)鲈鱼的典型长度是鲈鱼的典型长度是Lb鲑鱼的典型长度是鲑鱼
4、的典型长度是LsLb Ls 分类器分类器:比如比如:鲑鱼鲑鱼 15 critLlengthBass 0(A)0,P P(B(Bi i)0)0,(i=1,2,(i=1,2,n),n),则,则:)()()|()()|()()|()|(1APBPBAPBPBAPBPBAPABPiinjjjiii“概率论概率论”有关概念复习有关概念复习)()()()(iiiBAPBPABPAP2021/7/2622B1SB2B3B4A划分划分示意图示意图“概率论概率论”有关概念复习有关概念复习)()()()(iiiBAPBPABPAP2021/7/2623老师出了一道老师出了一道5选题,选题,5个选项中只有一个是正确
5、的选择。个选项中只有一个是正确的选择。假定某学生知道正确答案的概率为假定某学生知道正确答案的概率为1/2,如果他最后选对了,如果他最后选对了,问他确实知道答案的概率是多少问他确实知道答案的概率是多少?解:解:设设 A事件为事件为知道答案知道答案,B事件为事件为选择正确选择正确,由题意可知:由题意可知:由全概率公式由全概率公式:P(B|A)=1/5,P(B|A)=1,P(A)=1/2P(B)=P(B|A)XP(A)+P(B|A)XP(A)=1X1/2+1/5X1/2=0.62021/7/2624这说明老师们依据试卷成绩来衡量学生平时的学习状况这说明老师们依据试卷成绩来衡量学生平时的学习状况还是有
6、科学依据的。还是有科学依据的。利用贝叶斯公式可以得到利用贝叶斯公式可以得到:2021/7/2625测谎仪是用来检测一个人是否说谎的仪器,经常被用于征兵、安全部门的测谎仪是用来检测一个人是否说谎的仪器,经常被用于征兵、安全部门的筛查、侦破、诉讼等领域。定义事件筛查、侦破、诉讼等领域。定义事件T=测谎仪检测到一个人在说谎测谎仪检测到一个人在说谎,L=一个人真正在说谎一个人真正在说谎。根据统计数据根据统计数据P(T|L)=0.88,P(T|L)=0.86。看起来,测谎仪。看起来,测谎仪是比较精确的。问题是:在一次试验中,检测出被测对象在说谎,他真正是比较精确的。问题是:在一次试验中,检测出被测对象在
7、说谎,他真正在说谎的概率有多大?在说谎的概率有多大?解:按照上面所给资料,很多人都会认为这个人说谎的概率会很高。假如根据统解:按照上面所给资料,很多人都会认为这个人说谎的概率会很高。假如根据统计,在人群中撒谎的人所占比例为百分之一,即先验概率计,在人群中撒谎的人所占比例为百分之一,即先验概率P(L)=0.01,根据全,根据全概率公式可以计算出:概率公式可以计算出:P(T)=P(L)XP(T|L)+P(L)XP(T|L)=0.01X0.88+0.99X0.14=0.1474再根据贝叶斯公式:再根据贝叶斯公式:P(L|T)=P(L)XP(T|L)/P(T)=0.01X0.88/0.14740.06
8、2021/7/2626从计算结果来看,从计算结果来看,94%的检测都是错误的。问题出在哪里呢?的检测都是错误的。问题出在哪里呢?问题在于先验概率问题在于先验概率P(L)。普通人群对于测试的撒谎率是很低的,因此测谎仪的结果并不能告诉你普通人群对于测试的撒谎率是很低的,因此测谎仪的结果并不能告诉你一个普通人是否撒了谎。一个普通人是否撒了谎。然而,如果这一检验用于罪犯(嫌疑犯),由于罪犯对于特定问题说谎然而,如果这一检验用于罪犯(嫌疑犯),由于罪犯对于特定问题说谎的概率很高(也许是不得不撒谎,比如警察问:你有没有干坏事?罪犯的概率很高(也许是不得不撒谎,比如警察问:你有没有干坏事?罪犯的回答是:嗯,
9、这个么,也许,大概,可能,是这样的的回答是:嗯,这个么,也许,大概,可能,是这样的),假设),假设P(L)=0.5,这时我们可以得到,这时我们可以得到P(L|T)=0.86,这个概率还是可以接,这个概率还是可以接受的。受的。2021/7/2627条件概率条件概率“概率论概率论”有关概念复习有关概念复习)()()()(iiixpPxPxp)()()()(iiiBAPBPABPAP先验概率:先验概率:P(i)表示类表示类 i出现的先验概率,简称类出现的先验概率,简称类 i的概率。的概率。后验概率:后验概率:P P(i i|x)|x)表示表示x x出现条件下类出现条件下类 i i出现的概率出现的概率
10、,称其为类别的称其为类别的后验概率后验概率,对于模式识别来讲可理解为对于模式识别来讲可理解为x x来自类来自类 i i的概率。的概率。类条件概率密度:类条件概率密度:p(x|(x|i i)表示在类表示在类 i i条件下的概率密度,即类条件下的概率密度,即类 i i模式模式x x的概率的概率分布密度,简称为分布密度,简称为类条件概率密度类条件概率密度。2021/7/2628一般说来,一般说来,c类不同的物体应该具有各不相同的属性,在类不同的物体应该具有各不相同的属性,在d维特征空间,维特征空间,各自有不同的分布。当某一特征向量值各自有不同的分布。当某一特征向量值X只为某一类物体所特有,即只为某一
11、类物体所特有,即 对其作出决策是容易的,也不会出什么差错。问题在于出现模棱两可的对其作出决策是容易的,也不会出什么差错。问题在于出现模棱两可的情况。此时,任何决策都存在判错的可能性。这里讨论的是使错误率为情况。此时,任何决策都存在判错的可能性。这里讨论的是使错误率为最小的决策方法,称为基于最小错误率的贝叶斯决策理论。最小的决策方法,称为基于最小错误率的贝叶斯决策理论。2021/7/2629最小错误率是在统计的意义上说的,请注意其含义。最小错误率是在统计的意义上说的,请注意其含义。在这里要弄清楚条件概率这个概念。在这里要弄清楚条件概率这个概念。P(*|#)是条件概率的通用符号,在是条件概率的通用
12、符号,在“|”后边出现的后边出现的#为条件,之前的为条件,之前的*为某个事件,即在某条件为某个事件,即在某条件#下出现某下出现某个事件个事件*的概率。的概率。P(K|X)是表示在是表示在X出现条件下,样本为出现条件下,样本为K类的概类的概率。率。一个事物在某条件下出现的概率一个事物在某条件下出现的概率P(*|#)与该事件在不带任何条件下出现与该事件在不带任何条件下出现的概率的概率(写成写成P(*)是不相同的。例如全世界人口有是不相同的。例如全世界人口有60亿。因此你见到亿。因此你见到一个人在不带任何条件下,有一个人在不带任何条件下,有20%的可能性是中国人的可能性是中国人P(*)=0.2,但是
13、,但是如果你在中国,或香港、台湾,那么中国、香港、台湾都是指一种条件如果你在中国,或香港、台湾,那么中国、香港、台湾都是指一种条件(#),这种地理条件下,你所见到的某一个人是中国人,这种地理条件下,你所见到的某一个人是中国人(*)的概率就要大的概率就要大得多,此时得多,此时P(*|#)就应该大于就应该大于20%,甚至更多了。甚至更多了。2021/7/2630对于两类对于两类 1 1,2 2问题,直观地,可以根据后验概率做判决:问题,直观地,可以根据后验概率做判决:121122 (|)(|)(|)(|)p xp xxp xp xx若则若则21(|)()(|)()(|)()(|)()iiiiiii
14、ip xPp xPpxp xp xP Bayes法则最大后验概率准则法则最大后验概率准则根据根据Bayes公式,后验概率公式,后验概率 可由类可由类 i的先验概率的先验概率P(i)和条件概率密度和条件概率密度 来表示,即来表示,即(/)ipx(/)ip x2021/7/2631将将P(i|x)代入判别式,判别规则可表示为代入判别式,判别规则可表示为1122111222 (|)()(|)()(|)()(|)()p x Pp x Pxp x Pp x Px若则若则或改写为或改写为212122112112122112 )()()|()|()()()|()|(xPPxpxplxPPxpxpl则则l12
15、称为称为似然比似然比(likelihood ratio),),12称为似然比的判决阀值。称为似然比的判决阀值。原则:要确定原则:要确定x x是属于是属于11类还是类还是22类,要看类,要看x x是来自于是来自于11类的概率大还是类的概率大还是来自来自22类的概率大。类的概率大。2021/7/2632已知:已知:(统计结果)(统计结果)先验概率:先验概率:P(1 1)=1/3)=1/3(鲈鱼出现的概率)(鲈鱼出现的概率)P(2 2)=1-)=1-P(1 1)=2/3)=2/3(鲑鱼出现的概率鲑鱼出现的概率)条件概率条件概率:p(x|1 1)见图示见图示(鲈鱼的长度特征分布概率)(鲈鱼的长度特征分
16、布概率)p(x|2 2)见图示见图示(鲑鱼的长度特征分布概率)(鲑鱼的长度特征分布概率)求:后验概率求:后验概率:P(|x=10)=?(如果一条鱼如果一条鱼x x1010,是什么类别?),是什么类别?)2021/7/2633解法解法1 1:111111122(10|)()(|10)()(|)()(|)()(|)()0.05 1/3 0.0480.05 1/30.502/3p xPPxp xp xPp xPp xP10101010利用利用Bayes公式公式2021/7/2634写成似然比形式写成似然比形式1122212112122(|)0.05100.1(|)0.50()2/32()1/3 ,p
17、 xlxp xPPlxx10()10判决阀值(10)即是鲑鱼。解法解法2:2021/7/2635)(1xP)(2xPx条件概率密度分布)(ixP鲈鱼鲈鱼鲑鱼鲑鱼100.050.55.58.52021/7/2636)(1xP)(2xPx2.04.06.08.00.1后验概率分布)(xPi102021/7/2637分别输入分别输入50组男性和女性的身高、体重数据,作为训练集。输入组男性和女性的身高、体重数据,作为训练集。输入300组数据作为测试集,组数据作为测试集,其中其中50组女性数据,组女性数据,250组男性数据。组男性数据。选择不同的先验概率分别做了两组实验:选择不同的先验概率分别做了两组实
18、验:1.设定男性先验概率为设定男性先验概率为0.5,女性先验概率为,女性先验概率为0.5。结果:。结果:男性错误分类(男性错分为女性)数:男性错误分类(男性错分为女性)数:31女性错误分类(女性错分为男性)数:女性错误分类(女性错分为男性)数:1错误率:错误率:10.67%(31+1)/3002021/7/26382.设定男性先验概率为设定男性先验概率为0.5,女性先验概率为,女性先验概率为0.5。结果:结果:男性错误分类(男性错分为女性)数:男性错误分类(男性错分为女性)数:8女性错误分类(女性错分为男性)数:女性错误分类(女性错分为男性)数:6错误率:错误率:4.67%(8+6)/3002
19、021/7/2639由实验结果可见,对于贝叶斯决策的使用,由实验结果可见,对于贝叶斯决策的使用,选择合适的先验概率选择合适的先验概率是必要的,先验概率选择合是必要的,先验概率选择合适,通过贝叶斯决策会得到好的分类结果,反之,则会影响分类结果。适,通过贝叶斯决策会得到好的分类结果,反之,则会影响分类结果。2021/7/2640假设每个要识别的细胞已作过预处理,并抽取出了假设每个要识别的细胞已作过预处理,并抽取出了d个特征描述量,用个特征描述量,用一个一个d维的特征向量维的特征向量X表示,识别的目的是要依据该表示,识别的目的是要依据该X向量将细胞划分为向量将细胞划分为正常细胞或者异常细胞。这里我们
20、用正常细胞或者异常细胞。这里我们用表示是正常细胞,而表示是正常细胞,而则属于则属于异常细胞。异常细胞。类别的状态是一个随机变量,而某种状态出现的概率是可以估计的。概类别的状态是一个随机变量,而某种状态出现的概率是可以估计的。概率的估计包含两层含义,一是由统计资料表明,正常细胞与异常细胞在率的估计包含两层含义,一是由统计资料表明,正常细胞与异常细胞在统计意义上的比例,这称为先验概率统计意义上的比例,这称为先验概率P(1)及及P(2),另一种则分别,另一种则分别表示所检查细胞呈现出的不同属性的概率密度函数表示所检查细胞呈现出的不同属性的概率密度函数P(x|1)和和P(x|2),显然在一般情况下正常
21、细胞占比例大,即,显然在一般情况下正常细胞占比例大,即P(1)P(2),因此如果我们不对具体的细胞化验值作仔细观察,我,因此如果我们不对具体的细胞化验值作仔细观察,我们作出该细胞是正常细胞的判决,在统计的意义上来说,也就是平均意们作出该细胞是正常细胞的判决,在统计的意义上来说,也就是平均意义上说,错判可能性比判为异常细胞时小。但是仅按先验概率来决策,义上说,错判可能性比判为异常细胞时小。但是仅按先验概率来决策,就会把所有细胞都划归为正常细胞,并没有达到将正常细胞与异常细胞就会把所有细胞都划归为正常细胞,并没有达到将正常细胞与异常细胞区分开的目的。这表明由先验概率所提供的信息太少。区分开的目的。
22、这表明由先验概率所提供的信息太少。2021/7/2641为此我们还必须利用对细胞作病理分析所观测到的信息,也就是所抽取到的为此我们还必须利用对细胞作病理分析所观测到的信息,也就是所抽取到的d维维观测向量。为简单起见,我们假定只用其一个特征进行分类,即观测向量。为简单起见,我们假定只用其一个特征进行分类,即d=1,并已知,并已知这两类的类条件概率密度函数分布,如图所示,其中这两类的类条件概率密度函数分布,如图所示,其中P(x|1)是正常细胞的属是正常细胞的属性分布,性分布,P(x|2)是异常细胞的属性分布。那末,当观测向量为是异常细胞的属性分布。那末,当观测向量为X值时,它属值时,它属于各类的概
23、率又是多少呢于各类的概率又是多少呢?为此我们利用贝叶斯公式为此我们利用贝叶斯公式,来计算后验概率来计算后验概率P(i|X)。2021/7/2642上例中图上例中图2.1表示的类条件概率可用式表示的类条件概率可用式(2-1)换算成如图换算成如图2.2所示的后验所示的后验概率分布。可以看出,在概率分布。可以看出,在X值小时,细胞被判为正常是比较合理的,判值小时,细胞被判为正常是比较合理的,判断错误的可能性小。基于最小错误概率的贝叶斯决策理论就是按后验概断错误的可能性小。基于最小错误概率的贝叶斯决策理论就是按后验概率的大小作判决的。率的大小作判决的。2021/7/2643假设在某地区切片细胞中正常假
24、设在某地区切片细胞中正常(1)和异常和异常()两类的先验概率分别为两类的先验概率分别为P(1)=0.9,P(2)=0.1。现有一待识别细胞呈现出状态。现有一待识别细胞呈现出状态x,由其类条件概,由其类条件概率密度分布曲线查得率密度分布曲线查得p(x|1)=0.2,p(x|)=0.4,试对细胞,试对细胞x进行分类。进行分类。解:利用贝叶斯公式,分别计算出状态为解:利用贝叶斯公式,分别计算出状态为x时时1与与的后验概率的后验概率根据贝叶斯决策根据贝叶斯决策(2-2)则有则有P(1|x)0.818P(|x)0.0182因此判定该细胞为正常细胞比较合理。因此判定该细胞为正常细胞比较合理。2021/7/
25、2644从这个例子可以看出,尽管类别从这个例子可以看出,尽管类别呈现出状态呈现出状态x的条件概率要高于的条件概率要高于1类呈现此类呈现此状态的概率,但是考虑到状态的概率,但是考虑到P(1)远大于远大于P(),因此状态,因此状态x属于类别属于类别1的可能的可能性远比属于类别性远比属于类别的可能性大。将该细胞判为正常在统计的意义上讲出错率要的可能性大。将该细胞判为正常在统计的意义上讲出错率要小得多。小得多。由于统计判别方法是基于统计参数作出决策,因此错误率也只能从平均的意义由于统计判别方法是基于统计参数作出决策,因此错误率也只能从平均的意义上讲,表示为在观测值可能取值的整个范围内错识率的均值。在连
展开阅读全文