1、1.1.概率论基本知识概率论基本知识 1.11.1事件事件 确定事件：概念是确定的，发生也是确定的；确定事件：概念是确定的，发生也是确定的；随机事件：概念是确定的，发生是不确定的；随机事件：概念是确定的，发生是不确定的；模糊事件：概念本身就不确定。模糊事件：概念本身就不确定。1.21.2 随机变量随机变量 随机变量：随机事件的数量表示；随机变量：随机事件的数量表示；离散随机变量：取值为离散的随机变量离散随机变量：取值为离散的随机变量 ；连续随机变量：取值为连续的随机变量连续随机变量：取值为连续的随机变量 ；1.1.概率论基本知识概率论基本知识 1.31.3 频率和概率频率和概率(1)(1)频率
2、：试验在相同的条件下重复频率：试验在相同的条件下重复N N次，次，其中其中M M次事件次事件A A发生，则发生，则A A发生的频率为：发生的频率为：f fN N(A)=M/N(A)=M/N；(2)(2)概率：当概率：当N N很大时，频率会趋向一个很大时，频率会趋向一个稳定值，称为稳定值，称为A A的概率：的概率：limNNP AfA 1.41.4 联合概率和条件概率联合概率和条件概率 联合概率：设联合概率：设A A，B B是两个随机事件，是两个随机事件，A A和和B B同时发生的概率称为联合概率，记为：同时发生的概率称为联合概率，记为：P(A,B)P(A,B)；条件概率：在条件概率：在B B事
3、件发生的条件下，事件发生的条件下，A A事事件发生的概率称为条件概率，记为：件发生的概率称为条件概率，记为：P(A|B)P(A|B)；乘法定理：乘法定理：P(A|B)=P(A,B)/P(B)P(A|B)=P(A,B)/P(B)。1.1.概率论基本知识概率论基本知识1.1.概率论基本知识概率论基本知识 1.5.1.5.先验概率和后验概率先验概率和后验概率 事情还没有发生事情还没有发生,要求这件事情发生的可能性的要求这件事情发生的可能性的大小大小,是是先验概率先验概率.事情已经发生事情已经发生,要求这件事情发生的原因是由某要求这件事情发生的原因是由某个因素引起的可能性的大小个因素引起的可能性的大小
4、,是是后验概率后验概率.先验概率是在缺乏某个事实的情况下描述一个先验概率是在缺乏某个事实的情况下描述一个变量；而后验概率是在考虑了一个事实之后的变量；而后验概率是在考虑了一个事实之后的条件概率。条件概率。先验概率通常是经验丰富的专家的纯主观的估先验概率通常是经验丰富的专家的纯主观的估计。后验概率可以根据通过贝叶斯公式，用先计。后验概率可以根据通过贝叶斯公式，用先验概率和似然函数计算出来。验概率和似然函数计算出来。1.1.概率论基本知识概率论基本知识 1.61.6概率密度函数概率密度函数 概率分布函数：设概率分布函数：设X X为连续型随机变量，为连续型随机变量，定义分布函数；定义分布函数；F(x
5、)=P(XF(x)=P(Xx)x)；概率密度函数：如果存在一个非负函数概率密度函数：如果存在一个非负函数p(x)p(x)使得下式成立，则使得下式成立，则p(x)p(x)称为的概率称为的概率密度函数：密度函数：xF xp t dt Fxp x P Xxp x dx 1.61.6 全概公式全概公式 互不相容事件：如果试验时，若干个随互不相容事件：如果试验时，若干个随机事件中任何两个事件都不可能同时发机事件中任何两个事件都不可能同时发生，则称它们是互不相容的。生，则称它们是互不相容的。全概公式：若事件全概公式：若事件B只能与两两不相容的只能与两两不相容的事件事件A A1 1,A,A2 2,A,AN
6、N之一同时发生，则有：之一同时发生，则有：1NiiiP BP A P B A1.1.概率论基本知识概率论基本知识1.1.概率论基本知识概率论基本知识 1.71.7 贝叶斯公式贝叶斯公式 离散形式：离散形式：A,BA,B为离散随机变量：为离散随机变量：P B A P AP A BP B 连续形式：连续形式：A A为离散随机变量，为离散随机变量，B B为连续随机为连续随机变量：变量：p B A P AP A Bp BP(A,B)=P(B,A)2 2 BayesBayes概率分类器概率分类器 2.12.1 问题提出问题提出 已知：已知：c c个类别的先验概率个类别的先验概率P(P(i i)类条件概率
7、类条件概率密度函数密度函数p p(x|(x|i i)；对对类别未知样本类别未知样本x x进行分类。进行分类。2 2 BayesBayes概率分类器概率分类器 2.22.2 采用采用BayesBayes分类器的先决条件分类器的先决条件 决策分类的类别数是一定的决策分类的类别数是一定的 设有设有c c个模式类个模式类i i（i=1i=1，2 2，c c）各类出现的先验概率各类出现的先验概率P(P(i i)已知已知 类条件概率密度函数类条件概率密度函数p p(x|(x|i i)已知已知使用什么样的原则可以做到错误概率最小呢？使用什么样的原则可以做到错误概率最小呢？前提就是要知道一个样品分属于不同类别
8、的可能性，表示成前提就是要知道一个样品分属于不同类别的可能性，表示成p(i|x)计算后验概率最大的类来分类，这样就是错误最小的方式。计算后验概率最大的类来分类，这样就是错误最小的方式。2.32.3 两类分类的最小错误率两类分类的最小错误率BayesBayes分类决策规则分类决策规则的后验概率形式的后验概率形式设设N个样本分为两类个样本分为两类1，2。每个样本抽出每个样本抽出n个特征，个特征，x=（x1，x2，x3，xn）T221121),()(),()(xxPxPxxPxP则若则若 其中，其中，P P(i i|x)为状态后验概率由为状态后验概率由BayesBayes公式计算：公式计算：21)(
9、)()()()(jjjiiiPxpPxpxP2 2 BayesBayes概率分类器概率分类器2.42.4决策规则的类条件概率密度形式决策规则的类条件概率密度形式 两类最小错误率两类最小错误率BayesBayes分类决策规则的等价条分类决策规则的等价条件概率密度形式：件概率密度形式：2221112211)()|()()|()()|()()|(xPxpPxpxPxpPxp，则若，则若2 2 BayesBayes概率分类器概率分类器2.42.4决策规则的似然比形式决策规则的似然比形式21221112211221)()()()()()()()()()()()()()()(xPPxpxpxlxPPxpx
10、pxlPPxpxpxl，则：，则：若：似然比阈值：似然比：2 2 BayesBayes概率分类器概率分类器2.52.5决策规则的似然比对数形式决策规则的似然比对数形式 两类最小错误率两类最小错误率BayesBayes分类决策规则的等分类决策规则的等价似然比取自然对数形式：价似然比取自然对数形式：2221112211)(ln)(ln)(ln)(ln)(ln)(ln)(ln)(lnxPxpPxpxPxpPxp，则：若：，则：若：2 2 BayesBayes概率分类器概率分类器 2.62.6贝叶斯决策函数贝叶斯决策函数 2 2类分类的贝叶斯决策函数类分类的贝叶斯决策函数)(,)()(ln)()(ln
11、)()4()(,)()()()()()3()(),()()()()()2()(),()()()1(12211221221121取对数方法似然比形式类条件概率密度后验概率PPxpxpxgPPxpxpxgPxpPxpxgxPxPxg 决策函数表述的决策规则：210)(xxg，则：若：2 2 BayesBayes概率分类器概率分类器2.72.7决策域与决策边界决策域与决策边界 2 2类贝叶斯决策规则把类贝叶斯决策规则把n n维特征空间分成了维特征空间分成了2 2个决策域个决策域 决策域的边界称为决策边界，边界方程（或决策面方程）决策域的边界称为决策边界，边界方程（或决策面方程）满足：满足：g(x)=
12、0g(x)=0 决策边界（特征空间为决策边界（特征空间为n n维）维）n=1n=1时，决策边界为分界点时，决策边界为分界点 n=2n=2时，决策边界为曲线时，决策边界为曲线 n=3n=3时，决策边界为曲面时，决策边界为曲面 n3n3时，决策边界为超曲面时，决策边界为超曲面2 2 BayesBayes概率分类器概率分类器g(x)nxxxX.21特征向量判别计算决策21x阈值单元2 2类分类的类分类的BayesBayes分类器分类器2 2 BayesBayes概率分类器概率分类器3.13.1多类情况下的最小错误率多类情况下的最小错误率BayesBayes分类决策规则分类决策规则设设N个样本分为个样
13、本分为c类类1，2，c。每个样本抽出每个样本抽出n个特征，个特征，x=（x1，x2，x3，xn）TijjiiijxjicjPxpPxpxjicjxPxP则：），（若：）类条件概率密度形式（则：），（若：）后验概率形式（;.21)()()()(2;.21)()(1i3 3 多类多类BayesBayes分类器分类器3 3 多类多类BayesBayes分类器分类器ijjiiiijjixjicjPxpPxpxjicjPPxpxpxl则：），（）自然对数形式（则：），（）似然比形式（;.21)()()(ln)(ln4;.21)()()()()(3 3.23.2 C C类情况下的贝叶斯决策函数类情况下的贝
14、叶斯决策函数 3.33.3 C C类情况下的贝叶斯决策规则类情况下的贝叶斯决策规则 ijcjixxgxg，则：若：)(max)(,.,1），（）自然对数形式（），（）类条件概率密度形式（），（）后验概率形式（ciPxpxgciPxpxgcixPxgiiiiiii.21)(ln)(ln)(3.21)()()(2.21)()(1i3 3 多类多类BayesBayes分类器分类器3.43.4多类情况下的决策域与决策边界多类情况下的决策域与决策边界 c c类贝叶斯决策规则把类贝叶斯决策规则把n n维特征空间分成维特征空间分成了了c c个决策域个决策域 决策域的边界由决策函数确定决策域的边界由决策函数确
15、定 对于对于2 2个相邻的决策域个相邻的决策域RiRi和和RjRj，其边界方，其边界方程满足：程满足：g gi i(x)=g(x)=gj j(x)(x)3 3 多类多类BayesBayes分类器分类器多类多类BayesBayes分类器分类器g1(x)Maxg(x)nxxxX.21特征向量判别计算决策ixg2(x)gn(x)最大值选择器.3 3 多类多类BayesBayes分类器分类器4 4 最小风险率最小风险率BayesBayes分类分类 风险即为损失风险即为损失 条件风险条件风险 将样本向量将样本向量x x判属某类所造成的损失的条件判属某类所造成的损失的条件数学期望数学期望 2 2类分类的最
16、小风险类分类的最小风险BayesBayes决策思想决策思想 对于待决策对于待决策x x，如果将其决策为类，如果将其决策为类1 1的风险的风险大于决策为类大于决策为类2 2的风险，则待决策的风险，则待决策x x属于类属于类1 1；反之，则待决策；反之，则待决策x x属于类属于类2 2。4.14.1 2 2类情况下模式判决条件风险类情况下模式判决条件风险 用用L Lijij(i,ji,j=1,2)=1,2)表示表示x x本属于本属于j j类而但被类而但被判属判属i i类所造成的损失，则：类所造成的损失，则：)()()(x)()()(x2221122222111111xPLxPLxrxPLxPLxr
17、的条件风险：判属类将的条件风险：判属类将4 4 最小风险率最小风险率BayesBayes分类分类 4.34.3 基于最小风险的基于最小风险的2 2类贝叶斯决策规则：类贝叶斯决策规则：222221112222111111222211122221111122221122211111222112221111)()()()()()()()()()()()()()()()(2)()()()()()()()(1xPxpLPxpLPxpLPxpLxPxpLPxpLPxpLPxpLxxPLxPLxPLxPLxxPLxPLxPLxPL则：若：则：若：）类条件概率密度形式（，则：若：，则：若：）后验概率形式（4
18、4 最小风险率最小风险率BayesBayes分类分类4.44.4多类情况下最小风险率多类情况下最小风险率BayesBayes决策决策 c c类条件风险定义类条件风险定义：基于最小风险的基于最小风险的c c类贝叶斯决策规则类贝叶斯决策规则：)()|()(:2)|()(:111kckkkiickkkiiPxpLxrxPLxr）类条件概率密度形式（）后验概率形式（ijcjixxrxr，则：若：)(min)(,.,14 4 最小风险率最小风险率BayesBayes分类分类4.54.5 最小风险率最小风险率BayesBayes决策与决策与最小错误率最小错误率BayesBayes决策的关系决策的关系 2
19、2类情况下，似然比表示的最小风险贝叶斯决策规则类情况下，似然比表示的最小风险贝叶斯决策规则：21111122222121)()()()()()()(xPLLPLLxpxpxl，则：若：2 2类情况下，似然比表示的最小错误率贝叶斯决策规则类情况下，似然比表示的最小错误率贝叶斯决策规则：211221)()()()()(xPPxpxpxl，则：若：如果正确决策的损失为如果正确决策的损失为0 0（L L1111=L=L2222=0=0），错误决策损失相等），错误决策损失相等（L L1212=L=L2121），则两种决策等价），则两种决策等价 最小错误率贝叶斯决策是最小风险率贝叶斯决策的特例最小错误率贝
20、叶斯决策是最小风险率贝叶斯决策的特例5.1正态分布判别函数正态分布判别函数 1、为什么采用正态分布：、为什么采用正态分布：a、正态分布在物理上是合理的、广泛的。、正态分布在物理上是合理的、广泛的。b、正态分布数学上简单，、正态分布数学上简单，N(,)只有均值和方差两个参数。只有均值和方差两个参数。)(xPX2295.01v5 正态分布决策理论正态分布决策理论如果在特征空间中的某一类样本，较多地分布在这一类均值附近，远离均值点的样如果在特征空间中的某一类样本，较多地分布在这一类均值附近，远离均值点的样本比较少，此时用正态分布作为这一类的概率模型是合理的。本比较少，此时用正态分布作为这一类的概率模
21、型是合理的。)(xPX2295.01v 5.2、单变量正态分布、单变量正态分布：)()()(,)()(:),(21exp21)(22222方差，均值或数学期望其中dxxPxxEdxxxPxENxxP1)()(,0)(dxxPxxP列关系：概率密度函数应满足下)(xPX2295.01v5 正态分布决策理论正态分布决策理论5.35.3、（多变量）多维正态分布、（多变量）多维正态分布(1)(1)函数形式：函数形式：的行列式为的逆阵，为维协方差矩阵，为维均值向量，维特征向量其中121211212),.,(,.,:21exp21)(nnnnxxxxxxxPTnTnTniiiiidxxPxxE)()(v5
22、 正态分布决策理论正态分布决策理论 nnnnnnnnnnnnTxxxxxxxxExxxxExxE.,.,.111111111111v5 正态分布决策理论正态分布决策理论是协方差，非对角线是方差对角线jijixxExxExxExxEijijnnnnnnnnnnnnn22222212121221111111111,.5 正态分布决策理论正态分布决策理论(1)不相关性等价于独立性不相关性等价于独立性 证明：5 正态分布决策理论正态分布决策理论(2)(2)(3)(3)5.4 判别函数：判别函数：类的条件概率密度用正态来类的条件概率密度用正态来表示：表示：)(lnln212ln221)(ln)(ln21
23、exp21ln)(ln)(21exp21)()()(112121212iiiiTiiiiTiiniiiTiiniiPnxxxgPxxxgPxxPxPxgv5 正态分布决策理论正态分布决策理论5.5 最小错误率最小错误率(Bayes)分类器：分类器：从最小错误率这个角度来分析从最小错误率这个角度来分析Bayes 分类器分类器 1.第一种情况：各个特征统计独立，且同方差情第一种情况：各个特征统计独立，且同方差情况。况。(最简单情况最简单情况)零。，只有方差，协方差为即22112.0.0.:nniIv5 正态分布决策理论正态分布决策理论 iTiiiiiiiTiiiiiiiiiTiixxxPxPxxx
24、ginIIIPnxxxg222121221),(ln2)(ln21)(2ln2,1,)(lnln212ln221)(其中无关。对分类无影响。都与因为判别函数判别函数：v5 正态分布决策理论正态分布决策理论v5 正态分布决策理论正态分布决策理论 ijTjMwiTiiiiTiiiiiTiiTiTiiTiTixwxwwxwxgPwwwxwxgixxxxxxx0102020max)()(ln21,21)(,)(,2判别规则：其中：线性判别函数简化可得：无关与因为二次项21212211212212)()(ln)(21)(1)()()(xPPxxgxgxgTTT对于二类情况0)()(xgxgji决策面方程
25、：v5 正态分布决策理论正态分布决策理论v如果如果M类先验概率也相等情况：类先验概率也相等情况：)(,2)()(.)()(2221欧氏距离imxxgPPP 最小距离分类器：未知最小距离分类器：未知x与与i相减，找最近的相减，找最近的i把把x归类归类 2、第二种情况：、第二种情况：i 相等，即各类协方差相等。)()()(21)()(.)()()()(ln)()(21)(.21321121马氏距离，若先验概率相等无关与因为rxxxgPPPPPxxxgiiTiiiiiTiiM 未知未知x，把，把x与各类均值相减，把与各类均值相减，把x归于最近一类。归于最近一类。最小距离分类器。最小距离分类器。)(l
26、n21,)()()(101011iiTiiiiiTiiTiTiPwWwxWxgixxxx其中（线性函数）无关。与展开；把ijTjMjiTiixwxWwxWxg010max)(决策规则：v5 正态分布决策理论正态分布决策理论v5 正态分布决策理论正态分布决策理论0)()()()(ln)(21)()()()(21212211111212xgxgxPPxxgxgxgjijiTT相邻与决策界面：若对于二类情况)()()()()(ln)(21)(,0)(1010jiTjijijijijiTPPxWxxW。其中 3、第三种情况、第三种情况(一般情况一般情况)：为任意，各类协方差矩阵不等，为任意，各类协方差
27、矩阵不等，二次项二次项xT x与与i有关。所以判别函数为二次型函数。有关。所以判别函数为二次型函数。ijTjjTMjiTiiTixwxWxWxwxWxWxxg010max)(决策规则：2121212122111112)()(lnln21)()(21)()(21)()()(xPPxxxxxgxgxgTT对于二类情况)(lnln2121)()(,21,)(:10110iiiiTiiiiiiiiTiiTiPwnWnnWwxWxWxxg，维列向量矩阵其中判别函数v5 正态分布决策理论正态分布决策理论v 例例1、有训练集资料矩阵如下表所示，现已知，、有训练集资料矩阵如下表所示，现已知，N=9、N1=5、
28、N2=4、d=2、M=2，试问，试问，X=(0,0)T应属于哪一类？应属于哪一类？v解解1、假定二类协方差假定二类协方差 矩阵不等（矩阵不等（12）则均值则均值:53,0)11011(511211XX训练样本号训练样本号k k1 2 3 4 5 1 2 3 4 特征特征 x x1 1特征特征 x x2 21 1 0 -1 -1 0 1 0 -1 0 1 1 1 0-1 -2 -2 -2类别类别1 2方法）的计算请看协方差协方差矩阵为1122211211212221212111(,410032,103001:.)47,0(,)53,0(,CCCCXXXXXXTTTT计算方法同上）协方差矩阵为(4
29、10032,103001103)()(410)()(411)01()01()00()01()01(41)()(15121122511222221121225111112222221115111111TkkkTkkkkkTkxxxxCCCxxxxCxxxxC类。属于所以判代入得：将利用公式：121212121211222111112)0,0(091.10)()0,0(),(x,),(x0)()(lnln21)xx()xx(21)xx()xx(21)()()(TTTTTTXxgxxxxxPPxgxgxg223.0)()(ln,94)(,95)(:59.0ln,61,103,40023,310001
30、212121211211PPPP先验概率类，判为故应把1211212111112)0,0(x068.2)()(ln)xxxx(21x)xx()(TTTTPPxg得：所以代入Tx0,0,11200053,20110035121 v 解解2 2、假定两类协方差矩阵相等=1+20)()()()(ln)(21)()()()(21212211111212xgxgxPPxxgxgxgjijiTT相邻与决策界面：若对于二类情况48写在最后写在最后成功的基础在于好的学习习惯成功的基础在于好的学习习惯The foundation of success lies in good habitsThe foundation of success lies in good habits 结束语结束语当当你尽了自己的最大努力你尽了自己的最大努力时时，失败失败也是伟大也是伟大的的，所以不要放弃，坚持就是正确的。，所以不要放弃，坚持就是正确的。When You Do Your Best,Failure Is Great,So DonT Give Up,Stick To The End演讲演讲人：人：XXXXXX 时时 间：间：XX年年XX月月XX日日
