机器学习导论-第5章贝叶斯分类器与贝叶斯网络.ppt

1、第第5章章 贝叶斯分类器与贝叶斯网络贝叶斯分类器与贝叶斯网络n掌握贝叶斯公式和朴素贝叶斯分类器原理。掌握贝叶斯公式和朴素贝叶斯分类器原理。n熟悉朴素贝叶斯分类器的优缺点及应用领域。熟悉朴素贝叶斯分类器的优缺点及应用领域。n了解贝叶斯网络的构建方法及推理过程。了解贝叶斯网络的构建方法及推理过程。本章学习目标本章学习目标n5.1 贝叶斯方法贝叶斯方法n5.2 贝叶斯分类器贝叶斯分类器n5.3 贝叶斯网络贝叶斯网络第第5章章贝叶斯分类器与贝叶斯贝叶斯分类器与贝叶斯网络网络n贝叶斯贝叶斯(1702-1761)Thomas Bayes，英国英国数学家。数学家。1742年成为年成为英国皇家学会英国皇家学会

2、会员。会员。1761年年4月月7日逝世。贝叶斯在日逝世。贝叶斯在数学数学方面主要研究概率论。他首先将方面主要研究概率论。他首先将归纳推理归纳推理法用于概率论法用于概率论基础理论，并创立了基础理论，并创立了贝叶斯统计贝叶斯统计理论，对于统计决策理论，对于统计决策函数函数、统计推断、统计的估算等做出了贡献。他死后，理查德统计推断、统计的估算等做出了贡献。他死后，理查德普莱普莱斯斯(Richard Price)于于1763年将他的著作年将他的著作 An essay towards solving a problem in the doctrine of chances寄给了英国皇家学会，对于现代寄给

3、了英国皇家学会，对于现代概率论和数理统计概率论和数理统计产生了产生了重要的影响。重要的影响。5.1 贝叶斯方法贝叶斯方法例例：假设某个动物园里的雌性和雄性熊猫的比例是4：6，雌性熊猫中90%的熊猫是干净整洁的，雄性熊猫中20%是干净整洁的。1.求解“正向概率”：在动物园中看到一只干净整洁的雄性熊猫的概率是多少？2.求解“逆向概率”：如果看到一只熊猫是干净整洁的，它是雄性的概率是多少？贝叶斯公式5.1 贝叶斯方法贝叶斯方法贝叶斯公式5.1 贝叶斯方法贝叶斯方法12001212,1,1,2,;2,.nijnnEB BBEB Bi jnBBBB BB 定义设为试验 的样本空间为的一组事件 若则称为样

4、本空间的一个划分样本空间的划分样本空间的划分1B2B3BnB1nB5.1 贝叶斯方法贝叶斯方法条件独立公式条件独立公式：如果如果 和和 相互独立，则有：相互独立，则有：其中，其中，是事件发生的概率。是事件发生的概率。条件概率公式条件概率公式:其中，其中，表示事件表示事件 已发生的条件下，事件已发生的条件下，事件 发生的概发生的概率，也称为条件概率。率，也称为条件概率。可以通过全概率公式计算。可以通过全概率公式计算。(,)()()P X YP X P Y P ()()()P X Y P YP Y XP X()P Y XXYXY()PX数学基础数学基础5.1 贝叶斯方法贝叶斯方法全概率公式全概率公

5、式：其中，事件 构成一个完备事件组，即 。数学基础数学基础5.1 贝叶斯方法贝叶斯方法1()(|)()kiiiP XP X YY P Y12,kY YY11kiiY5.1 贝叶斯方法贝叶斯方法n贝叶斯方法的贝叶斯方法的特点是用概率表示不确定性，概率规则表示推理或特点是用概率表示不确定性，概率规则表示推理或学习，学习，随机变量的概率分布表示推理或学习的最终随机变量的概率分布表示推理或学习的最终结果。结果。n贝叶斯理论源于贝叶斯提出的贝叶斯定理贝叶斯理论源于贝叶斯提出的贝叶斯定理。贝叶斯定理是关于随贝叶斯定理是关于随机事件机事件 和和 的条件概率的一则定理，它基于下述贝叶斯公式的条件概率的一则定理

6、，它基于下述贝叶斯公式:n如果我们已经知道事件如果我们已经知道事件 和和 各自发生的各自发生的概率，已知概率，已知当事件当事件 发生发生前提下事件前提下事件 也也发生发生的的条件概率，那么条件概率，那么就可以用贝叶斯公式求就可以用贝叶斯公式求得在事件得在事件 发生前提下事件发生前提下事件 发生的发生的概率。概率。n贝叶斯公式提供了从先验概率计算后验概率的方法。贝叶斯公式提供了从先验概率计算后验概率的方法。5.1 贝叶斯方法贝叶斯方法由全概率公式可以得到如下贝叶斯公式贝叶斯公式：1()()()iiikiiiP X Y P YP Y XP X YY P Yn5.1 贝叶斯方法贝叶斯方法n5.2 贝

7、叶斯分类器贝叶斯分类器n5.3 贝叶斯网络贝叶斯网络第第5章章贝叶斯分类器与贝叶斯贝叶斯分类器与贝叶斯网络网络n训练数据集：训练数据集：n由由X和和Y的联合概率分布的联合概率分布P(X,Y)独立同分布产生独立同分布产生n朴素贝叶斯通过训练数据集学习联合概率分布朴素贝叶斯通过训练数据集学习联合概率分布P(X,Y)，n即先验概率分布：即先验概率分布：n及条件概率分布：及条件概率分布：5.2 贝叶斯分类器贝叶斯分类器n条件独立性假设：条件独立性假设：n“朴素朴素”贝叶斯名字由来，牺牲分类准确性。贝叶斯名字由来，牺牲分类准确性。n贝叶斯定理：贝叶斯定理：n代入上式：代入上式：5.2 贝叶斯分类器贝叶斯

8、分类器n贝叶斯分类器：贝叶斯分类器：n分母对所有分母对所有ck都相同：都相同：5.2 贝叶斯分类器贝叶斯分类器n朴素贝叶斯分类模型朴素贝叶斯分类模型是一种简单的构造分类器的方法。朴素贝叶是一种简单的构造分类器的方法。朴素贝叶斯分类模型是将问题分为特征向量和决策向量两类，并假设问题斯分类模型是将问题分为特征向量和决策向量两类，并假设问题的特征向量都是相互独立地作用于决策向量的，即问题的特征之的特征向量都是相互独立地作用于决策向量的，即问题的特征之间都是互不相关的。间都是互不相关的。n尽管有这样过于简单的假设，但朴素贝叶斯分类模型能指数级降尽管有这样过于简单的假设，但朴素贝叶斯分类模型能指数级降低

9、贝叶斯网络构建的复杂性，同时还能较好地处理训练样本的噪低贝叶斯网络构建的复杂性，同时还能较好地处理训练样本的噪声和无关属性，所以朴素贝叶斯分类模型仍然在很多现实问题中声和无关属性，所以朴素贝叶斯分类模型仍然在很多现实问题中有着高效的应用，例如入侵检测和垃圾邮件过滤等领域。有着高效的应用，例如入侵检测和垃圾邮件过滤等领域。n目前许多研究学者也在致力于改善特征变量间的独立性的限制使目前许多研究学者也在致力于改善特征变量间的独立性的限制使得朴素贝叶斯分类模型可以应用到更多问题上。得朴素贝叶斯分类模型可以应用到更多问题上。5.2 贝叶斯分类器贝叶斯分类器1.原理：原理：对于待分类的样本，假设各个特征之

10、间满足朴素独立的条件，对于待分类的样本，假设各个特征之间满足朴素独立的条件，基于贝叶斯公式，通过训练样本的特征概率，求解未知样本的概基于贝叶斯公式，通过训练样本的特征概率，求解未知样本的概率分布，从而预测样本的分类。率分布，从而预测样本的分类。2.步骤：步骤：对于训练样本集包含分类标签，其中有对于训练样本集包含分类标签，其中有 个样本，每个样本包个样本，每个样本包含含 个特征，表示如下：个特征，表示如下：对应的训练集有对应的训练集有 个输出类别，表示为个输出类别，表示为 。nm 11121121222212,mmnnnmnx xxyxxxyxxxyk12,kC CC5.2 贝叶斯分类器贝叶斯分

11、类器n朴素贝叶斯分类朴素贝叶斯分类 对于测试样本集对于测试样本集 ，分别，分别统计每个样本对应标签的所有输出类别对应的概率：统计每个样本对应标签的所有输出类别对应的概率：由于每个样本的特征独立，根据条件独立公式，计算样本中由于每个样本的特征独立，根据条件独立公式，计算样本中每个特征的条件概率，再计算出对应标签的所有类别的概率，如每个特征的条件概率，再计算出对应标签的所有类别的概率，如下所示：下所示：11121121222212,mmpppmptttrtttrtttr1,2,ip12,iiiiiikP t rCP t rCP t rC 111121111111211221212121112111

12、1()()()miiiiimijjmiiiiimijjmiikikikimkijkjP t rCP trCP trCP trCP t rCP t rCP trCP trCP trCP t rCP t rCP trCP trCP trCP t rC5.2 贝叶斯分类器贝叶斯分类器n朴素贝叶斯分类朴素贝叶斯分类 对于新的测试样本集对于新的测试样本集 ，根据贝叶斯公式可以得到：，根据贝叶斯公式可以得到：如果如果 ，其中，其中 ，则则 ，即认为，即认为 。衡量分类器精度，可以利用衡量分类器精度，可以利用 统计分类器计算与真实标签对比统计分类器计算与真实标签对比的正确率。的正确率。1122()()()(

13、)()()iiiiiiiiiiiiiikiikiiP trCPrPrCtPtP trCPrPrCtPtP trCPrPrCtPtx 12max,hiiikiP rC tP rC tP rC tP rC t1,2,hkihtCihrCir5.2 贝叶斯分类器贝叶斯分类器n朴素贝叶斯分类朴素贝叶斯分类数据数据 以以上表格通过不同的天气特征来预测球赛是否可以进行，数据集中可以比上表格通过不同的天气特征来预测球赛是否可以进行，数据集中可以比赛（赛（Yes）的样本有）的样本有 9 个，而不能比赛的样本（个，而不能比赛的样本（No）有）有 5 个，对于一组新个，对于一组新的天气数据，采用贝叶斯理论基于以前

14、的经验数据，预测为的天气数据，采用贝叶斯理论基于以前的经验数据，预测为可以比赛可以比赛的概的概率要比预测为率要比预测为不能比赛不能比赛的概率高几乎两倍，这就称为先验概率的概率高几乎两倍，这就称为先验概率(Prior probability)。5.2 贝叶斯分类器贝叶斯分类器n朴素贝叶斯分类朴素贝叶斯分类对于以上数据集，求先验概率如下：对于以上数据集，求先验概率如下：对对于新样本：于新样本：采用贝叶斯分类法来预测采用贝叶斯分类法来预测首先需要统计数据集，计算如下的条件概率：首先需要统计数据集，计算如下的条件概率：()9 14()5 14P PlayYesP PlayNo,XOutlookOver

15、cast TemperatureMild HumidityNormal WindyFalsePlayYesPlayNo或()2 9 ()3 5()4 9 ()0 5()3 9 ()2 5OutlookP Sunny PlayYesP Sunny PlayNoP Overcast PlayYesP Overcast PlayNoP Rain PlayYesP Rain PlayNo5.2 贝叶斯分类器贝叶斯分类器n朴素贝叶斯分类朴素贝叶斯分类()2 9 ()2 5()4 9 ()2 5()3 9 ()1 5()3 9 ()4 5()6 9 TemperatureP Hot PlayYesP Ho

16、t PlayNoP Mild PlayYesP Mild PlayNoP Cool PlayYesP Cool PlayNoHumidityP High PlayYesP High PlayNoP Normal PlayYes ()1 5()3 9 ()3 5()6 9 ()2 5P Normal PlayNoWindyP True PlayYesP True PlayNoP False PlayYesP False PlayNo5.2 贝叶斯分类器贝叶斯分类器n朴素贝叶斯分类朴素贝叶斯分类根据贝叶斯公式可以计算出新样本根据贝叶斯公式可以计算出新样本X的两个似然概率的两个似然概率(Likeli

17、hood Probability)如下所示：如下所示：对于以上两个算式，发现对于以上两个算式，发现 的乘积项中出现了的乘积项中出现了0，这，这是因为训练数据集中的是因为训练数据集中的 这个条件概率为这个条件概率为0而而导致的，这时候如果增加有效的训练数据，就需要采取拉普拉斯导致的，这时候如果增加有效的训练数据，就需要采取拉普拉斯修正修正(Laplace correction)。()()*()*()*()(4 9)*(4 9)*(6 9)*(6 9)()()*(P X PlayYesP OutlookOvercast PlayYesP TemperatureMild PlayYesP Humid

18、ityNormal PlayYesP WindyFalse PlayYesP X PlayNoP OutlookOvercast PlayNoP TemperatureMild Play)*()*()(0 5)*(2 5)*(1 5)*(2 5)NoP HumidityNormal PlayNoP WindyFalse PlayNo()P X Play No()P OutlookOvercast PlayNo5.2 贝叶斯分类器贝叶斯分类器n朴素贝叶斯分类朴素贝叶斯分类修正后重新计算先验概率如下：修正后重新计算先验概率如下：修正后重新计算条件概率如下：修正后重新计算条件概率如下：()(9 1)

19、/(142)10 16()(5 1)/(142)6 16P PlayYesP PlayNo()312 ()4 8()512 ()18()412 ()3 8()312 ()3 8(OutlookP Sunny PlayYesP Sunny PlayNoP Overcast PlayYesP Overcast PlayNoP Rain PlayYesP Rain PlayNoTemperatureP Hot PlayYesP Hot PlayNoP Mild Pla)512 ()3 8()412 ()2 8yYesP Mild PlayNoP Cool PlayYesP Cool PlayNo5.

20、2 贝叶斯分类器贝叶斯分类器n朴素贝叶斯分类朴素贝叶斯分类修正后重新计算似然概率如下：修正后重新计算似然概率如下：()4 11 ()5 7()7 11 ()2 7()4 11 ()4 7()7 11 ()3 7HumidityP High PlayYesP High PlayNoP Normal PlayYesP Normal PlayNoWindyP True PlayYesP True PlayNoP False PlayYesP False PlayNo()()*()*()*()(512)*(512)*(711)*(711)0.07030533P X Play YesPOutlook O

21、vercast Play Yes PTemperature Mild Play YesPHumidity Normal Play Yes PWindy FalsePlay Yes5.2 贝叶斯分类器贝叶斯分类器n朴素贝叶斯分类朴素贝叶斯分类回顾贝叶斯公式构建分类器的数学模型：回顾贝叶斯公式构建分类器的数学模型：其中上式的分子项，其中上式的分子项，为先验概率为先验概率(Prior probability)，为通过条件概率为通过条件概率(Conditional probability)计算出来的似然计算出来的似然概率概率(Likelihood Probability)。()()*()*()*()(

22、18)*(38)*(2 7)*(3 7)0.005739796P X PlayNoP OutlookOvercast PlayNoPTemperature Mild PlayNoP HumidityNormal PlayNoPWindyFalse PlayNo1()()()()()iiiKiiiP X YC PYCPYC XP X YC PYC()iPY C()iP X YC5.2 贝叶斯分类器贝叶斯分类器n朴素贝叶斯分类朴素贝叶斯分类而分母项为现象概率（而分母项为现象概率（Evidence probability）,可以通过数学证明可以通过数学证明其对所有分类相同。公式的左边为所要预测的其对

23、所有分类相同。公式的左边为所要预测的 样本分样本分类，称为后验概率类，称为后验概率(Posterior probability)。所以上式也常表达为。所以上式也常表达为当分母相同时，可以认为后验概率与似然和先验概率成正比：当分母相同时，可以认为后验概率与似然和先验概率成正比：计算本例中的后验概率如下：计算本例中的后验概率如下：*LikelihoodPriorPosteriorEvidence *PosteriorLikelihoodPrior()()*()0.07030533*(10 16)=0.04394083P PlayYes XP X PlayYesP PlayYes()iP YC X5

24、.2 贝叶斯分类器贝叶斯分类器n朴素贝叶斯分类朴素贝叶斯分类 回顾贝叶斯理论用于分类预测时的结论，当且仅当以下条件满足回顾贝叶斯理论用于分类预测时的结论，当且仅当以下条件满足时：时：可以得到结论：预测可以得到结论：预测 属于属于 。所以，对于本例的新样本所以，对于本例的新样本 ，可以预测其分类结果为，可以预测其分类结果为 ，也就是在天气条件为也就是在天气条件为 的时候，预测比赛可以进行。的时候，预测比赛可以进行。()()1,jiP YC XP YC Xfori jKandjijCXPlayYesXX()()*()0.005739796*(6 16)=0.002152424P PlayNo XP

25、 X PlayNoP PlayNo5.2 贝叶斯分类器贝叶斯分类器n朴素贝叶斯分类朴素贝叶斯分类5.2 贝叶斯分类器贝叶斯分类器n朴素贝叶斯分类朴素贝叶斯分类n贝叶斯垃圾邮件过滤器贝叶斯垃圾邮件过滤器n传统的垃圾邮件过滤方法是关键词过滤，但这种方法过于绝对，传统的垃圾邮件过滤方法是关键词过滤，但这种方法过于绝对，很容易出现误判的情况。贝叶斯垃圾邮件过滤会同时考虑关键词很容易出现误判的情况。贝叶斯垃圾邮件过滤会同时考虑关键词在正常邮件和垃圾邮件中出现的概率，并且学习用户的偏好，可在正常邮件和垃圾邮件中出现的概率，并且学习用户的偏好，可以减少误判的可能性。以减少误判的可能性。n假设收到一封电子邮件

26、假设收到一封电子邮件E，邮件由，邮件由n个关键词构成。设个关键词构成。设X=1表示邮表示邮件是正常邮件，件是正常邮件，X=0表示邮件是垃圾邮件。那么判定新邮件是否表示邮件是垃圾邮件。那么判定新邮件是否为垃圾邮件的问题可以表示为比较下列两式值的问题：为垃圾邮件的问题可以表示为比较下列两式值的问题：5.2 贝叶斯分类器贝叶斯分类器n朴素贝叶斯分类朴素贝叶斯分类n其中其中 和和 可以很容易地在邮箱里查出，所以只可以很容易地在邮箱里查出，所以只需要计算需要计算 和和 。这里可以简单假设。这里可以简单假设 E中中 n 个关键词是互不相关，即将问题转化为朴素贝叶斯分类模型。所个关键词是互不相关，即将问题转

27、化为朴素贝叶斯分类模型。所以就有：以就有：n等式右边的每个分式的计算都是很容易的，于是就可以很容易地等式右边的每个分式的计算都是很容易的，于是就可以很容易地得到上文需要的两个概率值。可以预先设定好垃圾邮件的概率阈得到上文需要的两个概率值。可以预先设定好垃圾邮件的概率阈值，比较值，比较 和和 即可实现自动的垃圾邮件即可实现自动的垃圾邮件标识与过滤。标识与过滤。n5.1 贝叶斯方法贝叶斯方法n5.2 贝叶斯分类器贝叶斯分类器n5.3 贝叶斯网络贝叶斯网络第第5章章贝叶斯分类器与贝叶斯贝叶斯分类器与贝叶斯网络网络n贝叶斯网络贝叶斯网络（Bayesian network），又称为），又称为信念网络信念

28、网络（Belief network），是一种通过），是一种通过有向无环图有向无环图（Directed acyclic graph，DAG）表示一组随机变量及其条件依赖表示一组随机变量及其条件依赖概率的概率图模型。率的概率图模型。n概率图中，概率图中，每个节点表示一个随机变量，每一条有向边表示随机每个节点表示一个随机变量，每一条有向边表示随机变量间的依赖关系，同时每个节点都对应一个变量间的依赖关系，同时每个节点都对应一个条件概率表条件概率表(Condition Probability Table，CPT)，用于描述该变量与父变量之间的依赖强度，用于描述该变量与父变量之间的依赖强度，也就是联合概率

29、分布。没有父节点的节点用先验概率表达信息。两，也就是联合概率分布。没有父节点的节点用先验概率表达信息。两个节点若无连接则表示相互独立的随机变量个节点若无连接则表示相互独立的随机变量。n贝叶斯网络是由贝叶斯网络是由图论图论和和概率论概率论结合而成的描述多元统计关系的模结合而成的描述多元统计关系的模型，它为多个变量之间复杂依赖关系的表示提供了统一的框架，具有型，它为多个变量之间复杂依赖关系的表示提供了统一的框架，具有紧凑有效、简洁直观的特点。紧凑有效、简洁直观的特点。5.3 贝叶斯贝叶斯网络网络n贝叶斯网络中的节点可以表示任意问题，丰富的概率表达能力使贝叶斯网络中的节点可以表示任意问题，丰富的概率

30、表达能力使能较好地处理不确定性信息或问题。贝叶斯网络中所有节点都是可能较好地处理不确定性信息或问题。贝叶斯网络中所有节点都是可见的，并且节点间的因果关系可以非常直观地观察到见的，并且节点间的因果关系可以非常直观地观察到。n由于贝叶斯网络对大规模复杂系统简约而紧凑的表示能力，使得由于贝叶斯网络对大规模复杂系统简约而紧凑的表示能力，使得其成为人工智能、专家系统、模式识别、数据挖掘和软件测试等领其成为人工智能、专家系统、模式识别、数据挖掘和软件测试等领域的研究热点。域的研究热点。5.3 贝叶斯贝叶斯网络网络有向图模型21121112(,.,)()(|)(|,.,)KKKp x xxp xp xxp

31、xx xxL211(,.,)(|Pa)kKKkxkp x xxp x5.3 贝叶斯贝叶斯网络网络根据贝叶斯网络的紧凑的联合分布，可得上图贝叶斯网络的联合分布为有向图模型贝叶斯网络示例(,.,)()()()(|,)(|,)(|)(|).p a bgp a p b p f p c a f p g b f p d c p e d5.3 贝叶斯贝叶斯网络网络有向图模型,NonDesc()|Pa(),kkkk xxx5.3 贝叶斯贝叶斯网络网络n通过联合分布的紧凑表示或者通过局部条件独立性的形式化语义，通过联合分布的紧凑表示或者通过局部条件独立性的形式化语义，都可以分析出贝叶斯网络中变量的一些条件独立性

32、，但是这两种方都可以分析出贝叶斯网络中变量的一些条件独立性，但是这两种方法并没有将所有的独立性情况包括。法并没有将所有的独立性情况包括。n事实上，通过图的一些特殊结构和规则可以简单直观地得到所关心事实上，通过图的一些特殊结构和规则可以简单直观地得到所关心变量的条件独立性。接下来介绍三种基本的变量依赖情况，三种情变量的条件独立性。接下来介绍三种基本的变量依赖情况，三种情况对应三种不同的图结构：况对应三种不同的图结构：有向图模型5.3 贝叶斯贝叶斯网络网络有向图模型(,)()(|)(|).p a b cp a p c a p b c(,)()(|)(|)(,|)(|)(|).()()p a b c

33、p a p c a p b cp a b cp a c p b cp cp c5.3 贝叶斯贝叶斯网络网络有向图模型(,)=(|)(|)().p a b cp a c p b c p c(,)(,|)(|)(|).()p a b cp a b cp a c p b cp c5.3 贝叶斯贝叶斯网络网络有向图模型(,)()()(|,).p a b cp a p b p c a b(,)()().p a bp a p b5.3 贝叶斯贝叶斯网络网络n贝叶斯网络的学习贝叶斯网络的学习n贝叶斯网络学习是对数据进行统计分析获取贝叶斯网络的过程。贝叶斯网络学习是对数据进行统计分析获取贝叶斯网络的过程。学习

34、包括了参数学习和结构学习两部分。参数学习是在网络结构学习包括了参数学习和结构学习两部分。参数学习是在网络结构已知的情况下确定参数即条件概率表中的值。结构学习则既需要已知的情况下确定参数即条件概率表中的值。结构学习则既需要确定网络结构确定网络结构G以定性反映变量间的依赖关系，又需要确定网络以定性反映变量间的依赖关系，又需要确定网络参数以定量得到条件概率表中的值。参数以定量得到条件概率表中的值。n在对贝叶斯网络进行参数学习时，我们已经知道了网络结构在对贝叶斯网络进行参数学习时，我们已经知道了网络结构G和和G中所有节点或部分节点的状态值，这些状态值就是需要进行中所有节点或部分节点的状态值，这些状态值

35、就是需要进行学习学习的数据集。的数据集。5.3 贝叶斯贝叶斯网络网络n贝叶斯网络的推理贝叶斯网络的推理n贝叶斯网络的推理是指在已知网络结构贝叶斯网络的推理是指在已知网络结构G和参数和参数下，给定某些证下，给定某些证据或变量的值通过概率论的方法求目标变量值的过程。贝叶斯网据或变量的值通过概率论的方法求目标变量值的过程。贝叶斯网络的推理主要包括两种，一种为自顶向下的推理，一种为自底向络的推理主要包括两种，一种为自顶向下的推理，一种为自底向上的推理。上的推理。n推理主要运用的方法有推理主要运用的方法有精确推理精确推理和和近似推理近似推理两种，分别有一些算两种，分别有一些算法来解决实际问题。不同情况下

36、有不同因素影响推理，贝叶斯网法来解决实际问题。不同情况下有不同因素影响推理，贝叶斯网络拓扑结构和推理任务是两大主要复杂度来源。网络的大小、变络拓扑结构和推理任务是两大主要复杂度来源。网络的大小、变量的类型和分布情况、推理任务的类型和相关证据的特征都会影量的类型和分布情况、推理任务的类型和相关证据的特征都会影响推理过程和结果，实际应用中也应灵活选择推理方法。响推理过程和结果，实际应用中也应灵活选择推理方法。5.3 贝叶斯贝叶斯网络网络n贝叶斯网络的推理贝叶斯网络的推理n精确推理精确推理最简单的方法即计算全局的联合概率，但直接对联合概最简单的方法即计算全局的联合概率，但直接对联合概率进行计算的效率

37、很低，常常采用变量消元法分别联合概率的求率进行计算的效率很低，常常采用变量消元法分别联合概率的求解达到简化计算的目的。变量消元法利用链式乘积法则和条件独解达到简化计算的目的。变量消元法利用链式乘积法则和条件独立性对联合概率计算表达式进行变换，改变基本运算的次序改变立性对联合概率计算表达式进行变换，改变基本运算的次序改变消元的次序，最终达到减少计算量的目的。该方法的基本思想可消元的次序，最终达到减少计算量的目的。该方法的基本思想可以通过一个简单例子描述，假设有如下所示的简单贝叶斯网络：以通过一个简单例子描述，假设有如下所示的简单贝叶斯网络：5.3 贝叶斯贝叶斯网络网络n贝叶斯网络的推理贝叶斯网络

38、的推理n精确推理精确推理5.3 贝叶斯贝叶斯网络网络n贝叶斯网络的推理贝叶斯网络的推理n在贝叶斯网络节点很多或依赖关系很复杂时，精确推理的复杂度在贝叶斯网络节点很多或依赖关系很复杂时，精确推理的复杂度很高，通常需要降低推理的复杂度，在问题的因果关系在网络中很高，通常需要降低推理的复杂度，在问题的因果关系在网络中可独立于某一部分存在时，可以将这一部分结构提取出来用精确可独立于某一部分存在时，可以将这一部分结构提取出来用精确推理的方法推理。在不能利用局部独立时，就需要降低计算的精推理的方法推理。在不能利用局部独立时，就需要降低计算的精度，即采用度，即采用近似推理近似推理的方法。的方法。n随机抽样算

39、法随机抽样算法是最常用的近似推理方法。该方法又被认为蒙特卡是最常用的近似推理方法。该方法又被认为蒙特卡洛算法或随机仿真。算法的基本思想上根据某种概率分布进行随洛算法或随机仿真。算法的基本思想上根据某种概率分布进行随机抽样以得到一组随机样本，再根据这一组随机样本近似地估计机抽样以得到一组随机样本，再根据这一组随机样本近似地估计需要计算的值。需要计算的值。5.3 贝叶斯贝叶斯网络网络n贝叶斯网络的应用贝叶斯网络的应用n医疗诊断医疗诊断n工业制品的故障检测和性能分析工业制品的故障检测和性能分析n基因连锁分析、农作物推断、兽医诊断、环境分析基因连锁分析、农作物推断、兽医诊断、环境分析n风控模型构建风控

40、模型构建n决策支持决策支持n文本分类、中文分词、机器翻译文本分类、中文分词、机器翻译5.3 贝叶斯贝叶斯网络网络n中文分词中文分词n中文分词问题可以描述为给定一句话，将其切分为合乎中文分词问题可以描述为给定一句话，将其切分为合乎语法和语义的词语序列。语法和语义的词语序列。n一个经典的中文分词案例是对一个经典的中文分词案例是对“南京市长江大桥南京市长江大桥”的分的分词。正确的分词结果为词。正确的分词结果为“南京市南京市/长江大桥长江大桥”，错误的分，错误的分词结果是词结果是“南京市长南京市长/江大桥江大桥”。下面我们使用贝叶斯算。下面我们使用贝叶斯算法来解决这一问题。法来解决这一问题。n设完整的

41、一句话为设完整的一句话为X，Y为组成该句话的词语集合，共有为组成该句话的词语集合，共有n个词语。于是分词问题可以个词语。于是分词问题可以转化为求下列式子最大值的转化为求下列式子最大值的问题：问题：5.3 贝叶斯贝叶斯网络网络n中文分词中文分词n所以只需找到所以只需找到 的最大值。由于任意的分词情况下由的最大值。由于任意的分词情况下由词语序列生成句子是精确的，所以可以忽略词语序列生成句子是精确的，所以可以忽略 ，只需找到，只需找到 的最大值即可。按照联合概率公式对的最大值即可。按照联合概率公式对 进行展开，有进行展开，有n这样的展开子式是指数级增长的，并且数据稀疏的问题也会越来这样的展开子式是指

42、数级增长的，并且数据稀疏的问题也会越来越明显。所以假设每个词语只会依赖于词语序列中该词前面出现越明显。所以假设每个词语只会依赖于词语序列中该词前面出现的的k个词语，即个词语，即k元元(k gram)语言模型。这里我们假设语言模型。这里我们假设k=2，于是，于是就有就有n回到上面到问题，正常的语料库中，回到上面到问题，正常的语料库中，“南京市长南京市长”与与“江大桥江大桥”同时出现的概率一般为同时出现的概率一般为0，所以这一分词方式会被舍弃，所以这一分词方式会被舍弃，“南京市南京市/长江大桥长江大桥”的分词方式会是最终的分词结果。的分词方式会是最终的分词结果。5.3 贝叶斯贝叶斯网络网络Question?