第五章-不确定性推理-优质课件.ppt

1、2022-8-5福州大学阳光学院计算机系1n基本概念n概率方法n主观Bayes方法n可信度方法n证据理论第五章 不确定性推理2022-8-5福州大学阳光学院计算机系2第五章 不确定性推理n基本概念n概率方法n主观Bayes方法n可信度方法n证据理论2022-8-5福州大学阳光学院计算机系3基本概念n不精确思维并非专家的习惯或爱好所至，而是客观现实的要求。n很多原因导致同一结果n推理所需的信息不完备n背景知识不足n信息描述模糊n信息中含有噪声n规划是模糊的n推理能力不足n解题方案不唯一在人类的知识和思维行为中，精确性只是相对的，不精确性才是绝对的。知识工程需要各种适应不同类的不精确性特点的不精确

2、性知识描述方法和推理方法。2022-8-5福州大学阳光学院计算机系4基本概念n什么是不确定性推理n从不确定性的初始证据出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或者近乎合理的结论的思维过程。n事实与结论之间存在着不确定的因果关系，且事实也是不确定的。2022-8-5福州大学阳光学院计算机系5基本概念不确定推理的基本问题n不确定性的表示和量度n不确定性匹配算法及阈值的选择n组合证据不确定的算法n不确定性的传递算法n结论不确定性的合成(表示问题 计算问题 语义问题)2022-8-5福州大学阳光学院计算机系6基本概念不确定推理方法的基本问题 n表示问题：表达要清楚。表示不

3、仅仅是数，还要有语义描述。通常有数值表示和非数值表示方法，两者都不够完善。数值表示便于计算、比较，再考虑到定性的非数值描述才能较好的解决不确定问题。知识的不确定性描述（静态强度）通常是一数值，一般由领域专家给出。证据的不确定性描述（动态强度）也是一数值，除初始证据由用户给定外，一般通过传递算法计算得到。2022-8-5福州大学阳光学院计算机系7基本概念不确定推理的基本问题n计算问题：不确定性的传播和更新算法。包括已知规则 E H 的强度f(H,E)和前提的不确定性C(E)，如何计算结论的不确定性 C(H)=g1(C(E),f(H,E)已知某命题H的不确定性C1(H)，又根据新的证据求得C2(H

4、),如何计算新的C(H)=g2(C1(H),C2(H)定义算法g3，使C(E1 E2)=g3(C(E1),C(E2)定义算法g4，使C(E1 E2)=g4(C(E1),C(E2)2022-8-5福州大学阳光学院计算机系8基本概念不确定推理的基本问题n语义问题n将各个公式解释清楚。例如n规则 E H 的强度f(H,E)有E为真，H为真，则f(H,E)=？E为真，H为假，则f(H,E)=？E对H没有影响，则f(H,E)=？n前提 E 的不确定性度量C(E)有E为真，则C(E)=？E为假，则C(E)=？对E 一无所知，则C(E)=？2022-8-5福州大学阳光学院计算机系9基本概念不确定推理方法的分

5、类模型方法：把不确定的证据和不确定的知识分别与某种度量标准对应起来，并且给出更新结论的算法，从而构成了相应的不确定性推理模型。模型方法数值方法非数值方法基于概率的方法模糊推理控制方法：通过识别领域中引起不确定性的某些特征及相应的控制策略来限制或减少不确定性对系统的影响，此类方法没有处理不确定性的统一模型，其效率极大地依赖于控制策略。2022-8-5福州大学阳光学院计算机系10 第五章 不确定性推理n基本概念n概率方法n主观Bayes方法n可信度方法n证据理论2022-8-5福州大学阳光学院计算机系11第五章 不确定性推理n基本概念n概率方法n主观Bayes方法n可信度方法n证据理论2022-8

6、-5福州大学阳光学院计算机系12概率方法n经典概率方法 E Hn用概率P(H|E)表示结论H的确定性程度。n问题：实际情况P(H|E)不容易求。而 P(E|H)较易求。n逆概率方法 E Hi n用概率P(Hi|E)表示结论Hi的确定性程度。P(Hi|E)=i=1,2,3,nn优点：理论背景强。缺点：求P(Hi)、P(E|Hi)困难2022-8-5福州大学阳光学院计算机系13第五章 不确定性推理n基本概念n概率方法n主观Bayes方法n可信度方法n证据理论2022-8-5福州大学阳光学院计算机系14第五章 不确定性推理n基本概念n概率方法n主观Bayes方法n可信度方法n证据理论2022-8-5

7、福州大学阳光学院计算机系15主观贝叶斯方法n概述n在Prospector的探矿系统的研究过程中提出的。原有贝叶斯公式只考虑E出现对H的影响，没有考虑E不出现的影响。贝叶斯规则：IF E THEN (LS,LN)H (P(H)2022-8-5福州大学阳光学院计算机系16主观贝叶斯方法IF E THEN (LS,LN)H (P(H)E:知识的前提条件H:结论P(H):H的先验概率LS:充分性量度 (5.1)LN:必要性量度 (5.2)H)|P(EH)|P(ELSH)|EP(H)|EP(LN2022-8-5福州大学阳光学院计算机系17主观贝叶斯方法n证据的不确定性表示 P163图5-1 C(E/S)

8、=-5 在观察S下证据E肯定不存在 C(E/S)=0 S与E无关 C(E/S)=5 在观察S下证据E肯定存在2022-8-5福州大学阳光学院计算机系18主观贝叶斯方法n组合证据的不确定性算法 当 E=E1 AND E2 AND AND En 时 P(E/S)=minP(E1/S),P(E2/S),P(En/S)当 E=E1 OR E2 OR OR En 时 P(E/S)=maxP(E1/S),P(E2/S),P(En/S)“非”运算 P(E/S)=1-P(E/S)2022-8-5福州大学阳光学院计算机系19主观贝叶斯方法n不确定性的传递算法 将先验概率传递给后验概率n思路n采用Bayes公式必

9、须有较多的有效 样本集，且存在“关联数据”问题，即要知道在Hi下E存在的概率。实际应用中无法实现，需“修正”。2022-8-5福州大学阳光学院计算机系20主观贝叶斯方法n当H为n个互不相容事件的集合时，Bayes公式可写为：n1jjjiii)P(HH|P(E)P(HH|P(EE)|P(Hn 1i2022-8-5福州大学阳光学院计算机系21主观贝叶斯方法n修正的Bayes公式n设只有一个证据E和一个结论H，则 (5.3)(5.4)（1）（2）相除，得 (5.5)1.(.P(E)P(H)H)|P(EE)|P(H)2.(.P(E)H)P(H)|P(EE)|HP()3.(.H)P(H)|P(EP(H)

10、H)|P(E)|()|(EHPEHP2022-8-5福州大学阳光学院计算机系22主观贝叶斯方法n为了简洁起见,引入几率函数 (x)=P(x)/P(x)P(x)=(x)/(1+(x)(5.6)(x)与 P(x)有相同的单调性.由5.1,5.5和5.6可得 (H/E)=LS*(H)(5.7)转换为概率为 P(H/E)=LS*P(H)/(LS-1)*P(H)+1 (5.8)2022-8-5福州大学阳光学院计算机系23主观贝叶斯方法n(H)=P(H)/P(H)n讨论 LS=1 (H/E)=(H)E与H无关 LS1 (H/E)1 (H/E)(H)E的存在，使H为 真的可能性上升 LS=0 (H/E)=0

11、 E的存在，H为假 2022-8-5福州大学阳光学院计算机系24主观贝叶斯方法n证据不存在 将5.5中E换成E,结合5.2,5.6亦可得 (H/E)=LN*(H)P(H/E)=LN*P(H)/(LN-1)*P(H)+1 LN=1 (H/E)=(H)LN1 (H/E)1 (H/E)(H)LN=0 (H/E)=0 2022-8-5福州大学阳光学院计算机系25主观贝叶斯方法n证据不确定时 EH公式:)|()()|()()|()()|()(1)()|()()|(EEPEPEHPHPEHPEPEEPEPHPEHPHPEHP0=P(E|E)=P(E)P(E)=P(E|E)0，事实上如果MB0，则MD=0（

12、E有利于H）；如果MD0，则MB=0（E不利于H）。2022-8-5福州大学阳光学院计算机系39规则(规则的不确定性度量）当p(H/E)p(H)时，表示证据E支持结论H，则有MB0，MD=0；反之，当p(H/E)0；当p(H/E)p(H)时，表示E对H无影响，则有MBMD0。值得注意的是，可信度CF(H,E)(即MB,MD)的值通常并不是经由p(H/E)和P(H)来计算的，而是在建立规则库时由领域专家凭经验主观确定的。2022-8-5福州大学阳光学院计算机系40规则(规则的不确定性度量）n规则可信度CF(H,E)有性质：1.因为0MB(H,E)1,0 MD(H,E)1,则-1 CF(H,E)1

13、2.若E绝对肯定H，即P(H|E)=1，则MB(H,E)=1,MD(H,E)=0,CF(H,E)=1 .Dc13.若E绝对否定H，即P(H|E)=1，则MB(H,E)=0,MD(H,E)=1,CF(H,E)=-1 .Dc24.若E不能证实H或E、H独立，即P(H|E)=P(H)，则MB(H,E)=0,MD(H,E)=0,CF(H,E)=0 .Dc45.对同一个证据E，支持若干个互斥的结论Hi，则 CF(Hi,E)1 .Dc32022-8-5福州大学阳光学院计算机系41规则(规则的不确定性度量）n规则 E H，可信度表示为CF(H,E)。P(H)E)|P(H ,P(H)P(H)-E)|P(HP(

14、H)E)|P(H ,P(H)1P(H)-E)|P(HE)CF(H,当当2022-8-5福州大学阳光学院计算机系42规则(规则的不确定性度量）nCF(H,E)表示的意义n证据为真时相对于P(H)=1-P(H)来说，E对H为真的支持程度。即E发生更支持H发生。此时 CF(H,E)0。n或，相对于P(H)来说，E对H为真的不支持程度。即E发生不支持H发生。此时 CF(H,E)0。n结论 -1 CF(H,E)12022-8-5福州大学阳光学院计算机系43可信度方法n理论基础n以定量法为工具，比较法为原则的相对确认理论。n采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可

15、信度较高的前几位，供人们比较选用。n规则n规则的不确定性度量n证据（前提）的不确定性度量。n推理计算。2022-8-5福州大学阳光学院计算机系44可信度方法n理论基础n以定量法为工具，比较法为原则的相对确认理论。n采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。n规则n规则的不确定性度量n证据（前提）的不确定性度量。n推理计算。2022-8-5福州大学阳光学院计算机系45规则(证据的不确定性度量）n证据E的可信度表示为CF(E)同样有：-1 CF(E)1n特殊值：CF(E)=1，前提肯定真 CF(E)=-1，前提肯定假CF(E

16、)=0，对前提一无所知nCF(E)0，表示E以CF(E)程度为真CF(E)0，表示E以CF(E)程度为假2022-8-5福州大学阳光学院计算机系46可信度方法n理论基础n以定量法为工具，比较法为原则的相对确认理论。n采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。n规则n规则的不确定性度量n证据（前提）的不确定性度量。n推理计算。2022-8-5福州大学阳光学院计算机系47可信度方法n理论基础n以定量法为工具，比较法为原则的相对确认理论。n采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较

17、高的前几位，供人们比较选用。n规则n规则的不确定性度量n证据（前提）的不确定性度量。n推理计算。2022-8-5福州大学阳光学院计算机系48规则(推理计算 1）n“与”的计算：E1 E2 HCF(E1 E2)=min CF(E1),CF(E2)n“或”的计算：E1 E2 HCF(E1 E2)=max CF(E1),CF(E2)n“非”的计算：CF(E)=-CF(E)n由E，E H，求 H：CF(H)=CF(H,E)max 0,CF(E)(CF(E)0 时可以不算即为“0”)2022-8-5福州大学阳光学院计算机系49规则(推理计算 2）n更新，由两条规则求出再合并：由CF(H)、CF(H)，求

18、 CF(H)符号不同与当当 当(H)CF(H)CF|(H)CF|,(H)CFmin|-1(H)CF(H)CF0(H)CF0(H)CF (H)CF(H)CF(H)CF(H)CF0(H)CF0(H)CF (H)CF(H)CF-(H)CF(H)CFCF(H)212121212121212121，2022-8-5福州大学阳光学院计算机系50可信度方法n例：有以下规则R1:If e1 then h (0.9)R2:If e2 then h (0.7)R3:If e3 then h (-0.8)R4:If e4 and e5 then e1 (0.7)R5:If e6 and e7 or e8 then

19、e2 (1)设系统在问题求解过程中已经获得 CF(e3)=0.3,CF(e4)=0.9,CF(e5)=0.6,CF(e6)=0.7,CF(e7)=-0.3,CF(e8)=0.8求 CF(H)=?e1 e2 e3e4 e5 e6 e7 e 8h0.9 0.7 -0.8 r1 r2 r3 0.7 1 0.3 r4 r5 0.9 0.6 0.7 -0.3 0.8 2022-8-5福州大学阳光学院计算机系51可信度方法n评论n可信度方法的宗旨不是理论上的严密性，而是处理实际问题的可用性。n不可一成不变地用于任何领域，甚至也不能适用于所有科学领域。推广至一个新领域时必须根据情况修改。2022-8-5福州

20、大学阳光学院计算机系52可信度方法 尽管确定性方法使MYCIN和其它一些专家系统能简单有效地实现不确定性推理，但仍存在不少问题。现归纳如下：（1）如何将人表示可信度的术语转变为数字化的CFs。例如，人的经验规则常涉及很可能、不大可能等术语，应对应到多大的CF值。（2）如何规范化人们对可信度的估计，不同人所作的估计往往相差较大。2022-8-5福州大学阳光学院计算机系53可信度方法 （3）为防止积累误差，需指定门槛值，但多大合适呢？太小固然不行，但太大也不好，因为可信度的传递需要累计较小的变化。（4）为改进可信度的精确性，需提供从系统的实际执行反馈的信息，并基于反馈信息调整可信度。这实际上是一种

21、机器学习问题，尚未较好地加以解决。正因为这些问题的存在，限制了MYCIN提出的确定性方法只能用于对不确定推理的精度要求不高的场合。2022-8-5福州大学阳光学院计算机系54第五章 不确定性推理n基本概念n概率方法n主观Bayes方法n可信度方法n证据理论2022-8-5福州大学阳光学院计算机系55第五章 不确定性推理n基本概念n概率方法n主观Bayes方法n可信度方法n证据理论2022-8-5福州大学阳光学院计算机系56证据理论(Evident Theory)概述证据的不确定性应用模型推理计算2022-8-5福州大学阳光学院计算机系57证据理论(Evident Theory)n概述n由Dem

22、pster首先提出，并由他的学生Shafer发展起来，也称D-S理论。在专家系统的不精确推理中已得到广泛的应用。（也用在模式识别中）n证据理论中引入了信任函数，它满足概率论弱公理。在概率论中，当先验概率很难获得，但又要被迫给出时，用证据理论能区分不确定性和不知道的差别。所以它比概率论更合适于专家系统推理方法。n当概率值已知时，证据理论就成了概率论。因此，概率论是证据理论的一个特例，有时也称证据论为广义概率论。2022-8-5福州大学阳光学院计算机系58证据理论(Evident Theory)概述证据的不确定性应用模型推理计算2022-8-5福州大学阳光学院计算机系59证据理论(Evident

23、Theory)概述证据的不确定性应用模型推理计算2022-8-5福州大学阳光学院计算机系60证据理论(证据的不确定性)n证据：用集合D来表示：如D中的每个元素代表一种疾病。讨论一组疾病A发生的可能性时，A变成了单元（某些假设）的集合。D内元素Ai间是互斥的，但Ai中元素间是不互斥的。2022-8-5福州大学阳光学院计算机系61证据理论(证据的不确定性)n基本概率分配函数：n M：D0,1（在D的幂集D上定义，取值0,1）M(A)表示了证据对D的子集A成立的一种信任度有：空集为零 n意义若A D，且A D，表示对A的精确信任度若A=D，表示这个数不知如何分配1)(AMDA0)(M2022-8-5

24、福州大学阳光学院计算机系62证据理论(证据的不确定性)n基本概率分配函数：n例，某个体的颜色只可能为红、兰、绿，则建立相应论域D=红，兰，绿。n可以给D的所有子集分配基本概率，如：M(红，兰，绿,红，兰,红，绿,兰，绿,红,兰,绿,)=(0.2，0.2，0.2，0，0.3，0，0.1，0)。n则M(红,兰)=0.2意指该个体颜色为红或兰的信任程度是0.2。0.2不是分配给红就是给兰。n注意，M是2 D上而非 D上的概率分布，所以基本概率 M(A)不必等于概率P(A)，而且M(A)1。2022-8-5福州大学阳光学院计算机系63证据理论(证据的不确定性)n信任函数nD0,1。（在D的幂集D上定义

25、，取值0,1）Bel(A)=有:Bel()=M()=0,Bel(D)=1 Bel类似于概率密度函数，表示A中所有子集的基本概率分配数值的和，用来表示对A的总信任度。ABM(B)ABBM)(D2022-8-5福州大学阳光学院计算机系64证据理论(证据的不确定性)n信任函数在上例中，D=红，兰，绿，M(红，兰，绿,红，兰,红，绿,兰，绿,红,兰,绿,)=(0.2，0.2，0.2，0，0.3，0，0.1，0)。则 Bel(兰，绿)=M(兰)+M(绿)+M(兰，绿)=0+0.1+0=0.1。2022-8-5福州大学阳光学院计算机系65证据理论(证据的不确定性)n似然函数（不可驳斥函数）nPl：D0,1

26、。（在D的幂集D上定义，取值0,1）Pl(A)=1-Bel(A)=Pl(红,绿)=1-Bel(兰)=1-0=1性质：0 Bel(A)Pl(A)1 (Bel是Pl的一部分)称Bel(A)和Pl(A)是A的下限不确定性值和上限不确定性值。ABM(B)2022-8-5福州大学阳光学院计算机系66证据理论(证据的不确定性)设函数ABel(A),Pl(A)，则有如下特殊值：A0,1：表示对A一无所知 A1,1：表示A为真 A0,0：表示A为假Aa,1：表示对A的部分信任,0a1A0,b：表示对A的部分信任,0b1 或|A|=02022-8-5福州大学阳光学院计算机系73证据理论(应用模型)则：1）Bel

27、(A)=M(si)对任何si A 2)Bel(D)=M(si)+M(D)=1 3)Pl(A)=1-Bel(A)=1-M(si)对任何si A =1-1-M(D)-Bel(A)=M(D)+Bel(A)4）Pl(D)=1-Bel(D)=1-Bel()=12022-8-5福州大学阳光学院计算机系74证据理论(证据的不确定性)n定义：命题A的类概率函数其中|A|、|D|为集合内元素个数。n性质：对于A D nf1()=0，nf1(D)=1，n0f1(A)1)()(|)()(1ABelAPlDAABelAf2022-8-5福州大学阳光学院计算机系75证据理论概述证据的不确定性规则的不确定性推理计算202

28、2-8-5福州大学阳光学院计算机系76证据理论概述证据的不确定性规则的不确定性推理计算2022-8-5福州大学阳光学院计算机系77证据理论(推理计算)n证据的组合：M1,M2在D上的合成 n（对于同样的证据，由于来源不同，得到二个概率分配函数M1,M2）n定义：M =M1 M2 n规定：M()=0，M(si)=其中 KM1(D)M2(D)+)().()().()(M)s(M2121ni12i1iiisMDMDMsMs)().()().()().(2121211iiiisMDMDMsMsMsMK2022-8-5福州大学阳光学院计算机系78第五章 不确定性推理准则 不确定推理仅是实现软计算的一种方

29、式，并有其适用范围。应用不确定推理的准则可以归纳为以下三点：（1）尽可能避免使用统计表示，能确定性地解决问题的场合不应使用不确定推理。因为主观概率是不精确的，且在许多场合难以估计。例如字符识别系统应把字符表示为一组高级特征，作结构化模式识别；而不要表示为黑点集，作统计模式识别。2022-8-5福州大学阳光学院计算机系79 第五章 不确定性推理准则n（2）在必须采用不确定推理时，应将其限制在小范围内（相应于推理中的逻辑步）；而不要在不能反映问题结构的大跨度操作中执行。（3）切记不确定推理结果的精度决不会超过输入数据的精度，不管采用什么技巧也无济于事，所以应尽量保持输入数据的精确性，否则结论的可信度只是误导。2022-8-5福州大学阳光学院计算机系80第五章 不确定性推理The End