人工智能课件16 非经典推理 part 1.ppt

1、西安电子科技大学西安电子科技大学Artificial Intelligence(AI)人工智能人工智能第四章：非经第四章：非经典推理典推理西安电子科技大学西安电子科技大学内容提要1.1.经典推理和非经典推理经典推理和非经典推理2.2.不确定性推理不确定性推理3.3.概率推理概率推理4.4.主观贝叶斯方法主观贝叶斯方法5.5.可信度方法可信度方法西安电子科技大学西安电子科技大学内容提要1.1.经典推理和非经典推理经典推理和非经典推理2.2.不确定性推理不确定性推理3.3.概率推理概率推理4.4.主观贝叶斯方法主观贝叶斯方法5.5.可信度方法可信度方法西安电子科技大学西安电子科技大学经典推理和非经

2、典推理建立在以建立在以形式逻辑形式逻辑和和数理逻辑数理逻辑为主的经典逻辑基础上，为主的经典逻辑基础上，运用确定性知识进行推理，是一种运用确定性知识进行推理，是一种单调性单调性的推理。的推理。现实世界中的大多数问题存在现实世界中的大多数问题存在随机性、模糊性、不完全随机性、模糊性、不完全性和不精确性性和不精确性。对于这些问题，若采用前面所讨论的精。对于这些问题，若采用前面所讨论的精确性推理方法显然是无法解决的。确性推理方法显然是无法解决的。为此，出现了一些新的逻辑学派，称为为此，出现了一些新的逻辑学派，称为非经典逻辑非经典逻辑，相，相应的推理方法称为应的推理方法称为非经典推理非经典推理。人工智能

3、需要研究不精确性的推理方法，以满足客观问人工智能需要研究不精确性的推理方法，以满足客观问题的需求。题的需求。西安电子科技大学西安电子科技大学经典推理和非经典推理在推理方法上，经典逻辑采用在推理方法上，经典逻辑采用演绎演绎逻辑推理，非经典逻辑推理，非经典逻辑采用逻辑采用归纳归纳推理。推理。在辖域取值上，经典逻辑是在辖域取值上，经典逻辑是二值逻辑二值逻辑，非经典逻辑是，非经典逻辑是多值逻辑多值逻辑。在运算法则上，两者大不相同。在运算法则上，两者大不相同。在逻辑运算符上，非经典逻辑有更多的逻辑运算符。在逻辑运算符上，非经典逻辑有更多的逻辑运算符。在单调性上，经典逻辑是单调的，即在单调性上，经典逻辑是

4、单调的，即已知事实均为充已知事实均为充分可信的，不会随着新事实的出现而使原有事实变为分可信的，不会随着新事实的出现而使原有事实变为假假。非经典逻辑是非单调的。非经典逻辑是非单调的。西安电子科技大学西安电子科技大学内容提要1.1.经典推理和非经典推理经典推理和非经典推理2.2.不确定性推理不确定性推理3.3.概率推理概率推理4.4.主观贝叶斯方法主观贝叶斯方法5.5.可信度方法可信度方法西安电子科技大学西安电子科技大学不确定性推理不确定性推理是建立在不确定性推理是建立在非经典逻辑非经典逻辑基础上的一基础上的一种推理，它是对不确定性知识的运用与处理。种推理，它是对不确定性知识的运用与处理。不确定性

5、推理泛指除精确推理以外的其它各种不确定性推理泛指除精确推理以外的其它各种推理问题。包括推理问题。包括不完备、不精确知识的推理，不完备、不精确知识的推理，模糊知识的推理，非单调性推理模糊知识的推理，非单调性推理等。等。不确定性推理从不确定性的初始证据（即事实）不确定性推理从不确定性的初始证据（即事实）出发，通过运用不确定性的知识，最终推出具出发，通过运用不确定性的知识，最终推出具有一定程度不确定性的结论。有一定程度不确定性的结论。西安电子科技大学西安电子科技大学不确定性推理所需知识不完备或问题的背景知识不足所需知识不完备或问题的背景知识不足所需知识描述不精确或模糊所需知识描述不精确或模糊多种原因

6、导致同一结论或解题方案不唯一多种原因导致同一结论或解题方案不唯一1.不确定性的表示不确定性的表示2.不确定性的匹配不确定性的匹配3.组合证据的不确定性的计算组合证据的不确定性的计算4.不确定性的更新不确定性的更新5.不确定性结论的合成不确定性结论的合成西安电子科技大学西安电子科技大学不确定性的表示考虑因素：考虑因素：1.问题描述能力问题描述能力;2.推理中不确定性的计算推理中不确定性的计算含义：含义：知识的确定性程度，或静态强度知识的确定性程度，或静态强度表示：表示：p用概率，用概率，0,1，0接近于假，接近于假，1接近于真接近于真p用可信度，用可信度，-1,1，大于，大于0接近于真，小于接近

7、于真，小于0接近于假接近于假证据来源：证据来源：初始证据，中间结论初始证据，中间结论表示：表示：用概率或可信度用概率或可信度西安电子科技大学西安电子科技大学不确定性的表示含义：含义：不确定的前提条件与不确定的事实匹配不确定的前提条件与不确定的事实匹配问题：问题：前提是不确定的，事实也是不确定的前提是不确定的，事实也是不确定的方法：方法：设计一个计算相似程度的算法，给出设计一个计算相似程度的算法，给出相相似的限度似的限度标志：标志：相似度落在规定限度内为匹配，否则为相似度落在规定限度内为匹配，否则为不匹配不匹配西安电子科技大学西安电子科技大学不确定性的表示含义：含义：知识的前提条件是多个证据的组

8、合知识的前提条件是多个证据的组合方法：方法：T(E)表示证据表示证据E为真的程度为真的程度p最大最小法：最大最小法：T(E1 AND E2)=minT(E1),T(E2)T(E1 OR E2)=maxT(E1),T(E2)p概率法：在事件之间完全独立时使用概率法：在事件之间完全独立时使用 T(E1 AND E2)=T(E1)T(E2)T(E1 OR E2)=T(E1)T(E2)T(E1)T(E2)p有界法：有界法：T(E1 AND E2)=max0,T(E1)T(E2)1 T(E1 OR E2)=min1,T(E1)T(E2)西安电子科技大学西安电子科技大学不确定性的表示主要问题：主要问题：解

9、决不确定性知识在推理的过程中，知识解决不确定性知识在推理的过程中，知识不确定性的累积和传递。不确定性的累积和传递。解决方法解决方法p已知规则前提证据已知规则前提证据E的不确定性的不确定性T(E)和规则的强度和规则的强度F(E,H)，则结论，则结论H的不确定性：的不确定性：T(H)=g1T(E),F(E,H)p证据合取：证据合取：T(E1 AND E2)=g2T(E1),T(E2)p证据析取：证据析取：T(E1 OR E2)=g3T(E1),T(E2)西安电子科技大学西安电子科技大学不确定性的表示主要问题：主要问题：多个不同知识推出同一结论，且不确定性多个不同知识推出同一结论，且不确定性程度不同

10、程度不同解决方法：解决方法：p并行规则算法：并行规则算法：根据独立证据根据独立证据E1和和E2分别求得结论分别求得结论H的不确定性为的不确定性为T1(H)和和T2(H)，则证据，则证据E1和和E2的组合的组合导致结论导致结论H的不确定性：的不确定性：T(H)=gT1(H),T2(H)p函数函数g视不同推理方法而定视不同推理方法而定西安电子科技大学西安电子科技大学不确定性的表示模糊推理模糊推理基于概率的方法基于概率的方法主观主观Bayes方法方法不不确定性理论确定性理论证据理论证据理论数数值值方方法法非非数数值值方方法法不不确确定定性性推推理理框架推理框架推理 语义网络推理语义网络推理 常识推理

11、常识推理西安电子科技大学西安电子科技大学内容提要1.1.经典推理和非经典推理经典推理和非经典推理2.2.不确定性推理不确定性推理3.3.概率推理概率推理4.4.主观贝叶斯方法主观贝叶斯方法5.5.可信度方法可信度方法西安电子科技大学西安电子科技大学概率推理样本空间：样本空间：在概率论中，把试验中每一个可能出现的在概率论中，把试验中每一个可能出现的结果称为试验的一个样本点，由全体样本点构成的集结果称为试验的一个样本点，由全体样本点构成的集合称为样本空间。通常，用合称为样本空间。通常，用D表示样本空间。表示样本空间。随机事件：随机事件：由样本点构成的集合称为随机事件。由样本点构成的集合称为随机事件

12、。运算：运算：p并事件：并事件：事件事件A与事件与事件B至少有一个发生至少有一个发生 记为记为AB p交事件：交事件：事件事件A与事件与事件B同时发生同时发生 记为记为AB p互逆事件：互逆事件：事件事件A与与B之间满足之间满足AB=,AB=D 西安电子科技大学西安电子科技大学概率推理统计概率：统计概率：在同一组条件下所进行大量重复试验时，在同一组条件下所进行大量重复试验时，如果事件如果事件A出现的频率总是在区间出现的频率总是在区间0,1上的一个确定常上的一个确定常数数p附近摆动，并且稳定于附近摆动，并且稳定于p，则称，则称p为事件为事件A的统计概的统计概率，记为率，记为P(A)。条件概率：条

13、件概率：设设A与与B是两个随机事件，是两个随机事件，P(B)0，则称：，则称：P(A|B)=P(AB)/P(B)为在事件为在事件B发生的条件下事件发生的条件下事件A 的条件概率的条件概率。西安电子科技大学西安电子科技大学概率推理全概率公式：全概率公式：设事件设事件A1,A2,An满足：满足：p 任意两个事件都互不相容，即当任意两个事件都互不相容，即当ij时，有时，有AiAj=(i=1,2,n；j=1,2,n)；p P(Ai)0(i=1,2,n);p 1niiDA则对任何事件则对任何事件B由下式成立：由下式成立：1()()(|)niiiP BP AP BA 该公式称为该公式称为全概率公式全概率公

14、式，它提供了一种计算，它提供了一种计算P(B)的方法。的方法。A1A2A3An西安电子科技大学西安电子科技大学概率推理全概率公式示例：全概率公式示例：有人从外地赶来参加会议，乘火车、有人从外地赶来参加会议，乘火车、船、汽车、飞机来的概率分别为船、汽车、飞机来的概率分别为0.3，0.2，0.1，0.4，迟，迟到的概率分别为到的概率分别为0.25，0.3，0.1，0；求他迟到的概率。；求他迟到的概率。解：解：记记A1=他乘火车来，他乘火车来，A2=他乘船来，他乘船来，A3=他乘汽车来，他乘汽车来，A4=他乘飞机来，他乘飞机来，B=他迟到。他迟到。易见：易见：A1,A2,A3,A4构成一个完备事件组

15、，由全概率公式得构成一个完备事件组，由全概率公式得41|0.30.25 0.20.3 0.10.1 0.40 0.145iiiPBPAPBA西安电子科技大学西安电子科技大学概率推理贝叶斯（贝叶斯（Bayes）公式：）公式：设事件设事件A1,A2,An满足全概率满足全概率公式的条件，则对任何事件公式的条件，则对任何事件B有下式成立：有下式成立：1()()()()(),1,2,()()iiiiinjjjP B A P AP B A P AP A BinP BP B AP A该定理称为该定理称为Bayes定理定理，上式称为，上式称为Bayes公式公式。Bayes定理给出了用逆概率定理给出了用逆概率P

16、(B|Ai)求原概率求原概率P(Ai|B)的方法。的方法。西安电子科技大学西安电子科技大学概率推理贝叶斯公式示例：贝叶斯公式示例：某医院对某种疾病有一种看起来很有效某医院对某种疾病有一种看起来很有效的检验方法，的检验方法，97%的患者检验结果为阳性，的患者检验结果为阳性，95%的未患病者的未患病者检验结果为阴性，设该病的发病率为检验结果为阴性，设该病的发病率为0.4%现有某人的检现有某人的检验结果为阳性，问他确实患病的概率是多少？验结果为阳性，问他确实患病的概率是多少？解：解：A:患病，患病，:未患病，未患病，B:阳性，阳性，:阴性阴性()0.004,()0.996,(|)0.97,(|)0.

17、95,P AP AP B AP B AAB()(|)(|)()(|)()(|)0.004 0.97 0.072.0.004 0.970.996 0.05P A P B AP A BP A P B AP A P B A西安电子科技大学西安电子科技大学概率推理设有如下产生式规则：设有如下产生式规则：IF E THEN Hp其中，其中，E为前提条件，为前提条件，H为结论。为结论。p条件概率条件概率P(H|E)可以作为在证据可以作为在证据E出现时结论出现时结论H的确的确定性程度，即规则的定性程度，即规则的静态强度静态强度。把贝叶斯方法用于不精确推理的思想把贝叶斯方法用于不精确推理的思想p已知前提已知前

18、提E的概率的概率P(E)和结论和结论H的先验概率的先验概率P(H)p已知已知H成立时成立时E出现的条件概率出现的条件概率P(E|H)p利用规则推出利用规则推出H在在E出现的条件下的后验概率：出现的条件下的后验概率：()()()P E H P HP H EP E西安电子科技大学西安电子科技大学概率推理对于一组产生式规则：对于一组产生式规则：IF E THEN Hip一个前提条件一个前提条件E支持多个结论支持多个结论H1,H2,.,Hnp同样有后验概率如下（同样有后验概率如下（Hi 确定性的程度，或规则的确定性的程度，或规则的静态强度）：静态强度）：1()(|)(|),1,2,.,()(|)iii

19、njjjP HP E HP HEinP HP E H西安电子科技大学西安电子科技大学概率推理对于有多个证据对于有多个证据E1,E2,Em和多个结论和多个结论H1,H2,.,Hn,并且每个证据都以一定程度支持结论的情况，上面的并且每个证据都以一定程度支持结论的情况，上面的式子可进一步扩展为式子可进一步扩展为:1212121(|)()(|)(|)(|)()(|)(|)(|),1,2,.,imiiiminjjjmjjP HE EEP HP EHP EHP EHP HP EHP EHP EHin西安电子科技大学西安电子科技大学概率推理例例1：设设H1,H2,H3分别是三个结论，分别是三个结论，E是支持

20、这些结论是支持这些结论的证据。已知：的证据。已知：p P(H1)=0.3；P(H2)=0.4；P(H3)=0.5p P(E|H1)=0.5；P(E|H2)=0.3；P(E|H3)=0.4求求P(H1|E),P(H2|E)及及P(H3|E)的值各是多少？的值各是多少？解：解：111112233()(|)(|)()(|)()(|)()(|)0.150.150.120.20.32P HP E HP H EP HP E HP HP E HP HP E H西安电子科技大学西安电子科技大学概率推理同理可得：同理可得：p P(H2|E)=0.26p P(H3|E)=0.43观察：观察：(注：注：P(E)=0

21、.47)p P(H1)=0.3,P(E|H1)=0.5 P(H1|E)=0.32 p P(H2)=0.4,P(E|H2)=0.3 P(H2|E)=0.26p P(H3)=0.5,P(E|H3)=0.4 P(H3|E)=0.43结论：结论：由于由于E的出现，的出现，H1成立的可能性增加，成立的可能性增加，H2和和H3成成立的可能性不同程度的下降。立的可能性不同程度的下降。西安电子科技大学西安电子科技大学概率推理例例:2：设设H1,H2,H3分别是三个结论，分别是三个结论，E1,E2是支持这些是支持这些结论的证据。已知：结论的证据。已知：p P(H1)=0.4；P(H2)=0.3；P(H3)=0.

22、3p P(E1|H1)=0.5；P(E1|H2)=0.6；P(E1|H3)=0.3.p P(E2|H1)=0.7；P(E2|H2)=0.9；P(E2|H3)=0.1求求P(H1|E1E2),P(H2|E1E2)及及P(H3|E1E2)的值各是多少？的值各是多少？解：解：11121112111212122231323()(|)(|)(|)()(|)(|)()(|)(|)()()(|)0.45P H P E H P E HP H EEP H P E H P E HP H P E H P E HP H P EH P E H西安电子科技大学西安电子科技大学概率推理同理可得：同理可得：p P(H2|E1

23、E2)=0.52p P(H3|E1E2)=0.03观察：观察：(注：注：P(E1)=0.47,P(E2)=0.58)p P(H1)=0.4,P(E1|H1)=0.5,P(E2|H1)=0.7 P(H1|E)=0.45 p P(H2)=0.3,P(E1|H2)=0.6,P(E2|H2)=0.9 P(H2|E)=0.52p P(H3)=0.3,P(E1|H3)=0.3,P(E2|H3)=0.1 P(H3|E)=0.03结论：结论：由于由于E1和和E2的出现，的出现，H1和和H2成立的可能性不同成立的可能性不同程度的增加，程度的增加，H3成立的可能性下降。成立的可能性下降。西安电子科技大学西安电子科

24、技大学概率推理优点：优点：p概率推理方法有较强的理论背景和良好的数概率推理方法有较强的理论背景和良好的数学特性，当学特性，当证据彼此独立证据彼此独立时计算的复杂度比时计算的复杂度比较低。较低。缺点：缺点：p概率推理方法要求给出结论概率推理方法要求给出结论Hi的的先验概率先验概率 P(Hi)及及条件概率条件概率 P(Ej|Hi)。西安电子科技大学西安电子科技大学内容提要1.1.经典推理和非经典推理经典推理和非经典推理2.2.不确定性推理不确定性推理3.3.概率推理概率推理4.4.主观贝叶斯方法主观贝叶斯方法5.5.可信度方法可信度方法西安电子科技大学西安电子科技大学主观贝叶斯方法v使用概率推理方

25、法求结论使用概率推理方法求结论Hi在存在证据在存在证据E时的条件时的条件概率概率P(Hi|E)，需要给出结论，需要给出结论Hi的先验概率的先验概率P(Hi)及及证据证据E的条件概率的条件概率 P(E|Hi)。这对于实际应用是不这对于实际应用是不容易做到的容易做到的。vDuda 和和 Hart 等人在贝叶斯公式的基础上，于等人在贝叶斯公式的基础上，于1976年提出主观贝叶斯方法，建立了不精确推理年提出主观贝叶斯方法，建立了不精确推理的模型，并把它成功地应用于的模型，并把它成功地应用于PROSPECTOR专专家系统（家系统（PROSPECTOR是国际上著名的一个用是国际上著名的一个用于勘察固体矿的

26、专家系统）。于勘察固体矿的专家系统）。西安电子科技大学西安电子科技大学主观贝叶斯方法v在主观在主观Bayes方法中，知识是用产生式表示的，其方法中，知识是用产生式表示的，其形式为：形式为：IF E THEN (LS,LN)H E表示规则前提条件，它既可以是一个简单条表示规则前提条件，它既可以是一个简单条件，也可以是用件，也可以是用AND或或OR把多个简单条件连把多个简单条件连接起来的复合条件。接起来的复合条件。H是结论，用是结论，用P(H)表示表示H的先验概率，它指出没的先验概率，它指出没有任何专门证据的情况下结论有任何专门证据的情况下结论H为真的概率，为真的概率，其值由领域专家根据以往的实践经验给出。其值由领域专家根据以往的实践经验给出。西安电子科技大学西安电子科技大学主观贝叶斯方法LS是规则的充分性度量。是规则的充分性度量。用于指出用于指出E对对H的支的支持程度，取值范围为持程度，取值范围为0,+)，其定义为：，其定义为：LN是规则的必要性度量。是规则的必要性度量。用于指出用于指出E对对H为真为真的必要程度，即的必要程度，即E对对对对H的支持程度。取值范的支持程度。取值范围为围为0,+)，其定义为：，其定义为：(|)(|)P E HLSP EH(|)1(|)(|)1(|)PE HP E HLNPEHP EH西安电子科技大学西安电子科技大学