华工人工智能老师上课课件第一章.ppt

1、1第一章第一章 搜索问题搜索问题 内容：状态空间的搜索问题。 搜索方式： 盲目搜索 启发式搜索 关键问题：如何利用知识，尽可能有效地找到问题的解（最佳解）。2搜索问题（续搜索问题（续1）S0Sg3搜索问题（续搜索问题（续2） 讨论的问题： 有哪些常用的搜索算法。 问题有解时能否找到解。 找到的解是最佳的吗？ 什么情况下可以找到最佳解？ 求解的效率如何。41.1 回溯策略回溯策略 例：皇后问题QQQQ5( )6( )Q(1,1)7( )QQ(1,1)(1,1) (2,3)8( )Q(1,1)(1,1) (2,3)9( )QQ(1,1)(1,1) (2,3)(1,1) (2,4)10( )QQ(1

2、,1)(1,1) (2,3)(1,1) (2,4)Q(1,1) (2,4) (3.2)11( )QQ(1,1)(1,1) (2,3)(1,1) (2,4)(1,1) (2,4) (3.2)12( )Q(1,1)(1,1) (2,3)(1,1) (2,4)(1,1) (2,4) (3.2)13( )(1,1)(1,1) (2,3)(1,1) (2,4)(1,1) (2,4) (3.2)14( )(1,1)(1,1) (2,3)(1,1) (2,4)(1,1) (2,4) (3.2)Q(1,2)15( )(1,1)(1,1) (2,3)(1,1) (2,4)(1,1) (2,4) (3.2)Q(1

3、,2)Q(1,2) (2,4)16( )(1,1)(1,1) (2,3)(1,1) (2,4)(1,1) (2,4) (3.2)Q(1,2)Q(1,2) (2,4)Q(1,2) (2,4) (3,1)17( )(1,1)(1,1) (2,3)(1,1) (2,4)(1,1) (2,4) (3.2)Q(1,2)Q(1,2) (2,4)Q(1,2) (2,4) (3,1)Q(1,2) (2,4) (3,1) (4,3)18递归的思想递归的思想从前有座山 从前有座山 从前有座山19递归的思想（续）递归的思想（续）当前状态目标状态g20一个递归的例子一个递归的例子int ListLenght(LIST

4、 *pList)if (pList = NULL) return 0;else return ListLength(pList-next)+1;NULLpLIST12321回溯搜索算法回溯搜索算法BACKTRACK（DATA）DATA：当前状态。返回值：从当前状态到目标状态的路径（以规则表的形式表示）或FAIL。22回溯搜索算法回溯搜索算法递归过程BACKTRACK(DATA)1, IF TERM(DATA) RETURN NIL;2, IF DEADEND(DATA) RETURN FAIL;3, RULES:=APPRULES(DATA);4, LOOP: IF NULL(RULES) R

5、ETURN FAIL;5, R:=FIRST(RULES);6,RULES:=TAIL(RULES);7,RDATA:=GEN(R, DATA);8,PATH:=BACKTRACK(RDATA);9,IF PATH=FAIL GO LOOP;10,RETURN CONS(R, PATH);23存在问题及解决办法存在问题及解决办法 解决办法： 对搜索深度加以限制 记录从初始状态到当前状态的路径当前状态l问题：深度问题死循环问题24回溯搜索算法回溯搜索算法1BACKTRACK1（DATALIST）DATALIST：从初始到当前的状态表（逆向）返回值：从当前状态到目标状态的路径（以规则表的形式表示）

6、或FAIL。25回溯搜索算法回溯搜索算法11, DATA:=FIRST(DATALIST)2, IF MENBER(DATA, TAIL(DATALIST) RETURN FAIL;3, IF TERM(DATA) RETURN NIL;4, IF DEADEND(DATA) RETURN FAIL;5, IF LENGTH(DATALIST)BOUND RETURN FAIL;6, RULES:=APPRULES(DATA);7, LOOP: IF NULL(RULES) RETURN FAIL;8,R:=FIRST(RULES);26回溯搜索算法回溯搜索算法1（续）（续）9,RULES:=

7、TAIL(RULES);10,RDATA:=GEN(R, DATA);11,RDATALIST:=CONS(RDATA, DATALIST);12,PATH:=BACKTRCK1(RDATALIST)13,IF PATH=FAIL GO LOOP;14,RETURN CONS(R, PATH);27一些深入的问题一些深入的问题 失败原因分析、多步回溯QQ28一些深入问题（续）一些深入问题（续） 回溯搜索中知识的利用基本思想(以皇后问题为例)：尽可能选取划去对角线上位置数最少的。QQQQ3 2 2 3291.2 图搜索策略图搜索策略 问题的引出 回溯搜索：只保留从初始状态到当前状态的一条路径。

8、图搜索：保留所有已经搜索过的路径。30一些基本概念一些基本概念 节点深度：根节点深度=0其它节点深度=父节点深度+1012331一些基本概念（续一些基本概念（续1） 路径设一节点序列为(n0, n1,nk)，对于i=1,k，若节点ni-1具有一个后继节点ni，则该序列称为从n0到nk的路径。 路径的耗散值一条路径的耗散值等于连接这条路径各节点间所有耗散值的总和。用C(ni, nj)表示从ni到nj的路径的耗散值。32一些基本概念（续一些基本概念（续1） 扩展一个节点生成出该节点的所有后继节点，并给出它们之间的耗散值。这一过程称为“扩展一个节点”。33一般的图搜索算法一般的图搜索算法1, G=G

9、0 (G0=s), OPEN:=(s);2, CLOSED:=( );3, LOOP: IF OPEN=( ) THEN EXIT(FAIL);4, n:=FIRST(OPEN), REMOVE(n, OPEN),ADD(n, CLOSED);5, IF GOAL(n) THEN EXIT(SUCCESS);6, EXPAND(n)mi, G:=ADD(mi, G);34一般的图搜索算法（续）一般的图搜索算法（续）7, 标记和修改指针：ADD(mj, OPEN), 并标记mj到n的指针；计算是否要修改mk、ml到n的指针；计算是否要修改ml到其后继节点的指针；8, 对OPEN中的节点按某种原则

10、重新排序；9, GO LOOP；35节点类型说明节点类型说明.mjmkml36修改指针举例123456s37修改指针举例（续1）123456s38123456修改指针举例（续2）s39123456修改指针举例（续3）s401.3 无信息图搜索过程无信息图搜索过程 深度优先搜索 宽度优先搜索41深度优先搜索深度优先搜索1, G:=G0(G0=s), OPEN:=(s), CLOSED:=( );2, LOOP: IF OPEN=( ) THEN EXIT (FAIL);3, n:=FIRST(OPEN);4, IF GOAL(n) THEN EXIT (SUCCESS);5, REMOVE(n,

11、 OPEN), ADD(n, CLOSED);6, IF DEPTH(n)Dm GO LOOP;7, EXPAND(n) mi, G:=ADD(mi, G);8, IF 目标在mi中 THEN EXIT(SUCCESS);9, ADD(mj, OPEN), 并标记mj到n的指针;10, GO LOOP;422 31 8 47 6 5 2 31 8 47 6 52 8 31 47 6 52 31 8 47 6 52 8 31 47 6 52 8 31 6 47 52 8 3 1 47 6 52 8 31 6 47 52 8 31 6 4 7 52 8 37 1 4 6 5 8 32 1 47 6

12、 52 81 4 37 6 52 8 31 4 57 6 1 2 37 8 4 6 51 2 38 47 6 52 8 3 6 41 7 52 8 31 67 5 48 32 1 47 6 52 8 37 1 46 52 81 4 37 6 52 8 31 4 57 6123456789abcd1 2 3 8 47 6 5目标43深度优先搜索的性质深度优先搜索的性质 一般不能保证找到最优解 当深度限制不合理时，可能找不到解，可以将算法改为可变深度限制 最坏情况时，搜索空间等同于穷举 与回溯法的差别：图搜索 是一个通用的与问题无关的方法44宽度优先搜索宽度优先搜索1, G:=G0(G0=s),

13、OPEN:=(s), CLOSED:=( );2, LOOP: IF OPEN=( ) THEN EXIT (FAIL);3, n:=FIRST(OPEN);4, IF GOAL(n) THEN EXIT (SUCCESS);5, REMOVE(n, OPEN), ADD(n, CLOSED);6, EXPAND(n) mi, G:=ADD(mi, G);7, IF 目标在mi中 THEN EXIT(SUCCESS);8, ADD(OPEN, mj), 并标记mj到n的指针;9, GO LOOP;452 31 8 47 6 5 2 31 8 47 6 52 8 31 47 6 52 31 8

14、47 6 52 8 31 47 6 52 8 31 6 47 52 8 3 1 47 6 52 8 31 6 47 52 8 31 6 4 7 52 8 37 1 4 6 5 8 32 1 47 6 52 81 4 37 6 52 8 31 4 57 6 1 2 37 8 4 6 51 2 38 47 6 51256731 2 3 8 47 6 5目标82 3 41 8 7 6 5446宽度优先搜索的性质宽度优先搜索的性质 当问题有解时，一定能找到解 当问题为单位耗散值，且问题有解时，一定能找到最优解 方法与问题无关，具有通用性 效率较低 属于图搜索方法47渐进式深度优先搜索方法渐进式深度优先

15、搜索方法 目的 解决宽度优先方法的空间问题和回溯方法不能找到最优解的问题。 思想首先给回溯法一个比较小的深度限制，然后逐渐增加深度限制，直到找到解或找遍所以分支为止。481.4 启发式图搜索启发式图搜索 利用知识来引导搜索，达到减少搜索范围，降低问题复杂度的目的。 启发信息的强度 强：降低搜索工作量，但可能导致找不到最 优解 弱：一般导致工作量加大，极限情况下变为 盲目搜索，但可能可以找到最优解49希望：希望： 引入启发知识，在保证找到最佳解的情况下，尽可能减少搜索范围，提高搜索效率。50基本思想基本思想 定义一个评价函数f，对当前的搜索状态进行评估，找出一个最有希望的节点来扩展。511，启发

16、式搜索算法，启发式搜索算法A（A算法）算法） 评价函数的格式：f(n) = g(n) + h(n)f(n)：评价函数h(n)：启发函数52符号的意义符号的意义 g*(n)：从s到n的最短路径的耗散值 h*(n)：从n到g的最短路径的耗散值 f*(n)=g*(n)+h*(n)：从s经过n到g的最短路径的耗散值 g(n)、h(n)、f(n)分别是g*(n)、h*(n)、f*(n)的估计值53A算法算法1, OPEN:=(s), f(s):=g(s)+h(s);2, LOOP: IF OPEN=( ) THEN EXIT(FAIL);3, n:=FIRST(OPEN);4, IF GOAL(n) T

17、HEN EXIT(SUCCESS);5, REMOVE(n, OPEN), ADD(n, CLOSED);6, EXPAND(n) mi, 计算f(n, mi):=g(n, mi)+h(mi);54A算法（续）算法（续）ADD(mj, OPEN), 标记mj到n的指针；IF f(n, mk)f(mk) THEN f(mk):=f(n, mk), 标记mk到n的指针；IF f(n, ml) 其中为大于0的常数 几个等式几个等式 f*(s) = f*(t) = h*(s) = g*(t) = f*(n) 其中s是初始节点，t是目标节点，n是s到t的最佳路径上的节点。63A*算法的性质（续算法的性质

18、（续1）定理1.1：对有限图，如果从初始节点s到目标节点t有路径存在，则算法A一定成功结束。64A*算法的性质（续算法的性质（续2）引理1.1 ：对无限图，若有从初始节点s到目标节点t的路径，则A*不结束时，在OPEN表中即使最小的一个f值也将增到任意大，或有f(n)f*(s)。65A*算法的性质（续算法的性质（续3）引理1.2：A*结束前，OPEN表中必存在f(n)f*(s)。存在一个节点n，n在最佳路径上。f(n) = g(n) + h(n) = g*(n)+h(n) g*(n)+h*(n) = f*(n) = f*(s)66A*算法的性质（续算法的性质（续3）定理1.2：对无限图，若从初

19、始节点s到目标节点t有路径存在，则A*一定成功结束。引理1.1：A*如果不结束，则OPEN中所有的n有f(n) f*(s)引理1.2：在A*结束前，必存在节点n，使得 f(n) f*(s)所以，如果A*不结束，将导致矛盾。67A*算法的性质（续算法的性质（续4）推论1.1：OPEN表上任一具有f(n)f*(s)的节点n，最终都将被A*选作扩展的节点。 由定理1.2，知A*一定结束，由A*的结束条件，OPEN表中f(t)最小时才结束。而 f(t) f*(t) f*(s) 所以f(n) f*(s) 由引理1.2知结束前OPEN中存在f(n)f*(s)的节点n，所以 f(n) f*(s) h1(n)

20、，则在具有一条从s到t的路径的隐含图上，搜索结束时，由A2所扩展的每一个节点，也必定由A1所扩展，即A1扩展的节点数至少和A2一样多。简写：如果h2(n) h1(n) (目标节点除外)，则A1扩展的节点数A2扩展的节点数72A*算法的性质（续算法的性质（续7） 注意：注意： 在定理1.4中，评价指标是“扩展的节点数”，也就是说，同一个节点无论被扩展多少次，都只计算一次。73定理定理1.4的证明的证明 使用数学归纳法，对节点的深度进行归纳 （1）当d(n)0时，即只有一个节点，显然定理成立。 （2）设d(n)k时定理成立。（归纳假设） （3）当d(n)=k+1时，用反证法。 设存在一个深度为k1

21、的节点n，被A2扩展，但没有被A1扩展。而由假设，A1扩展了n的父节点，即n已经被生成了。因此当A1结束时，n将被保留在OPEN中。74定理定理1.4的证明（续的证明（续1） 所以有：f1(n) f*(s) 即：g1(n)+h1(n) f*(s) 所以： h1(n) f*(s) - g1(n) 另一方面，由于A2扩展了n，有f2(n) f*(s) 即： h2(n) f*(s) g2(n) (A) 由于d(n)=k时，A2扩展的节点A1一定扩展，有 g1(n) g2(n) (因为A2的路A1均走到了) 所以： h1(n) f*(s) - g1(n) f*(s) g2(n) (B) 比较A、B两式

22、，有 h1(n) h2(n) ，与定理条件矛盾。故定理得证。75对对h的评价方法的评价方法 平均分叉树设共扩展了d层节点，共搜索了N个节点，则:其中，b*称为平均分叉树。 b*越小，说明h效果越好。 实验表明，b*是一个比较稳定的常数，同一问题基本不随问题规模变化。*1*1)1(bbNd76对对h的评价举例的评价举例例：8数码问题，随机产生若干初始状态。 使用h1：d=14, N=539,b*=1.44; d=20, N=7276， b*=1.47； 使用h2：d=14, N=113, b*=1.23;d=20, N=676,b*=1.2777A*的复杂性的复杂性 一般来说，A*的算法复杂性是

23、指数型的，可以证明，当且仅当以下条件成立时：abs(h(n)-h*(n) O(log(h*(n)A*的算法复杂性才是非指数型的，但是通常情况下， h与h*的差别至少是和离目标的距离成正比的。783，A*算法的改进算法的改进 问题的提出：因A算法第6步对ml类节点可能要重新放回到OPEN表中，因此可能会导致多次重复扩展同一个节点，导致搜索效率下降。79s(10)A(1)B(5)C(8)G 目标631118一个例子：OPEN表CLOSED表s(10)s(10)A(7) B(8) C(9)A(7) s(10)B(8) C(9) G(14)A(5) C(9) G(14)C(9) G(12)B(7) G

24、(12)A(4) G(12)G(11)B(8) s(10)A(5) B(8) s(10)C(9) A(5) s(10)B(7) C(9) s(10)A(4) B(7) C(9) s(10)80出现多次扩展节点的原因出现多次扩展节点的原因 在前面的扩展中，并没有找到从初始节点到当前节点的最短路径，如节点A。s(10)A(1)B(5)C(8)G 目标63111881解决的途径解决的途径 对h加以限制 能否对h增加适当的限制，使得第一次扩展一个节点时，就找到了从s到该节点的最短路径。 对算法加以改进 能否对算法加以改进，避免或减少节点的多次扩展。82改进的条件改进的条件 可采纳性不变 不多扩展节点

25、不增加算法的复杂性83对对h加以限制加以限制 定义：一个启发函数h，如果对所有节点ni和nj，其中nj是ni的子节点，满足h(ni) - h(nj) c(ni, nj)h(t) = 0或 h(ni) c(ni, nj) + h(nj) h(t) = 0 则称h是单调的。h(ni)ninjh(nj)c(ni,nj)84h单调的性质单调的性质 定理1.5：若h(n)是单调的，则A*扩展了节点n之后，就已经找到了到达节点n的最佳路径。即：当A*选n扩展时，有g(n)=g*(n)。85定理定理1.5的证明的证明 设n是A*扩展的任一节点。当ns时，定理显然成立。下面考察n s的情况。 设P(n0=s,

26、 n1, n2, , nk=n)是s到n的最佳路径 P中一定有节点在CLOSED中，设P中最后一个出现在CLOSED中的节点为nj，则nj+1在OPEN中。86定理定理1.5的证明（续的证明（续1） 由单调限制条件，对P中任意节点ni有： h(ni) C(ni, ni+1)+h(ni+1) g*(ni)+h(ni) g*(ni)+C(ni, ni+1)+h(ni+1) 由于ni 、ni+1在最佳路径上，所以： g*(ni+1) = g*(ni)+C(ni, ni+1) 带入上式有： g*(ni)+h(ni) g*(ni+1)+h(ni+1) 从i=j到i=k-1应用上不等式，有： g*(nj+

27、1)+h(nj+1) g*(nk)+h(nk) 即：f(nj+1) g*(n)+h(n) 注意：(nj在CLOSED中，nj+1在OPEN中)87定理定理1.5的证明（续的证明（续2） 重写上式：f(nj+1) g*(n)+h(n) 另一方面，A*选n扩展，必有： f(n) = g(n)+h(n) f(nj+1) 比较两式，有： g(n) g*(n) 但已知g*(n)是最佳路径的耗散值，所以只有：g(n) = g*(n)。得证。88h单调的性质（续）单调的性质（续） 定理1.6：若h(n)是单调的，则由A*所扩展的节点序列其f值是非递减的。即f(ni) f(nj)。 89定理定理1.6的证明的

28、证明 由单调限制条件，有： h(ni) h(nj) C(ni, nj) = f(ni)-g(ni)= f(nj)-g(nj) f(ni)-g(ni) - f(nj)+g(nj) C(ni, nj)= g(ni)+C(ni, nj) f(ni)-g(ni) - f(nj)+ g(ni)+C(ni, nj) C(ni, nj) f(ni) - f(nj) 0，得证。90h单调的例子单调的例子 8数码问题： h为“不在位”的将牌数 1h(ni) - h(nj) = 0(nj为ni的后继节点) -1 h(t) = 0c(ni, nj) = 1 满足单调的条件。91对算法加以改进对算法加以改进 一些结论

29、： OPEN表上任以具有f(n) f*(s)的节点定会被扩展。 A*选作扩展的任一节点，定有f(n)f*(s)。92改进的出发点改进的出发点OPEN = ( )f*(s)f值小于f*(s)的节点f值大于等于f*(s)的节点fm：到目前为止已扩展节点的最大f值，用fm代替f*(s)93修正过程修正过程A1, OPEN:=(s), f(s)=g(s)+h(s), fm:=0;2, LOOP: IF OPEN=( ) THEN EXIT(FAIL);3, NEST:=ni|f(ni)fmIF NEST ( ) THEN n:=NEST中g最小的节点 ELSE n:=FIRST(OPEN), fm:=

30、f(n);4, , 8: 同过程A。94s(10)A(1)B(5)C(8)G 目标631118前面的例子：OPEN表CLOSED表fms(0+10)s(0+10)10A(6+1) B(3+5) C(1+8)s(0+10) C(1+8)10A(6+1) B(2+5)s(0+10) C(1+8) B(2+5)10A(3+1) s(0+10)C(1+8)B(2+5)A(3+1)10G(11+0) 95h的单调化方法的单调化方法 如果令：f(n) = max(f(n的父节点), g(n)+h(n)则容易证明，这样处理后的h是单调的。96IDA*算法算法(Iterative Deepening A*)

31、基本思想：回溯与A*的结合 算法简介（非严格地）1，设初始值f0；2，集合SNULL；3，用回溯法求解问题，如果节点n的f值大于f0，则将该节点放入集合S中，并回溯；4，如果在3中找到了解，则结束；5，如果3以失败结束，则f0S中节点的最小f值；6，返回到2。97知识的灵活应用知识的灵活应用例：如何转动，使得每个扇区数字和为12。13551441332523123122552342543433分析： 阴影部分数字和：48 直径部分数字和：24 转45改变阴影部分 转90改变直径部分 但不改变阴影部分 转180改变扇区部分 但不改变阴影部分 也不改变直径部分984，其他的搜索算法，其他的搜索算法

32、 爬山法（局部搜索算法）99其他的搜索算法（续其他的搜索算法（续1） 随机搜索算法 动态规划算法如果对于任何n，当h(n)=0时，A*算法就成为了动态规划算法。100动态规划动态规划st第一阶段第二阶段第三阶段第四阶段第五阶段1015，搜索算法实用举例，搜索算法实用举例 汉字识别后处理 一个例子我钱线载哦栽哉裁劣绥优仍们仿伦奶砧犯扔妨要耍密穷安壁驻努窑垂扳报叔嵌奴振技寂叙蔽奋夯杏蚕香脊秀吞吝番精猜指洁括治捐活冶桔种神衬祥科钟拌样拎补 102汉字识别后处理汉字识别后处理niiiwwwPSP111).|()()()|()()|(OPSOPSPOSP二元语法时：niiiwwPSP11)|()()(OP为常量)|(SOP用识别信度代替问题变为求niiiiwCFwwP11)()|(最大