大学精品课件:8动态规划.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《大学精品课件:8动态规划.ppt》由用户(罗嗣辉)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 大学 精品 课件 动态 规划
- 资源描述:
-
1、运筹学运运 筹筹 学学第八章第八章 动态规划动态规划Dynamic Programming 8.1 动态规划数学模型动态规划数学模型Mathematical Model of DP 8.2 资源分配问题资源分配问题 Resource Assignment Problem8.3 生产与存储问题生产与存储问题Production and inventory problem8.4 背包问题背包问题 Knapsack Problem8.5 其它动态规划模型其它动态规划模型 Other Model of DP8.1 动态规划数学模型动态规划数学模型Mathematical Model of DPv2v3
2、v4v7v5v9v6v8v1028512131071013112865885405847【例例8.1】最短路径问题最短路径问题 图图81表示从起点表示从起点A到终点到终点E之间各点的距离。求之间各点的距离。求A到到E的最短路径。的最短路径。图图81v1第1阶段第2阶段第3阶段第4阶段阶段:第5阶段1217142019Min2+5,8+8,6+4=7动态规划问题具有以下动态规划问题具有以下基本特征基本特征 1.问题具有多阶段决策的特征。阶段可以按时间划分,也问题具有多阶段决策的特征。阶段可以按时间划分,也可以按空间划分。可以按空间划分。2.每一阶段都有相应的每一阶段都有相应的“状态状态”与之对应
3、。与之对应。3.每一阶段都面临一个决策,选择不同的决策将会导致下每一阶段都面临一个决策,选择不同的决策将会导致下一阶段不同的状态,同时,不同的决策将会导致这一阶段不同一阶段不同的状态,同时,不同的决策将会导致这一阶段不同的目标函数值。的目标函数值。4.每一阶段的最优解问题可以递归地归结为下一阶段各个每一阶段的最优解问题可以递归地归结为下一阶段各个可能状态的最优解问题,各子问题与原问题具有完全相同的结可能状态的最优解问题,各子问题与原问题具有完全相同的结构。能否构造这样的递推归结,是解决动态规划问题的关键。构。能否构造这样的递推归结,是解决动态规划问题的关键。这种递推归结的过程,称为这种递推归结
4、的过程,称为“不变嵌入不变嵌入”。8.1 动态规划数学模型动态规划数学模型Mathematical Model of DP 5.状态具有无后效性状态具有无后效性 当某阶段状态确定后,此阶段以后过当某阶段状态确定后,此阶段以后过程的发展不受此阶段以前各阶段状态的影响。如下图所示:程的发展不受此阶段以前各阶段状态的影响。如下图所示:9AB1B2B3D1C1C4C3D2E7812121441213651064C2908.1 动态规划数学模型动态规划数学模型Mathematical Model of DP 研究某一个过程研究某一个过程,这个过程可以分解为若干个互相联系的阶这个过程可以分解为若干个互相联
5、系的阶段。段。每一阶段都有其初始状态和结束状态每一阶段都有其初始状态和结束状态,其结束状态即为下一其结束状态即为下一阶段的初始状态。第一阶段的初始状态就是整个过程的初始阶段的初始状态。第一阶段的初始状态就是整个过程的初始状态状态,最后一阶段的结束状态就是整个过程的结束状态。在过最后一阶段的结束状态就是整个过程的结束状态。在过程的每一个阶段都需要作出决策程的每一个阶段都需要作出决策,而每一阶段的结束状态依赖而每一阶段的结束状态依赖于其初始状态和该阶段的决策。于其初始状态和该阶段的决策。动态规划问题就是要找出某种决策方法动态规划问题就是要找出某种决策方法,使过程达到某种使过程达到某种最优效果。最优
6、效果。这种把问题看作前后关联的多阶段过程称为这种把问题看作前后关联的多阶段过程称为多阶多阶段决策过程段决策过程.动态规划基本原理动态规划基本原理是将一个问题的最优解转化为求子问题的最是将一个问题的最优解转化为求子问题的最优解,研究的对象是决策过程的最优化,其变量是流动的时间优解,研究的对象是决策过程的最优化,其变量是流动的时间或变动的状态,最后到达整个系统最优。或变动的状态,最后到达整个系统最优。基本原理一方面基本原理一方面说明原问题的最优解中包含了子问题的最优解,说明原问题的最优解中包含了子问题的最优解,另一方面另一方面给出了一种求解问题的思路,将一个难以直接解决的给出了一种求解问题的思路,
7、将一个难以直接解决的大问题,分割成一些规模较小的相同子问题,每一个子问题只大问题,分割成一些规模较小的相同子问题,每一个子问题只解一次,并将结果保存起来以后直接引用,避免每次碰到时都解一次,并将结果保存起来以后直接引用,避免每次碰到时都要重复计算,以便各个击破,分而治之,即分治法,是一种解要重复计算,以便各个击破,分而治之,即分治法,是一种解决最优化问题的算法策略。决最优化问题的算法策略。动态规划求解可分为三个步骤动态规划求解可分为三个步骤:分解、求解与合并。:分解、求解与合并。8.1 动态规划数学模型动态规划数学模型Mathematical Model of DP(1)阶段阶段(Stage)
8、:表示决策顺序的时段序列,阶段可以按时间表示决策顺序的时段序列,阶段可以按时间或空间划分,阶段数或空间划分,阶段数k可以是确定数、不定数或无限数可以是确定数、不定数或无限数 8.1.2基本概念基本概念(3)决策决策(Decision)xk:从某一状态向下一状态过度时所做的从某一状态向下一状态过度时所做的选择。决策变量记为选择。决策变量记为xk,xk是所在状态是所在状态sk的函数。的函数。在状态在状态sk下,允许采取决策的全体称为决策允许集合,记为下,允许采取决策的全体称为决策允许集合,记为Dk(sk)。各阶段所有决策组成的集合称为决策集。各阶段所有决策组成的集合称为决策集。(2)状态状态(St
9、ate):):描述决策过程当前特征并且具有无后效性描述决策过程当前特征并且具有无后效性的量。状态可以是数量,也可以是字符,数量状态可以是连续的,的量。状态可以是数量,也可以是字符,数量状态可以是连续的,也可以是离散的。每一状态可以取不同值,状态变量记为也可以是离散的。每一状态可以取不同值,状态变量记为sk。各各阶段所有状态组成的集合称为状态集。阶段所有状态组成的集合称为状态集。8.1 动态规划数学模型动态规划数学模型Mathematical Model of DP(4)策略策略(Strategy):从第从第1阶段开始到最后阶段全过程的决策构成阶段开始到最后阶段全过程的决策构成的序列称为策略,第
10、的序列称为策略,第k阶段到最后阶段的决策序列称为子策略。阶段到最后阶段的决策序列称为子策略。(5)状态转移方程状态转移方程(State transformation function):某一状态以某一状态以及该状态下的决策,与下一状态之间的函数关系,记为及该状态下的决策,与下一状态之间的函数关系,记为sk+1=T(sk,xk)(6)指标函数或收益函数指标函数或收益函数(Return function):是衡量对决策过是衡量对决策过程进行控制的效果的数量指标,具体可以是收益、成本、距离程进行控制的效果的数量指标,具体可以是收益、成本、距离等指标。等指标。分为分为k阶段指标函数、阶段指标函数、k子
11、过程指标函数及最优指标函子过程指标函数及最优指标函数。数。8.1 动态规划数学模型动态规划数学模型Mathematical Model of DP k阶段指标函数阶段指标函数 从从k阶段状态阶段状态sk出发,选择决策出发,选择决策xk所产生的第所产生的第k阶段指标,称为阶段指标,称为k阶段指标函数阶段指标函数,记为记为vk(sk,xk)。从从k阶段状态阶段状态sk出发,选择决策出发,选择决策xk,xk+1,xn所产生的过程指标,所产生的过程指标,称为称为k子过程指标函数或简称过程指标函数,记为子过程指标函数或简称过程指标函数,记为Vk(sk,xk,xk+1,xn)或或Vk,n为阶段数。为阶段数
12、。过程指标函数过程指标函数最优指标函数最优指标函数从从k阶段状态阶段状态sk出发,对所有的子策略,最优的过程指标函数称出发,对所有的子策略,最优的过程指标函数称为最优指标函数,记为为最优指标函数,记为fk(sk),通常取通常取Vk的最大值或最小值。的最大值或最小值。),()(,)(nkknksDdkkPsVsfoptkkk (Optoptimization表示表示“max”或或“min”8.1 动态规划数学模型动态规划数学模型Mathematical Model of DP 动态规划要求过程指标满足动态规划要求过程指标满足递推关系递推关系,即,即1111(,)(,),(,)kkkknkkkkk
13、knV sxxxV v sxVsxx(8.2)连和形式:连和形式:1111(,)(,(,)(,KKkkknkkkKkknnjjjnj kVVsxxxv sxVsxxv sxV)(8.3)最优指标函数是最优指标函数是 nksfxsvOptsfkkkkksDxkkkkk,2,1),(,()(11)(8.4)8.1 动态规划数学模型动态规划数学模型Mathematical Model of DP 动态规划数学模型由式动态规划数学模型由式(8.4)或或(8.6)、边界条件及状态转移方程、边界条件及状态转移方程构成。如连和形式的数学模型构成。如连和形式的数学模型 连乘形式连乘形式(vj0):1111(,
14、)(,)(,)(,)KKkkknkkkKkknnjjjnj kVVsxxxv sxVsxxv sxV=(8.5)最优指标函数是最优指标函数是 nksfdsvOptsfkkkkksDxkkkkk,2,1),(,()(11)(8.6),(0)(,2,1),(,()(111)(kkknnkkkkksDxkkxsTssfnksfxsvOptsfkkk8.1 动态规划数学模型动态规划数学模型Mathematical Model of DP 对于可加性指标函数,上式可以写为对于可加性指标函数,上式可以写为nksfxsvsfkkkkksDdkkoptkkk,2,1)(,()(11)(上式中上式中“opt”表
15、示表示“max”或或“min”。对于可乘性指标函数,对于可乘性指标函数,上式可以写为上式可以写为nksfxsvsfkkkkksDxkkoptkkk,2,1)(,()(11)(上式称为动态规划最优指标的上式称为动态规划最优指标的递推方程递推方程,是动态规划的基本方,是动态规划的基本方程。程。终端条件:终端条件:为了使以上的递推方程有递推的起点,必须要设定为了使以上的递推方程有递推的起点,必须要设定最优指标的终端条件,即确定最后一个状态最优指标的终端条件,即确定最后一个状态n下最优指标下最优指标fn(sn)的的值。值。8.1 动态规划数学模型动态规划数学模型Mathematical Model o
16、f DP 用逆序法列表求解例用逆序法列表求解例8.1 k=n=5 时,时,f5(v10)0)(),(min)(55444)(44444sfxsvsfsDxk=4,递推方程为递推方程为 s4D4(s4)s5v4(s4,x4)v4(s4,x4)+f5(s5)f4(s4)最优决策最优决策x4*v7v7v10v1055+0=5*5v7 v10v8v8v10v1088+08*8v8 v10v9v9v10v1044+0=4*4v9 v108.1 动态规划数学模型动态规划数学模型Mathematical Model of DP)(),(min)(44333)(33333sfxsvsfsDxk=3,递推方程为
17、递推方程为表8-2 s3D3(s3)s4v3(s3,x3)v3(s3,x3)+f4(s4)f3(s3)最优决策最优决策x3*v5v5v7 7v v5 5v8 8v v5 5v9 9v7v8v92862+5=7*8+8=166+4=107v5v7 7v6v6 v7 7v v6 6v8 8v v6 6v9 9v7v8v9125812+5=175+8=138+4=12*12v6v9 98.1 动态规划数学模型动态规划数学模型Mathematical Model of DP k=2,递推方程为递推方程为表表8-3 s2D2(s2)s3v2(s2,x2)v2(s2,x2)+f3(s3)f2(s2)最优决
18、策最优决策x2*v2v2 v5 5v v2 2 v6 6v5v6101310+7=17*13+12=2517v2 v5 5v3v3 v5 5v v3 3 v6 6v5v67107+7=14*10+12=2214v3v5 5v4v4 v5 5v v4 4 v6 6v5v6131113+7=20*11+12=2320v4v5 5)(),(min)(33222)(22222sfxsvsfsDx8.1 动态规划数学模型动态规划数学模型Mathematical Model of DP k=1,递推方程为递推方程为表8-4)(),(min)(22111)(11111sfxsvsfsDxs1D1(s1)s2
19、v1(s1,x1)v1(s1,x1)+f2(s2)f1(s1)最优决策最优决策x1*v1v1v2 2v v1 1v3 3v v1 1v4 4v2v3v42852+17=19*8+14=225+20=2519v1v2 2最优值是表最优值是表8-4中中f1(s1)的值,从的值,从v1到到v10的最短路长为的最短路长为19。最短路。最短路线从表线从表8-4到表到表8-1回朔,查看最后一列最优决策,得到最短路回朔,查看最后一列最优决策,得到最短路径为:径为:v1 v2 v5 v7 v108.1 动态规划数学模型动态规划数学模型Mathematical Model of DP 作业:教材作业:教材P18
20、8 T2下一节:资源分配问题下一节:资源分配问题 8.1 动态规划数学模型动态规划数学模型Mathematical Model of DP 8.2 资源分配问题资源分配问题Resource Assignment Problem【例例8.2】公司有资金公司有资金8万元,投资万元,投资A、B、C三个项目,一个单位投资为三个项目,一个单位投资为2万万元。每个项目的投资效益率与投入该项目的资金有关。三个项目元。每个项目的投资效益率与投入该项目的资金有关。三个项目A、B、C的的投资效益投资效益(万元万元)和投入资金(万元)的关系见表和投入资金(万元)的关系见表8-5。求对三个项目的最优投求对三个项目的最
21、优投资分配,使总投资效益最大。资分配,使总投资效益最大。8.2 资源分配问题资源分配问题Resource Assignment Problem 项目项目投入资金投入资金ABC2万元万元89104万元万元1520286万元万元3035358万元万元384043表表8-5【解解】设设xk为第为第k个项目的投资,该问题的静态规划模型为个项目的投资,该问题的静态规划模型为112233123max()()()80,2,4,6,8jZv xv xv xxxxx阶段阶段k:每投资一个项目作为一个阶段,每投资一个项目作为一个阶段,k=1,2,3,4。k=4为虚设为虚设的阶段的阶段状态变量状态变量sk:投资第投
22、资第k个项目前的资金数个项目前的资金数决策变量决策变量xk:第:第k个项目的投资额个项目的投资额决策允许集合:决策允许集合:0 xksk状态转移方程:状态转移方程:sk+1=skxk阶段指标:阶段指标:vk(sk,xk)见表见表8-5中的数据中的数据 递推方程:递推方程:11()max(,)()kkkkkkkfxv sxfs终端条件:终端条件:f4(s4)=0数学模型为数学模型为 11144()max(,)(),3,2,1()00,2,4,6,8,1,2,3kkkkkkkkkkkfxvsxfskssxfxxk8.2 资源分配问题资源分配问题Resource Assignment Problem
23、k=4,终端条件f4(s4)=0。k=3,0 x3s3,s4=s3x3 状态状态s3决策决策x3(s3)状态转移方程状态转移方程s4=s3x3阶段指标阶段指标v3(s3,x3)过程指标过程指标v3(s3,x3)+f4(s4)最优指标最优指标f3(s3)最优决策最优决策x3*00000+0=00020200+0=0102201010+0=10*40400+0=0284221010+0=10402828+0=28*60600+0=0356241010+0=10422828+0=28603535+0=35*80800+0=0438261010+0=10442828+0=28623535+0=3580
24、4343+0=43*8.2 资源分配问题资源分配问题Resource Assignment Problems2x2(s2)s3v2(s2,x2)f3(s3)v2(s2,x2)+f3(s3)f2(s2)x2*000000+0=0002020100+10=10*10020909+0=94040280+28=28*280229109+10=194020020+0=206060350+35=35372249289+28=37*42201020+10=306035035+0=358080430+43=43484269359+35=4444202820+28=48*62351035+10=45804004
25、0+0=40k=2,0 x2s2,s3=s2x2 8.2 资源分配问题资源分配问题Resource Assignment Problemk=1,0 x1s1,s2=s1x1 s1x1(s1)s2v1(s1,x1)f2(s2)v1(s1,x1)+f2(s2)f1(s1)x1*8080480+48=48*480268378+37=4544152815+28=4362301030+10=408038038+0=38最优解为最优解为:s1=8,x1*=0,s2=s1x1=8,x2*=4,s3=s2x2*=4,x3=4,s4=s3x3=0。投资的最优策略是,项目投资的最优策略是,项目A不投资,项目不投资
展开阅读全文