最优控制与状态估计3课件.ppt

1、华东理工大学华东理工大学ECUSTECUST华东理工大学华东理工大学ECUSTECUST第二个办法：从最后一段开始，第二个办法：从最后一段开始，向前倒推。当倒推到某一站时，向前倒推。当倒推到某一站时，计算该站到终点站的总里程，计算该站到终点站的总里程，并选择里程最少的走法。并选择里程最少的走法。华东理工大学华东理工大学ECUSTECUST从该例看出，这种解法有两个特点从该例看出，这种解法有两个特点: 第一，它把一个复杂的问题第一，它把一个复杂的问题（即：决定一条路线的选择问题）变成许多个简单的问题（即：每（即：决定一条路线的选择问题）变成许多个简单的问题（即：每次只决定向上走（次只决定向上走（

2、p）还是向下走（）还是向下走（q）的问题），因此问题的求解）的问题），因此问题的求解变得简单容易了。变得简单容易了。不变嵌入原理的含义是：为了解决一个特定的最优控制问题，而把不变嵌入原理的含义是：为了解决一个特定的最优控制问题，而把原问题嵌入到一系列相似的但易于求解的问题中去。对于一个多级原问题嵌入到一系列相似的但易于求解的问题中去。对于一个多级最优控制过程来说，就是把原来的多级最优控制问题代换成一系列最优控制过程来说，就是把原来的多级最优控制问题代换成一系列单级最优控制问题。单级最优控制问题。华东理工大学华东理工大学ECUSTECUST二、二、 最优性原理最优性原理(Bellman) 最优性

3、原理最优性原理在一个多级决策问题中的最优决策具有这样的性在一个多级决策问题中的最优决策具有这样的性质，不管初始级质，不管初始级 、初始状态和初始决策是什么，当把其中任何一级、初始状态和初始决策是什么，当把其中任何一级和这一级的状态再作为初始级和初始状态时，余下的决策对此必定和这一级的状态再作为初始级和初始状态时，余下的决策对此必定构成一个最优决策。构成一个最优决策。将最优性原理应用到离散系统中去，系统状态方程为将最优性原理应用到离散系统中去，系统状态方程为)(),() 1(kkkuxfx初始状态为初始状态为)0()(0 xxkk性能指标为性能指标为)(),(0kkLJNkux要求确定要求确定

4、，使性能指标最优，即，使性能指标最优，即)(kuoptJ华东理工大学华东理工大学ECUSTECUST)(ik u一般认为，第一般认为，第k 级决策级决策 与第与第k 级以及级以及k 以前各级状态以前各级状态 和决和决策策 有关有关)(ku)(ik x), 2 , 1(i),1(),(,),1(),()(kkkkkuuxxuu（64）以上函数称为策略函数以上函数称为策略函数)(),()1 (),1 ()0(),0(opt0),0()(,),1(),0(*NNLLLJNuuuuxuxuxx)(),()1 (),1 (opt)0(),0(opt)(,),2(),1()0(NNLLLNuuuuuxux

5、ux如果记如果记)(),()1 (),1 (opt 1),1 ()(,),2(),1(*NNLLJNuuuuxuxx则则1),1 ()0(),0(opt0),0(*)0(*xuxxJLJu对于任意级对于任意级k ， 有有1),1()(),(opt),(*)(*kkJkkLkkJkuxuxx（65）应该指出，最优性原理所肯定的是余下的决策为最优决策。对以前应该指出，最优性原理所肯定的是余下的决策为最优决策。对以前的决策没有明确的要求。的决策没有明确的要求。华东理工大学华东理工大学ECUSTECUST三、三、 用动态规划法求解离散系统最优控制问题用动态规划法求解离散系统最优控制问题系统状态方程为系

6、统状态方程为)(),() 1(kkkuxfx（66）)0()(0 xxkk（67）)(),(0kkLJNkux（68）要求在状态方程约束下，寻求要求在状态方程约束下，寻求 使使)(kuminJ1),1()(),(min),(*)(*kkJkkLkkJkuxuxx 可以受限制，也可以不受限制。可以受限制，也可以不受限制。)(ku华东理工大学华东理工大学ECUSTECUST例例 4 线性定常离散系统的状态方程为线性定常离散系统的状态方程为)()() 1(kukxkx初始状态为初始状态为 ，性能指标为，性能指标为)0(x)(21)(212102kuNcxJNk寻求最优控制序列寻求最优控制序列 ，使，

7、使 （为了简单起见，设（为了简单起见，设 ）2N)(kuminJ解解 运用动态规划法来求解运用动态规划法来求解1） 从最后一级开始，即从最后一级开始，即2k)2(212),2(2*cxxJ华东理工大学华东理工大学ECUSTECUST2） 向前倒推一级，即向前倒推一级，即1k22)1(22)1(*2)1(*)1 () 1 (21) 1 (21min)2(21) 1 (21min2),2() 1 (21min 1),1 (uxcucxuxJuxJuuu因为因为 不受限制，故不受限制，故 可以通过下式求得可以通过下式求得)(ku) 1 (*u0) 1 () 1 () 1 () 1 ( 1),1 (*

8、cucxuuxJccxu1) 1 () 1 (*)1 (2) 1 ( 1),1 (2*ccxxJcxuxx1) 1 () 1 () 1 ()2(*华东理工大学华东理工大学ECUSTECUST3） 再向前倒推一级，即再向前倒推一级，即0k)1 (2)0()0()0(21min)1 (2) 1 ()0(21min 1),1 ()0(21min0),0(22)0(22)0(*2)0(*cuxcuccxuxJuxJuuu注意：注意：1、对一个多级决策过程来说，最优性原理保证了全过程性、对一个多级决策过程来说，最优性原理保证了全过程性能指标最小，并不保证每一级性能指标最小。但是在每考虑一级时，能指标最小

9、，并不保证每一级性能指标最小。但是在每考虑一级时，都不是孤立地只把这一级的性能指标最小的决策作为最优决策，而都不是孤立地只把这一级的性能指标最小的决策作为最优决策，而总是把这一级放到全过程中间去考虑，取全过程的性能指标最优的总是把这一级放到全过程中间去考虑，取全过程的性能指标最优的决策作为最优决策。决策作为最优决策。2、动态规划法给出的是最优控制的充分条件，不是必要条件。这、动态规划法给出的是最优控制的充分条件，不是必要条件。这和极小值原理是不同的。和极小值原理是不同的。)0(211) 1 (*xccx由由 ，解得，解得0)0(0),0(*uxJccxu1)0()0(*)1 (2)0(0),0

10、(2*ccxxJ)0(211)2(*xcx 华东理工大学华东理工大学ECUSTECUST四、四、 用动态规划法求解连续系统最优控制问题用动态规划法求解连续系统最优控制问题非线性时变系统状态方程为非线性时变系统状态方程为),(tuxfx （69）初始条件初始条件)()(00ttttxx（70）性能指标性能指标ttttJfttffd),(),(0uxLx（71）要寻求最优控制，在满足状态方程（要寻求最优控制，在满足状态方程（69）的条件下，使）的条件下，使J 取极小值取极小值ttttttJfttffUud),(),(min)(,(0*00*uxLxx（72）满足条件满足条件),(),(*fffft

11、tttJxx（73）求解时，用到连续系统的最优性原理。求解时，用到连续系统的最优性原理。华东理工大学华东理工大学ECUSTECUST 如果对于初始时刻如果对于初始时刻 和初始状态和初始状态 来说，来说， 和和 是系统是系统的最优控制和最优轨线。那么，对于的最优控制和最优轨线。那么，对于 和状态和状态，它们仍是所研究的系统往后的最优控制和最优轨线。，它们仍是所研究的系统往后的最优控制和最优轨线。0t)(0tx)(*tu)(*tx,0ftttt)(tt x 假定假定 是存在的且是连续的并且有连续的一阶、二阶偏导是存在的且是连续的并且有连续的一阶、二阶偏导数，由最优性原理可以写出数，由最优性原理可以

12、写出),(*ttJx),(*ttJxd),(),(min,uxLffttUttud),(),(d),(),(min,uxLuxLffttttttUttud),(),(d),(),(minmin,uxLuxLffttttttUtttuUtttu（74）华东理工大学华东理工大学ECUSTECUST用类似的处理方法，令用类似的处理方法，令),(*ttttJxd),(),(min,uxLfftttUtttu（75）则（则（74）式可以写成）式可以写成),(*ttJx),(d),(),(min*,ttttJtttUtttuxuxL（76）),(*ttJx由于由于 对于对于 、 是连续可微的，故式（是连续

13、可微的，故式（76）右边第二项）右边第二项可以展开成台劳级数，取一阶近似可以展开成台劳级数，取一阶近似xt),(*ttJx),(*ttttJxttttJttttJT),(dd),(*xxxx（77）华东理工大学华东理工大学ECUSTECUST而由中值定理，（而由中值定理，（76）式右边第一项可以写成）式右边第一项可以写成tttttttttt),(),(d),(),(uxLuxL（78）其中，其中， 是介于是介于0和和1之间的某一常数。之间的某一常数。将（将（77）、（）、（78）式代入（）式代入（76）式）式),(*ttJxUtttu,minttttttt),(),(uxL),(*ttJxtt

14、ttJttttJT),(dd),(*xxxx（79）（80）对（对（79）式简化，并且令）式简化，并且令0 t),(),(),(),(min),(*,*tttJttttttJTUtttuuxfxxuxLx（80）式称为哈密顿贝尔曼方程，是用动态规划法求解最优控）式称为哈密顿贝尔曼方程，是用动态规划法求解最优控制问题的基本方程。制问题的基本方程。华东理工大学华东理工大学ECUSTECUSTtttJtxt,),(),()(*xxuu显然有显然有（81）方程（方程（80）的边界条件）的边界条件),(),(*ffffttttJxx（82）如果性能指标泛函中无末值项，则如果性能指标泛函中无末值项，则0)

15、,(*ffttJx（83）注意：哈密顿贝尔曼方程是求解最优控制问题的充分条件，注意：哈密顿贝尔曼方程是求解最优控制问题的充分条件，不是必要条件。不是必要条件。华东理工大学华东理工大学ECUSTECUST用动态规划法求解连续系统最优控制问题的步骤：用动态规划法求解连续系统最优控制问题的步骤：（84）的解的解)(*tu1）求满足）求满足),(),(),(),(min*,tttJtttTUtttuuxfxxuxL在求解方程（在求解方程（84）时，若）时，若 不受限制，则在引入哈密顿时，有不受限制，则在引入哈密顿时，有)(tu0uH)(*tu如果如果 受限，即受限，即 ，在确定，在确定 时，只能用分析

16、方法，时，只能用分析方法，使使)(turRU u),(*tuxH),(*tuxH2）将）将 代入（代入（80）、（）、（82）和（）和（83）式，解出）式，解出)(*tuttJ),(*x（85）ttJ),(*x)(*tu3）将）将 再代入（再代入（84）就得到最优控制）就得到最优控制tttJtxt,),(),()(*xxuu华东理工大学华东理工大学ECUSTECUST（86）4）将（）将（85）式代入系统状态方程）式代入系统状态方程)()(00ttttxx),(),(ttt*uxfx )(*tx可以求出最优轨线可以求出最优轨线 。把。把 代入（代入（85）式得到最优控制）式得到最优控制)(*t

17、x)(*tu例例 5 系统状态方程为系统状态方程为uxx1)0(x，性能指标，性能指标 。 u11txJd02寻求寻求 ，在状态方程约束下，在状态方程约束下，J 取极小值。取极小值。*u解解 1）求）求uxJxxJxuxxJxuu*21*21min)(min用分析方法，可知用分析方法，可知xJu*sign华东理工大学华东理工大学ECUSTECUST2）将）将 代入哈密顿贝尔曼方程代入哈密顿贝尔曼方程*u0sign*2xJxxJx即即0*2xJxxJx可以分析出可以分析出 是正函数，则哈密顿贝尔曼方程可写成是正函数，则哈密顿贝尔曼方程可写成xJ*0*2xJxxJxcxxxJ)1ln(22*由于由

18、于 与与 无关，上式为一元微分方程，其通解为无关，上式为一元微分方程，其通解为*Jt其中，其中，c 为积分常数，由边界条件确定为为积分常数，由边界条件确定为 c =0 )1ln(22*xxxJ华东理工大学华东理工大学ECUSTECUST*u3）将）将 代入代入 的表达式中的表达式中*Jxxu1sign2*本例中本例中0001)(*xxtu4）将）将 代入状态方程，可解得代入状态方程，可解得*u2ln02ln01e2*ttxt由此得由此得2ln02ln01*ttu最优性能指标最优性能指标193. 0212ln) 1 (*J华东理工大学华东理工大学ECUSTECUST动态规划与极小值原理动态规划与

19、极小值原理动态规划和极小值原理是最优控制理论的两大基动态规划和极小值原理是最优控制理论的两大基石，它们都可以解决有约束的最优控制问题，虽然在石，它们都可以解决有约束的最优控制问题，虽然在形式上和解题方法上不同，但却存在着内在的联系。形式上和解题方法上不同，但却存在着内在的联系。下面我们从动态规划来推演极小值原理，不过要说明下面我们从动态规划来推演极小值原理，不过要说明这种推演是基于最优指标对和两次连续可微这个条件这种推演是基于最优指标对和两次连续可微这个条件的。的。 华东理工大学华东理工大学ECUSTECUST于是最优性能指标与最优状态转移为于是最优性能指标与最优状态转移为要求确定要求确定 使

20、性能指标使性能指标*u极小。其中，极小。其中， 固定，固定， 自由，自由， 可以可以有约束，也可以没有。有约束，也可以没有。ftt ,0()fx tu),(),(ttt*uxfx )()(00ttttxxttttJfttffd),(),(0uxLx华东理工大学华东理工大学ECUSTECUST用极小值原理求解的结果（用极小值原理求解的结果（4545）（）（4646）（）（4848）- -（5050）可以用下面来表示，因这里）可以用下面来表示，因这里 固定，故不需最固定，故不需最优终端时刻条件；优终端时刻条件； 自由，将最优解的条件再写自由，将最优解的条件再写在下面以对照。在下面以对照。ft()f

21、x t华东理工大学华东理工大学ECUSTECUST1 1、 （状态方程）（状态方程） （8787）.Hx2 2、 （协态方程）（协态方程） （8888）Hx 3 3、 （边界方程）（边界方程） （8989）00( )x tx4 4、 （横截条件）（横截条件） （9090）()()fftx t5 5、 （极值条件）（极值条件） （9191）min(, )(, )uHxu tHxut华东理工大学华东理工大学ECUSTECUST用动态规划求解的结果已在上面得到，现在归纳用动态规划求解的结果已在上面得到，现在归纳一下：在动态规划中协态变量一下：在动态规划中协态变量 满足满足Jx哈密顿哈密顿贝尔曼方程（

22、贝尔曼方程（8080）本身说明了哈密顿函数）本身说明了哈密顿函数在最优控制上取极值的条件，故等同于上面极小值在最优控制上取极值的条件，故等同于上面极小值原理所得的条件原理所得的条件5 5，不过（，不过（8080）还多给出了一点信息）还多给出了一点信息，即，即 *JHt （9292）华东理工大学华东理工大学ECUSTECUST下面由动态规划法来推出协态方程。 由（由（9292） 2( , )( , )( , )TddJ x tJ x tJ x t dxdtdtxtxx xdt 华东理工大学华东理工大学ECUSTECUST因假设对两次连续可微，因此上式成立，且可交因假设对两次连续可微，因此上式成立，且可交换求导次序，得换求导次序，得22( , )( , )( , , )( , )( , , )()( , , )( , , )()()TTTTTJ x tJ x tf x u txtx xJJ x tL x u tf x u tf x u txxx xLJfxxxJLfxxHx 华东理工大学华东理工大学ECUSTECUST即协态方程（即协态方程（8888）（因都是最优解条件。故省去）（因都是最优解条件。故省去* *号号）。由（）。由（9292）再来推横截条件）再来推横截条件(),()()(),()fffffffJx tttx tx ttx t