Matlab最优化方法课件.ppt

1、 线性规划线性规划matlabmatlab最优化方法最优化方法无约束规划无约束规划非线性规划非线性规划目的目的内容内容2、掌握用数学软件包求解线性规划问题。、掌握用数学软件包求解线性规划问题。1、了解线性规划的基本内容。、了解线性规划的基本内容。3、实验作业。实验作业。2、用数学软件包求解线性规划问题。、用数学软件包求解线性规划问题。1、两个引例。、两个引例。问题一问题一 ： 任务分配问题：某车间有甲、乙两台机床，可用于加工三种工件。假定这两台车床的可用台时数分别为800和900，三种工件的数量分别为400、600和500，且已知用三种不同车床加工单位数量不同工件所需的台时数和加工费用如下表。

2、问怎样分配车床的加工任务，才能既满足加工工件的要求，又使加工费用最低？ 单位工件所需加工台时数 单位工件的加工费用 车床类 型 工件1 工件2 工件3 工件1 工件2 工件3 可用台时数 甲 0.4 1.1 1.0 13 9 10 800 乙 0.5 1.2 1.3 11 12 8 900 两个引例两个引例解解 设在甲车床上加工工件1、2、3的数量分别为x1、x2、x3，在乙车床上加工工件1、2、3的数量分别为x4、x5、x6。可建立以下线性规划模型：6543218121110913minxxxxxxz 6 , 2 , 1, 09003 . 12 . 15 . 08001 . 14 . 050

3、0600400 x . .654321635241ixxxxxxxxxxxxtsi 解答问题二：问题二： 某厂生产甲、乙两种产品，已知制成一吨产品甲需用资源A 3吨资源B 4m3；制成一吨产品乙需用资源A 2吨，资源B 6m3，资源C 7个单位。若一吨产品甲和乙的经济价值分别为7万元和5万元，三种资源的限制量分别为90吨、200m3和210个单位。试应生产这两种产品各多少吨才能使创造的总经济价值最高？（p153，例8-2）解：解：这是个最优化问题，其目标为经济价值最高，约束条件为三种资源的数量有限，决策为生产甲、乙产品的数量。令生产产品甲的数量为x1，生产产品乙的数量为x2。由题意可以建立如下

4、的线性规划模型。故目标函数为：故目标函数为：2157maxxxz约束条件为：0, 021072006490232122121xxxxxxx问题问题2线性规划模型：线性规划模型： 解答返 回2157maxxxz0, 02107200649023. .2122121xxxxxxxts1.1.线性规划的标准形式：线性规划的标准形式：xmin z=)(xf. .ts )(xgi0 （), 2 , 1mi其中目标函数)(xf和约束条件中)(xgi都是线性函数min min f = = c xs.t. s.t. Ax = = b （1 1） x 0 0这里 A = (ija)m,n , x = T 21n

5、xxx b= T 21nbbb, c= nccc21用单纯法求解时，常将标准形式化为：2. 线性规划的基本算法线性规划的基本算法单纯形法单纯形法线性规划的基本算法线性规划的基本算法单纯形法单纯形法例例 min z = 10 x1 + 9x2st6x1 + 5x2 60 10 x1 + 20 x2 150 x1 8 x1, x2 0引入松弛变量x3, x4, x5, 将不等式化为等式, 即单纯形标准形: min z = 10 x1 + 9x2st6x1 + 5x2 + x3 = 60 10 x1 + 20 x2 - x4 = 150 x1 + x5 = 8 xi 0 (i = 1,2,3,4,5

6、)系数矩阵为: 6 5 1 0 0 A = 10 20 0 -1 0 = (P1 P2 P3 P4 P5) 1 0 0 0 1 b = (60, 150, 8 ) T用用MATLAB优化工具箱解线性规划优化工具箱解线性规划min z=cX bAXts. .1、模型：命令：x=linprog（c，A，b） 2、模型：min z=cX bAXts. .beqXAeq命令：x=linprog（c，A，b，Aeq,beq）注意：若没有不等式： 存在，则令A= ，b= .bAX 3、模型：min z=cX bAXts. .beqXAeqVLBXVUB命令：1 x=linprog（c，A，b，Aeq,be

7、q, VLB，VUB） 2 x=linprog（c，A，b，Aeq,beq, VLB，VUB, X0） 注意：1 若没有等式约束: , 则令Aeq= , beq= . 2其中X0表示初始点 beqXAeq4、命令：x,fval=linprog()返回最优解及处的目标函数值fval.解解 编写编写M文件如下：文件如下：c=-0.4 -0.28 -0.32 -0.72 -0.64 -0.6; A=0.01 0.01 0.01 0.03 0.03 0.03;0.02 0 0 0.05 0 0;0 0.02 0 0 0.05 0;0 0 0.03 0 0 0.08; b=850;700;100;900

8、; Aeq=; beq=; vlb=0;0;0;0;0;0; vub=;x,fval=linprog(c,A,b,Aeq,beq,vlb,vub)解解: 编写编写M文件如下：文件如下： c=-7 -5; A=3 2; 4 6; 0 7; b=90;200;210; Aeq=; beq=; vlb=0,0; vub=inf,inf; x,fval=linprog(c,A,b,Aeq,beq,vlb,vub)21)57(minxxz2100 xx21020090706423 .21xxts2157maxxxz0, 02107200649023. .2122121xxxxxxxts问题问题2解答解答

9、S.t.Xz8121110913min 9008003 . 12 . 15 . 000000011 . 14 . 0X500600400100100010010001001X ，0654321xxxxxxX改写为：例例3 问题一的解答 问题问题编写编写M文件如下文件如下:f = 13 9 10 11 12 8;A = 0.4 1.1 1 0 0 0 0 0 0 0.5 1.2 1.3;b = 800; 900;Aeq=1 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0 1;beq=400 600 500;vlb = zeros(6,1);vub=;x,fval = linpro

10、g(f,A,b,Aeq,beq,vlb,vub)结果结果:x = 0.0000 600.0000 0.0000 400.0000 0.0000 500.0000fval =1.3800e+004 即在甲机床上加工600个工件2,在乙机床上加工400个工件1、500个工件3，可在满足条件的情况下使总加工费最小为13800。结果为：结果为：x = 14.0000 24.0000fval = -218.0000 注：注：有些实际问题可能会有一个约束条件：决策变量只能取整数，如x1、x2取整数。这类问题实际上是整数线整数线性规划性规划问题。如果把它当成一个线性规划来解，求得其最优解刚好是整数时，故它就

11、是该整数规划的最优解。若用线性规划解法求得的最优解不是整数，将其取整后不一定是相应整数规划的最优解，这样的整数规划应用专门的方法求解（如割平面法、分支定界法）。实验作业实验作业 某厂生产甲乙两种口味的饮料某厂生产甲乙两种口味的饮料, ,每百箱甲饮料需用每百箱甲饮料需用原料原料6 6千克千克, ,工人工人1010名名, ,可获利可获利1010万元万元; ;每百箱乙饮料每百箱乙饮料需用原料需用原料5 5千克千克, ,工人工人2020名名, ,可获利可获利9 9万元万元. .今工厂共有今工厂共有原料原料6060千克千克, ,工人工人150150名名, ,又由于其他条件所限甲饮料又由于其他条件所限甲饮

12、料产量不超过产量不超过8 8百箱百箱. .问如何安排生产计划问如何安排生产计划, ,即两种饮料即两种饮料各生产多少使获利最大各生产多少使获利最大. .进一步讨论进一步讨论: : 1) 1)若投资若投资0.80.8万元可增加原料万元可增加原料1 1千克千克, ,问应否作这项问应否作这项投资投资. . 2) 2)若每百箱甲饮料获利可增加若每百箱甲饮料获利可增加1 1万元万元, ,问应否改变生问应否改变生产计划产计划. .返返 回回无约束最优化无约束最优化matlab目的目的内容内容2、掌握用数学软件包求解无约束最优化问题。、掌握用数学软件包求解无约束最优化问题。1、了解无约束最优化基本算法。、了解

13、无约束最优化基本算法。1 1、无约束优化基本思想及基本算法、无约束优化基本思想及基本算法。4 4、实验作业。、实验作业。3、用、用MATLAB求解无约束优化问题。求解无约束优化问题。2、MATLAB优化工具箱简介优化工具箱简介 无约束最优化问题无约束最优化问题求解无约束最优化问题的的基本思想求解无约束最优化问题的的基本思想*无约束最优化问题的基本算法无约束最优化问题的基本算法返回 XfnEXmin 其中 1:EEfn标准形式：标准形式：求解无约束最优化问题的基本思想求解无约束最优化问题的基本思想求解的基本思想求解的基本思想 ( 以二元函数为例 )1x2x)(21xxf01x2x05310X1X

14、2X)(0Xf)(1Xf)(2Xf连续可微 XfnEXmax = minXfnEX 多局部极小298.0f0f298.0f 唯一极小(全局极小)2122212121322)(xxxxxxxxf搜索过程搜索过程21221221)1 ()(100)(minxxxxxf最优点 (1 1)初始点 (-1 1)1x2xf-114.00-0.790.583.39-0.530.232.60-0.180.001.500.09-0.030.980.370.110.470.590.330.200.800.630.050.950.90 0.0030.990.991E-40.9990.9981E-50.9997 0.

15、9998 1E-8返回 给定初始点nEX 0，允许误差0,令 k=0； 计算kXf； 检验是否满足收敛性的判别准则： kXf， 若满足，则停止迭代，得点kXX*，否则进行； 令kkXfS，从kX出发，沿kS进行一维搜索， 即求k使得： kkkkkSXfSXf0min； 令kkkkSXX1，k=k+1 返回.无约束优化问题的基本算法无约束优化问题的基本算法 最速下降法是一种最基本的算法，它在最优化方法中占有重要地位.最速下降法的优点是工作量小，存储变量较少,初始点要求不高；缺点是收敛慢，最速下降法适用于寻优过程的前期迭代或作为间插步骤，当接近极值点时，宜选用别种收敛快的算法. 1 1最速下降法（

16、共轭梯度法）算法步骤：最速下降法（共轭梯度法）算法步骤：2 2牛顿法算法步骤：牛顿法算法步骤：(1) 选定初始点nEX 0，给定允许误差0，令 k=0；(2) 求kXf,12kXf,检验：若kXf,则 停止迭代,kXX*.否则, 转向(3)；(3) 令 kkkXfXfS12（牛顿方向） ； (4) kkkSXX1,1 kk,转回(2). 如果f是对称正定矩阵A的二次函数，则用牛顿法经过一次迭代一次迭代就可达到最优点,如不是二次函数，则牛顿法不能一步达到极值点，但由于这种函数在极值点附近和二次函数很近似,因此牛顿法的收敛速度还是很快的. 牛顿法的收敛速度虽然较快，但要求Hessian矩阵要可逆，

17、要计算二阶导数和逆矩阵，就加大了计算机计算量和存储量.3 3拟牛顿法拟牛顿法 为克服牛顿法的缺点，同时保持较快收敛速度的优点，利用第 k 步和第 k+1 步得到的kX，1kX，)(kXf，)(1kXf，构造一个正定矩阵1kG近似代替)(2kXf,或用1kH近似代替12)(kXf，将牛顿方向改为： 1kG1kS=-)(1kXf，1kS=-1kH)(1kXf从而得到下降方向. 通常采用迭代法计算1kG，1kH，迭代公式迭代公式为:BFGSBFGS（Boryden-Fletcher-Goldfarb-Shanno）公式 kkTkkTkkkkTkTkkkkxGxGxxGxfffGG)()()()(1

18、kTkTkkkTkkkTkkkxfxxxffHfHH)()()()(11 kTkTkkkkTkkxfxfHHfx)()()( D DF FP P（Davidon-Fletcher-Powell）公式： kTkTkkkTkkkTkkkXffffXXGXGG)()()()(11 kTkTkkkkTkkfXfXGGXf)()()( kkTkkTkkkkTkTkkkkfHfHffHXfXXHH)()()()(1 计算时可置IH 1（单位阵） ，对于给出的1X利 用上面的公式进行递推.这种方法称为拟牛顿法拟牛顿法. . 返回MatlabMatlab优化工具箱简介优化工具箱简介1.MATLAB1.MATL

19、AB求解优化问题的主要函数求解优化问题的主要函数类 型模 型基本函数名一元函数极小Min F（x）s.t.x1xx2x=fminbnd(F,x1,x2)无约束极小Min F(X)X=fminunc(F,X0)X=fminsearch(F,X0)线性规划Min XcTs.t.AX=bX=linprog(c,A,b)二次规划Min 21xTHx+cTxs.t. Ax=bX=quadprog(H,c,A,b)约束极小（非线性规划）Min F(X)s.t. G(X)=0X=fmincon(FG,X0)达到目标问题Min rs.t. F(x)-wr=goalX=fgoalattain(F,x,goal,

20、w)极小极大问题Min max Fi(x)X Fi(x)s.t. G(x)=0X=fminimax(FG,x0)用用MatlabMatlab解无约束优化问题解无约束优化问题 1. 一元函数无约束优化问题一元函数无约束优化问题: : min f（x） 21xxx 其中（3）、（4）、（5）的等式右边可选用（1）或（2）的等式右边。 函数fminbnd的算法基于黄金分割法和二次插值法，它要求目标函数必须是连续函数，并可能只给出局部最优解。常用格式如下：常用格式如下：（1）x= fminbnd (x= fminbnd (fun,xfun,x1 1,x,x2 2) )（2）x= fminbnd (x=

21、 fminbnd (fun,xfun,x1 1,x,x2 2 ，options)options)（3）xx，fval= fminbndfval= fminbnd（.）（4）xx，fvalfval，exitflag= fminbndexitflag= fminbnd（.）（5）xx，fvalfval，exitflagexitflag，output= fminbndoutput= fminbnd（.）运行结果： xmin = 3.9270 ymin = -0.0279 xmax = 0.7854 ymax = 0.6448 例例 1 1 求 f = 2xexsin在 0 x0,则x为解;否则,x不

22、是最终解,它只是迭代制止时优化过程的值所有优化函数fval解x处的目标函数值linprog,quadprog,fgoalattain,fmincon,fminimax,lsqcurvefit,lsqnonlin, fminbndexitflag描述退出条件: exitflag0,表目标函数收敛于解x处 exitflag=0,表已达到函数评价或迭代的最大次数 exitflag0，要受惩罚XD 0, 0XhXgiiXD00XhXgii或SUTMSUTM外点法外点法 ) 1 ( .,.,2 , 1 0 m;1,2,., 0. . min ljXhiXgtsXfji对一般的非线性规划： 罚函数法的缺点

23、缺点是：每个近似最优解Xk往往不是容许解，而只能近似满足约束，在实际问题中这种结果可能不能使用；在解一系列无约束问题中，计算量太大，特别是随着Mk的增大，可能导致错误1、任意给定初始点X0，取M11，给定允许误差 ，令k=1；2、求无约束极值问题 的最优解，设为Xk=X(Mk)，即 ；3、若存在 ，使 ，则取MkM( )令k=k+1返回（2），否则，停止迭代得最优解 .计算时也可将收敛性判别准则 改为 . 0MXTnEX,min),(,minkkEXMXTMXTnmii1kiXg10, 1MMk 0, 0min12miiXgMkXX*kiXg SUTM SUTM外点法外点法(罚函数法)的迭代步

24、骤迭代步骤) 1 (,.,2 , 10. .min i mXgtsXfi考虑问题： 所有严格内点的集合。是可行域中，设集合00, 2 , 1, 0|DmiXgXDi 为障碍因子为障碍项，或其中称或：构造障碍函数rXgrXgrXgrXfrXIXgrXfrXIrXImiimiimiimii11111 ln1)(),( ln, ）（得值问题：）就转化为求一系列极这样问题（kkkDXrXrXI ,min10SUTMSUTM内点法（内点法（障碍函数法） 内点法的迭代步骤内点法的迭代步骤(1) 给定允许误差0，取10 , 01r；(2) 求出约束集合 D 的一个内点00DX ，令1k；(3) 以01DXk

25、为 初 始 点， 求 解kDXrXI,min0， 其 中0DX 的最优解，设为 0DrXXkk；(4) 检验是否满足mikiXgr1ln或miikXgr11，满足，停止迭代，kXX *；否则取kkrr 1，令1 kk，返回(3） 用MATLAB软件求解,其输入格式输入格式如下: 1. x=quadprog(H,C,A,b); 2. x=quadprog(H,C,A,b,Aeq,beq); 3. x=quadprog(H,C,A,b,Aeq,beq,VLB,VUB); 4. x=quadprog(H,C,A,b, Aeq,beq ,VLB,VUB,X0); 5. x=quadprog(H,C,A

26、,b, Aeq,beq ,VLB,VUB,X0,options); 6. x,fval=quaprog(.); 7. x,fval,exitflag=quaprog(.); 8. x,fval,exitflag,output=quaprog(.);1、二次规划、二次规划例例1 1 min f(x1,x2)=-2x1-6x2+x12-2x1x2+2x22 s.t. x1+x22 -x1+2x22 x10, x20 1、写成标准形式写成标准形式： 2、 输入命令输入命令： H=1 -1; -1 2; c=-2 ;-6;A=1 1; -1 2;b=2;2; Aeq=;beq=; VLB=0;0;VU

27、B=; x,z=quadprog(H,c,A,b,Aeq,beq,VLB,VUB)3、运算结果运算结果为： x =0.6667 1.3333 z = -8.2222212121622 11- 1 ),(minxxxxxxzT212100222 11 1 xxxxs.t. 1. 首先建立M文件fun.m,定义目标函数F（X）:function f=fun(X);f=F(X);2、一般非线性规划、一般非线性规划标准型为： min F(X) s.t AX=b beqXAeq G(X)0 Ceq(X)=0 VLBXVUB 其中X为n维变元向量，G(X)与Ceq(X)均为非线性函数组成的向量，其它变量的

28、含义与线性规划、二次规划中相同.用Matlab求解上述问题，基本步骤分三步：2. 若约束条件中有非线性约束:G(X)0或Ceq(X)=0,则建立M文件nonlcon.m定义函数G(X)与Ceq(X): function G,Ceq=nonlcon(X) G=. Ceq=. 3. 建立主程序.非线性规划求解的函数是fmincon,命令的基本格式如下： (1) x=fmincon(fun,X0,A,b) (2) x=fmincon(fun,X0,A,b,Aeq,beq) (3) x=fmincon(fun,X0,A,b, Aeq,beq,VLB,VUB) (4) x=fmincon(fun,X0,

29、A,b,Aeq,beq,VLB,VUB,nonlcon)(5)x=fmincon(fun,X0,A,b,Aeq,beq,VLB,VUB,nonlcon,options) (6) x,fval= fmincon(.) (7) x,fval,exitflag= fmincon(.) (8)x,fval,exitflag,output= fmincon(.)输出极值点M文件迭代的初值参数说明变量上下限注意：注意：1 fmincon函数提供了大型优化算法和中型优化算法。默认时，若在fun函数中提供了梯度（options参数的GradObj设置为on），并且只有上下界存在或只有等式约束，fmincon函

30、数将选择大型算法。当既有等式约束又有梯度约束时，使用中型算法。2 fmincon函数的中型算法使用的是序列二次规划法。在每一步迭代中求解二次规划子问题，并用BFGS法更新拉格朗日Hessian矩阵。3 fmincon函数可能会给出局部最优解，这与初值X0的选取有关。1、写成标准形式写成标准形式： s.t. 00546322121xxxx2100 xx22212121212minxxxxf22212121212minxxxxf 2x1+3x2 6 s.t x1+4x2 5 x1,x2 0例例22、先建立先建立M-文件文件 fun3.m: function f=fun3(x); f=-x(1)-2

31、*x(2)+(1/2)*x(1)2+(1/2)*x(2)23、再建立主程序youh2.m： x0=1;1; A=2 3 ;1 4; b=6;5; Aeq=;beq=; VLB=0;0; VUB=; x,fval=fmincon(fun3,x0,A,b,Aeq,beq,VLB,VUB)4、运算结果为：运算结果为： x = 0.7647 1.0588 fval = -2.02941先建立先建立M文件文件 fun4.m,定义目标函数定义目标函数: function f=fun4(x); f=exp(x(1) *(4*x(1)2+2*x(2)2+4*x(1)*x(2)+2*x(2)+1);) 1242

32、4()(22122211xxxxxexfx x1+x2=0 s.t. 1.5+x1x2 - x1 - x2 0 -x1x2 10 0例例32再建立再建立M文件文件mycon.m定义非线性约束：定义非线性约束： function g,ceq=mycon(x) g=x(1)+x(2);1.5+x(1)*x(2)-x(1)-x(2);-x(1)*x(2)-10;3主程序为主程序为:x0=-1;1;A=;b=;Aeq=1 1;beq=0;vlb=;vub=;x,fval=fmincon(fun4,x0,A,b,Aeq,beq,vlb,vub,mycon)3. 运算结果为运算结果为： x = -1.22

33、50 1.2250 fval = 1.8951 例4 100 , 50 07 025 . .2min 21222122221121xxxxXgxxXgtsxxXf1先建立先建立M-文件文件fun.m定义目标函数定义目标函数: function f=fun(x); f=-2*x(1)-x(2);2再建立再建立M文件文件mycon2.m定义非线性约束：定义非线性约束： function g,ceq=mycon2(x) g=x(1)2+x(2)2-25;x(1)2-x(2)2-7;3. 主程序主程序fxx.m为为: x0=3;2.5; VLB=0 0;VUB=5 10; x,fval,exitflag,output =fmincon(fun,x0,VLB,VUB,mycon2)4. 运算结果为运算结果为: x = 4.0000 3.0000fval =-11.0000exitflag = 1output = iterations: 4 funcCount: 17 stepsize: 1 algorithm: 1x44 char firstorderopt: cgiterations: 练习练习