用MATLAB求解无约束优化问题-课件.ppt

1、 线性规划线性规划第第8 8章章 最优化方法最优化方法无约束规划无约束规划非线性规划非线性规划实验目的实验目的实验内容实验内容2、掌握用数学软件包求解线性规划问题。、掌握用数学软件包求解线性规划问题。1、了解线性规划的基本内容。、了解线性规划的基本内容。3、实验作业。实验作业。2、用数学软件包求解线性规划问题。、用数学软件包求解线性规划问题。1、两个引例。、两个引例。问题一问题一：任务分配问题：某车间有甲、乙两台机床，可用于加工三种工件。假定这两台车床的可用台时数分别为800和900，三种工件的数量分别为400、600和500，且已知用三种不同车床加工单位数量不同工件所需的台时数和加工费用如下

2、表。问怎样分配车床的加工任务，才能既满足加工工件的要求，又使加工费用最低？单位工件所需加工台时数 单位工件的加工费用 车床类 型 工件1 工件2 工件3 工件1 工件2 工件3 可用台时数 甲 0.4 1.1 1.0 13 9 10 800 乙 0.5 1.2 1.3 11 12 8 900 两个引例两个引例解解 设在甲车床上加工工件1、2、3的数量分别为x1、x2、x3，在乙车床上加工工件1、2、3的数量分别为x4、x5、x6。可建立以下线性规划模型：6543218121110913minxxxxxxz 6,2,1,09003.12.15.08001.14.0500600400 x .654

3、321635241ixxxxxxxxxxxxtsi 解答问题二：问题二：某厂生产甲、乙两种产品，已知制成一吨产品甲需用资源A 3吨资源B 4m3；制成一吨产品乙需用资源A 2吨，资源B 6m3，资源C 7个单位。若一吨产品甲和乙的经济价值分别为7万元和5万元，三种资源的限制量分别为90吨、200m3和210个单位。试应生产这两种产品各多少吨才能使创造的总经济价值最高？（p153，例8-2）解：解：这是个最优化问题，其目标为经济价值最高，约束条件为三种资源的数量有限，决策为生产甲、乙产品的数量。令生产产品甲的数量为x1，生产产品乙的数量为x2。由题意可以建立如下的线性规划模型。故目标函数为：故目

4、标函数为：2157maxxxz约束条件为：0,021072006490232122121xxxxxxx问题问题2线性规划模型：线性规划模型：解答返 回2157maxxxz0,02107200649023.2122121xxxxxxxts1.1.线性规划的标准形式：线性规划的标准形式：xmin z=)(xf.ts)(xgi0（),2,1mi其中目标函数)(xf和约束条件中)(xgi都是线性函数min min f=c xs.t.s.t.Ax=b （1 1）x 0 0这里 A=(ija)m,n,x=T 21nxxx b=T 21nbbb,c=nccc21用单纯法求解时，常将标准形式化为：2.线性规划

5、的基本算法线性规划的基本算法单纯形法单纯形法线性规划的基本算法线性规划的基本算法单纯形法单纯形法例例 min z=10 x1+9x2st6x1+5x2 60 10 x1+20 x2 150 x1 8 x1,x2 0引入松弛变量x3,x4,x5,将不等式化为等式,即单纯形标准形:min z=10 x1+9x2st6x1+5x2+x3=60 10 x1+20 x2-x4=150 x1+x5=8 xi 0 (i=1,2,3,4,5)系数矩阵为:6 5 1 0 0 A=10 20 0 -1 0 =(P1 P2 P3 P4 P5)1 0 0 0 1 b=(60,150,8)T用用MATLAB优化工具箱解

6、线性规划优化工具箱解线性规划min z=cX bAXts.1、模型：命令：x=linprog（c，A，b）2、模型：min z=cX bAXts.beqXAeq命令：x=linprog（c，A，b，Aeq,beq）注意：若没有不等式：存在，则令A=，b=.bAX 3、模型：min z=cX bAXts.beqXAeqVLBXVUB命令：1 x=linprog（c，A，b，Aeq,beq,VLB，VUB）2 x=linprog（c，A，b，Aeq,beq,VLB，VUB,X0）注意：1 若没有等式约束:,则令Aeq=,beq=.2其中X0表示初始点 beqXAeq4、命令：x,fval=linp

7、rog()返回最优解及处的目标函数值fval.解解 编写编写M文件如下：文件如下：c=-0.4-0.28-0.32-0.72-0.64-0.6;A=0.01 0.01 0.01 0.03 0.03 0.03;0.02 0 0 0.05 0 0;0 0.02 0 0 0.05 0;0 0 0.03 0 0 0.08;b=850;700;100;900;Aeq=;beq=;vlb=0;0;0;0;0;0;vub=;x,fval=linprog(c,A,b,Aeq,beq,vlb,vub)例例1 max 6543216.064.072.032.028.04.0 xxxxxxz 85003.003.0

8、03.001.001.001.0.654321xxxxxxt s 70005.002.041xx 10005.002.052xx 90008.003.063xx 6,2,10jxj解解:编写编写M文件如下：文件如下：c=-7-5;A=3 2;4 6;0 7;b=90;200;210;Aeq=;beq=;vlb=0,0;vub=inf,inf;x,fval=linprog(c,A,b,Aeq,beq,vlb,vub)21)57(minxxz2100 xx21020090706423 .21xxts2157maxxxz0,02107200649023.2122121xxxxxxxts问题问题2解答

9、解答S.t.Xz8121110913min 9008003.12.15.000000011.14.0X500600400100100010010001001X，0654321xxxxxxX改写为：例例3 问题一的解答 问题问题编写编写M文件如下文件如下:f=13 9 10 11 12 8;A=0.4 1.1 1 0 0 0 0 0 0 0.5 1.2 1.3;b=800;900;Aeq=1 0 0 1 0 0 0 1 0 0 1 0 0 0 1 0 0 1;beq=400 600 500;vlb=zeros(6,1);vub=;x,fval=linprog(f,A,b,Aeq,beq,vlb,

10、vub)结果结果:x=0.0000 600.0000 0.0000 400.0000 0.0000 500.0000fval=1.3800e+004 即在甲机床上加工600个工件2,在乙机床上加工400个工件1、500个工件3，可在满足条件的情况下使总加工费最小为13800。结果为：结果为：x=14.0000 24.0000fval=-218.0000 注：注：有些实际问题可能会有一个约束条件：决策变量只能取整数，如x1、x2取整数。这类问题实际上是整数线整数线性规划性规划问题。如果把它当成一个线性规划来解，求得其最优解刚好是整数时，故它就是该整数规划的最优解。若用线性规划解法求得的最优解不是

11、整数，将其取整后不一定是相应整数规划的最优解，这样的整数规划应用专门的方法求解（如割平面法、分支定界法）。实验作业实验作业 某厂生产甲乙两种口味的饮料某厂生产甲乙两种口味的饮料,每百箱甲饮料需用每百箱甲饮料需用原料原料6 6千克千克,工人工人1010名名,可获利可获利1010万元万元;每百箱乙饮料每百箱乙饮料需用原料需用原料5 5千克千克,工人工人2020名名,可获利可获利9 9万元万元.今工厂共有今工厂共有原料原料6060千克千克,工人工人150150名名,又由于其他条件所限甲饮料又由于其他条件所限甲饮料产量不超过产量不超过8 8百箱百箱.问如何安排生产计划问如何安排生产计划,即两种饮料即两

12、种饮料各生产多少使获利最大各生产多少使获利最大.进一步讨论进一步讨论:1)1)若投资若投资0.80.8万元可增加原料万元可增加原料1 1千克千克,问应否作这项问应否作这项投资投资.2)2)若每百箱甲饮料获利可增加若每百箱甲饮料获利可增加1 1万元万元,问应否改变生问应否改变生产计划产计划.返返 回回无约束最优化无约束最优化数学实验数学实验电子科技大学应用数学学院电子科技大学应用数学学院实验目的实验目的实验内容实验内容2、掌握用数学软件包求解无约束最优化问题。、掌握用数学软件包求解无约束最优化问题。1、了解无约束最优化基本算法。、了解无约束最优化基本算法。1 1、无约束优化基本思想及基本算法、无

13、约束优化基本思想及基本算法。4 4、实验作业。、实验作业。3、用、用MATLAB求解无约束优化问题。求解无约束优化问题。2、MATLAB优化工具箱简介优化工具箱简介 无约束最优化问题无约束最优化问题求解无约束最优化问题的的基本思想求解无约束最优化问题的的基本思想*无约束最优化问题的基本算法无约束最优化问题的基本算法返回 XfnEXmin 其中 1:EEfn标准形式：标准形式：求解无约束最优化问题的基本思想求解无约束最优化问题的基本思想求解的基本思想求解的基本思想 (以二元函数为例)1x2x)(21xxf01x2x05310X1X2X)(0Xf)(1Xf)(2Xf连续可微 XfnEXmax=mi

14、nXfnEX 多局部极小298.0f0f298.0f 唯一极小(全局极小)2122212121322)(xxxxxxxxf搜索过程搜索过程21221221)1()(100)(minxxxxxf最优点 (1 1)初始点 (-1 1)1x2xf-114.00-0.790.583.39-0.530.232.60-0.180.001.500.09-0.030.980.370.110.470.590.330.200.800.630.050.950.90 0.0030.990.991E-40.9990.9981E-50.9997 0.9998 1E-8返回 给定初始点nEX 0，允许误差0,令 k=0；计

15、算kXf；检验是否满足收敛性的判别准则：kXf，若满足，则停止迭代，得点kXX*，否则进行；令kkXfS，从kX出发，沿kS进行一维搜索，即求k使得：kkkkkSXfSXf0min；令kkkkSXX1，k=k+1 返回.无约束优化问题的基本算法无约束优化问题的基本算法 最速下降法是一种最基本的算法，它在最优化方法中占有重要地位.最速下降法的优点是工作量小，存储变量较少,初始点要求不高；缺点是收敛慢，最速下降法适用于寻优过程的前期迭代或作为间插步骤，当接近极值点时，宜选用别种收敛快的算法.1 1最速下降法（共轭梯度法）算法步骤：最速下降法（共轭梯度法）算法步骤：2 2牛顿法算法步骤：牛顿法算法步

16、骤：(1)选定初始点nEX 0，给定允许误差0，令 k=0；(2)求kXf,12kXf,检验：若kXf,则 停止迭代,kXX*.否则,转向(3)；(3)令 kkkXfXfS12（牛顿方向）；(4)kkkSXX1,1 kk,转回(2).如果f是对称正定矩阵A的二次函数，则用牛顿法经过一次迭代一次迭代就可达到最优点,如不是二次函数，则牛顿法不能一步达到极值点，但由于这种函数在极值点附近和二次函数很近似,因此牛顿法的收敛速度还是很快的.牛顿法的收敛速度虽然较快，但要求Hessian矩阵要可逆，要计算二阶导数和逆矩阵，就加大了计算机计算量和存储量.3 3拟牛顿法拟牛顿法 为克服牛顿法的缺点，同时保持较

17、快收敛速度的优点，利用第 k 步和第 k+1 步得到的kX，1kX，)(kXf，)(1kXf，构造一个正定矩阵1kG近似代替)(2kXf,或用1kH近似代替12)(kXf，将牛顿方向改为：1kG1kS=-)(1kXf，1kS=-1kH)(1kXf从而得到下降方向.通常采用迭代法计算1kG，1kH，迭代公式迭代公式为:BFGSBFGS（Boryden-Fletcher-Goldfarb-Shanno）公式 kkTkkTkkkkTkTkkkkxGxGxxGxfffGG)()()()(1 kTkTkkkTkkkTkkkxfxxxffHfHH)()()()(11 kTkTkkkkTkkxfxfHHfx

18、)()()(D DF FP P（Davidon-Fletcher-Powell）公式：kTkTkkkTkkkTkkkXffffXXGXGG)()()()(11 kTkTkkkkTkkfXfXGGXf)()()(kkTkkTkkkkTkTkkkkfHfHffHXfXXHH)()()()(1 计算时可置IH 1（单位阵），对于给出的1X利 用上面的公式进行递推.这种方法称为拟牛顿法拟牛顿法.返回MatlabMatlab优化工具箱简介优化工具箱简介1.MATLAB1.MATLAB求解优化问题的主要函数求解优化问题的主要函数类 型模 型基本函数名一元函数极小Min F（x）s.t.x1xx2x=fmi

19、nbnd(F,x1,x2)无约束极小Min F(X)X=fminunc(F,X0)X=fminsearch(F,X0)线性规划Min XcTs.t.AX=bX=linprog(c,A,b)二次规划Min 21xTHx+cTxs.t.Ax=bX=quadprog(H,c,A,b)约束极小（非线性规划）Min F(X)s.t.G(X)=0X=fmincon(FG,X0)达到目标问题Min rs.t.F(x)-wr=goalX=fgoalattain(F,x,goal,w)极小极大问题Min max Fi(x)X Fi(x)s.t.G(x)0,则x为解;否则,x不是最终解,它只是迭代制止时优化过程的

20、值所有优化函数fval解x处的目标函数值linprog,quadprog,fgoalattain,fmincon,fminimax,lsqcurvefit,lsqnonlin,fminbndexitflag描述退出条件:exitflag0,表目标函数收敛于解x处 exitflag=0,表已达到函数评价或迭代的最大次数 exitflag0,表目标函数不收敛output包含优化结果信息的输出结构.Iterations:迭代次数 Algorithm:所采用的算法 FuncCount:函数评价次数所有优化函数4 4控制参数控制参数optionsoptions的设置的设置 (3)MaxIterMaxIt

21、er:允许进行迭代的最大次数,取值为正整数.OptionsOptions中常用的几个参数的名称、含义、取值如下中常用的几个参数的名称、含义、取值如下:(1)DisplayDisplay:显示水平.取值为off时,不显示输出;取值为iter时,显示每次迭代的信息;取值为final时,显示最终结果.默认值为final.(2)MaxFunEvalsMaxFunEvals:允许进行函数评价的最大次数,取值为正整数.例：opts=optimset(Display,iter,TolFun,1e-8)该语句创建一个称为opts的优化选项结构,其中显示参数设为iter,TolFun参数设为1e-8.控制参数控

22、制参数optionsoptions可以通过函数可以通过函数optimsetoptimset创建或修改。命创建或修改。命令的格式如下：令的格式如下：(1)options=optimset(optimfunoptions=optimset(optimfun)创建一个含有所有参数名,并与优化函数optimfun相关的默认值的选项结构options.（2）options=optimset(param1,value1,param2,value2,.)options=optimset(param1,value1,param2,value2,.)创建一个名称为options的优化选项参数,其中指定的参数具有

23、指定值,所有未指定的参数取默认值.(3)options=optimset(oldops,param1,value1,param2,options=optimset(oldops,param1,value1,param2,value2,.)value2,.)创建名称为oldops的参数的拷贝,用指定的参数值修改oldops中相应的参数.返回用用MatlabMatlab解无约束优化问题解无约束优化问题 1.一元函数无约束优化问题一元函数无约束优化问题:min f（x）21xxx 其中（3）、（4）、（5）的等式右边可选用（1）或（2）的等式右边。函数fminbnd的算法基于黄金分割法和二次插值法，

24、它要求目标函数必须是连续函数，并可能只给出局部最优解。常用格式如下：常用格式如下：（1）x=fminbndx=fminbnd(fun,xfun,x1 1,x,x2 2)（2）x=fminbndx=fminbnd(fun,xfun,x1 1,x,x2 2 ，options)options)（3）xx，fval=fminbndfval=fminbnd（.）（4）xx，fvalfval，exitflag=fminbndexitflag=fminbnd（.）（5）xx，fvalfval，exitflagexitflag，output=fminbndoutput=fminbnd（.）运行结果：xmin=

25、3.9270 ymin=-0.0279 xmax=0.7854 ymax=0.6448 例例 1 1 求 f=2xexsin在 0 x0，要受惩罚DX 0,0XhXgiiDX 00XhXgii或SUTMSUTM外点法外点法 )1(.,.,2,1 0 m;1,2,.,0.min ljXhiXgtsXfji对一般的非线性规划：罚函数法的缺点缺点是：每个近似最优解Xk往往不是容许解，而只能近似满足约束，在实际问题中这种结果可能不能使用；在解一系列无约束问题中，计算量太大，特别是随着Mk的增大，可能导致错误1、任意给定初始点X0，取M11，给定允许误差 ，令k=1；2、求无约束极值问题 的最优解，设为

26、Xk=X(Mk)，即 ；3、若存在 ，使 ，则取MkM()令k=k+1返回（2），否则，停止迭代得最优解 .计算时也可将收敛性判别准则 改为 .0MXTnEX,min),(,minkkEXMXTMXTnmii1kiXg10,1MMk 0,0min12miiXgMkXX*kiXg SUTM SUTM外点法外点法(罚函数法)的迭代步骤迭代步骤)1(,.,2,10.min i mXgtsXfi考虑问题：所有严格内点的集合。是可行域中，设集合00,2,1,0|DmiXgXDi 为障碍因子为障碍项，或其中称或：构造障碍函数rXgrXgrXgrXfrXIXgrXfrXIrXImiimiimiimii111

27、11 ln1)(),(ln,）（得值问题：）就转化为求一系列极这样问题（kkkDXrXrXI ,min10SUTMSUTM内点法（内点法（障碍函数法）内点法的迭代步骤内点法的迭代步骤(1)给定允许误差0，取10,01r；(2)求出约束集合 D 的一个内点00DX，令1k；(3)以01DXk为 初 始 点，求 解kDXrXI,min0，其 中0DX 的最优解，设为 0DrXXkk；(4)检验是否满足mikiXgr1ln或miikXgr11，满足，停止迭代，kXX*；否则取kkrr 1，令1 kk，返回(3）用MATLAB软件求解,其输入格式输入格式如下:1.x=quadprog(H,C,A,b)

28、;2.x=quadprog(H,C,A,b,Aeq,beq);3.x=quadprog(H,C,A,b,Aeq,beq,VLB,VUB);4.x=quadprog(H,C,A,b,Aeq,beq,VLB,VUB,X0);5.x=quadprog(H,C,A,b,Aeq,beq,VLB,VUB,X0,options);6.x,fval=quaprog(.);7.x,fval,exitflag=quaprog(.);8.x,fval,exitflag,output=quaprog(.);1、二次规划、二次规划标准型为：Min Z=21XTHX+cTX s.t.AX=b beqXAeq VLBXVU

29、B 例例1 1 min f(x1,x2)=-2x1-6x2+x12-2x1x2+2x22 s.t.x1+x22 -x1+2x22 x10,x20 1、写成标准形式写成标准形式：2、输入命令输入命令：H=1-1;-1 2;c=-2;-6;A=1 1;-1 2;b=2;2;Aeq=;beq=;VLB=0;0;VUB=;x,z=quadprog(H,c,A,b,Aeq,beq,VLB,VUB)3、运算结果运算结果为：x=0.6667 1.3333 z=-8.2222212121622 11-1 ),(minxxxxxxzT212100222 11 1 xxxxs.t.1.首先建立M文件fun.m,定

30、义目标函数F（X）:function f=fun(X);f=F(X);2、一般非线性规划、一般非线性规划标准型为：min F(X)s.t AX=b beqXAeq G(X)0 Ceq(X)=0 VLBXVUB 其中X为n维变元向量，G(X)与Ceq(X)均为非线性函数组成的向量，其它变量的含义与线性规划、二次规划中相同.用Matlab求解上述问题，基本步骤分三步：2.若约束条件中有非线性约束:G(X)0或Ceq(X)=0,则建立M文件nonlcon.m定义函数G(X)与Ceq(X):function G,Ceq=nonlcon(X)G=.Ceq=.3.建立主程序.非线性规划求解的函数是fmin

31、con,命令的基本格式如下：(1)x=fmincon(fun,X0,A,b)(2)x=fmincon(fun,X0,A,b,Aeq,beq)(3)x=fmincon(fun,X0,A,b,Aeq,beq,VLB,VUB)(4)x=fmincon(fun,X0,A,b,Aeq,beq,VLB,VUB,nonlcon)(5)x=fmincon(fun,X0,A,b,Aeq,beq,VLB,VUB,nonlcon,options)(6)x,fval=fmincon(.)(7)x,fval,exitflag=fmincon(.)(8)x,fval,exitflag,output=fmincon(.)输

32、出极值点M文件迭代的初值参数说明变量上下限注意：注意：1 fmincon函数提供了大型优化算法和中型优化算法。默认时，若在fun函数中提供了梯度（options参数的GradObj设置为on），并且只有上下界存在或只有等式约束，fmincon函数将选择大型算法。当既有等式约束又有梯度约束时，使用中型算法。2 fmincon函数的中型算法使用的是序列二次规划法。在每一步迭代中求解二次规划子问题，并用BFGS法更新拉格朗日Hessian矩阵。3 fmincon函数可能会给出局部最优解，这与初值X0的选取有关。1、写成标准形式写成标准形式：s.t.00546322121xxxx2100 xx2221

33、2121212minxxxxf22212121212minxxxxf 2x1+3x2 6 s.t x1+4x2 5 x1,x2 0例例22、先建立先建立M-文件文件 fun3.m:function f=fun3(x);f=-x(1)-2*x(2)+(1/2)*x(1)2+(1/2)*x(2)23、再建立主程序youh2.m：x0=1;1;A=2 3;1 4;b=6;5;Aeq=;beq=;VLB=0;0;VUB=;x,fval=fmincon(fun3,x0,A,b,Aeq,beq,VLB,VUB)4、运算结果为：运算结果为：x=0.7647 1.0588 fval=-2.02941先建立先建

34、立M文件文件 fun4.m,定义目标函数定义目标函数:function f=fun4(x);f=exp(x(1)*(4*x(1)2+2*x(2)2+4*x(1)*x(2)+2*x(2)+1);)12424()(22122211xxxxxexfx x1+x2=0 s.t.1.5+x1x2-x1-x2 0 -x1x2 10 0例例32再建立再建立M文件文件mycon.m定义非线性约束：定义非线性约束：function g,ceq=mycon(x)g=x(1)+x(2);1.5+x(1)*x(2)-x(1)-x(2);-x(1)*x(2)-10;3主程序为主程序为:x0=-1;1;A=;b=;Aeq

35、=1 1;beq=0;vlb=;vub=;x,fval=fmincon(fun4,x0,A,b,Aeq,beq,vlb,vub,mycon)3.运算结果为运算结果为：x=-1.2250 1.2250 fval=1.8951 例4 100 ,50 07 025 .2min 21222122221121xxxxXgxxXgtsxxXf1先建立先建立M-文件文件fun.m定义目标函数定义目标函数:function f=fun(x);f=-2*x(1)-x(2);2再建立再建立M文件文件mycon2.m定义非线性约束：定义非线性约束：function g,ceq=mycon2(x)g=x(1)2+x(2)2-25;x(1)2-x(2)2-7;3.主程序主程序fxx.m为为:x0=3;2.5;VLB=0 0;VUB=5 10;x,fval,exitflag,output =fmincon(fun,x0,VLB,VUB,mycon2)4.运算结果为运算结果为:x=4.0000 3.0000fval=-11.0000exitflag=1output=iterations:4 funcCount:17 stepsize:1 algorithm:1x44 char firstorderopt:cgiterations:练习练习