工程优化设计中的数学方法硕士研究生课程课件.ppt

1、任课教师：周水生任课教师：周水生 时间：时间：周周4晚晚E-mail:考核方式：考核方式：平时成绩平时成绩(20%含作业和考勤含作业和考勤)+期末闭卷考试期末闭卷考试(80%)!作业：按章交作业作业：按章交作业每章结束的下一次课交作业每章结束的下一次课交作业.注：注：1)以活页以活页A4纸提交，写清楚姓名、学好、院系专业纸提交，写清楚姓名、学好、院系专业;2)作业原件留作记录成绩依据作业原件留作记录成绩依据(不发还不发还)，自行复印，自行复印/扫描留底扫描留底;3)合适时间课堂讲解作业或公布答案合适时间课堂讲解作业或公布答案(建议大家课间答疑建议大家课间答疑);教材：教材：最优化计算方法最优化

2、计算方法陈开周陈开周(1984)参考书：参考书：最优化理论与算法最优化理论与算法 陈宝林陈宝林(2005)数学规划基础数学规划基础刘红英等刘红英等(2012)外文经典外文经典:Convex OptimizationStephen Boyd and Lieven Vandenberghe Numerical Optimization Jorge Nocedal and Stephen J.Wrightl背景知识背景知识l最优化问题举例最优化问题举例l优化问题的数学模型及其分类优化问题的数学模型及其分类l最优解与极值点最优解与极值点第一章第一章 基础知识基础知识1 背景知识背景知识 最优化技术是一

3、门较新的学科分支。它是在上世纪五十年最优化技术是一门较新的学科分支。它是在上世纪五十年代初在电子计算机广泛应用的推动下才得到迅速发展，并成为代初在电子计算机广泛应用的推动下才得到迅速发展，并成为一门直到目前仍然十分活跃的新兴学科。最优化所研究的问题一门直到目前仍然十分活跃的新兴学科。最优化所研究的问题是在一定的限制条件下，在众多的可行方案中怎样选择最合理是在一定的限制条件下，在众多的可行方案中怎样选择最合理的一种方案以达到最优目标。的一种方案以达到最优目标。将达到最优目标的方案称为将达到最优目标的方案称为最优方案最优方案或或最优决策最优决策，搜寻最，搜寻最优方案的方法称为优方案的方法称为最优化

4、方法最优化方法，关于最优化方法的数学理论称，关于最优化方法的数学理论称为为最优化理论最优化理论。最优化问题至少有两要素：一是可能的方案；二是要追求最优化问题至少有两要素：一是可能的方案；二是要追求的目标。后者是前者的函数。如果第一要素与时间无关就称为的目标。后者是前者的函数。如果第一要素与时间无关就称为静态最优化问题静态最优化问题，否则称为，否则称为动态最优化问题动态最优化问题。本科程专门讲授静态最优化问题。本科程专门讲授静态最优化问题。最优化技术应用范围十分广泛，在我们日常生活中，在工农最优化技术应用范围十分广泛，在我们日常生活中，在工农业生产、社会经济、国防、航空航天工业中处处可见其用途。

5、业生产、社会经济、国防、航空航天工业中处处可见其用途。比如：结构最优设计、电子器件最优设计、光学仪器最优设计、比如：结构最优设计、电子器件最优设计、光学仪器最优设计、化工工程最优设计、运输方案、机器最优配备、油田开发、水库化工工程最优设计、运输方案、机器最优配备、油田开发、水库调度、饲料最优配方、食品结构优化等等。调度、饲料最优配方、食品结构优化等等。最优化技术工作被分成两个方面，一是最优化技术工作被分成两个方面，一是由实际产生或科技问由实际产生或科技问题形成最优化的数学模型，题形成最优化的数学模型，二是二是对所形成的数学问题进行数学加对所形成的数学问题进行数学加工和求解。工和求解。对于第二方

6、面的工作，目前已有一些较系统成熟的资对于第二方面的工作，目前已有一些较系统成熟的资料，但对于第一方面工作即如何由实际问题抽象出数学模型，目料，但对于第一方面工作即如何由实际问题抽象出数学模型，目前很少有系统的资料，而这一工作在应用最优化技术解决实际问前很少有系统的资料，而这一工作在应用最优化技术解决实际问题时是十分关键的基础，没有这一工作，最优化技术将成为无水题时是十分关键的基础，没有这一工作，最优化技术将成为无水之源，难以健康发展。之源，难以健康发展。因此，在学习本科程时要尽可能了解如何由实际问因此，在学习本科程时要尽可能了解如何由实际问题形成最优化的数学模型。题形成最优化的数学模型。为了便

7、于大家今后在处理实为了便于大家今后在处理实际问题时建立最优化数学模型，下面我们先把有关数学际问题时建立最优化数学模型，下面我们先把有关数学模型的一些事项作一些说明。模型的一些事项作一些说明。数学模型数学模型:对现实事物或问题的数学抽象或描述对现实事物或问题的数学抽象或描述。建立数学模型时要尽可能简单，而且要能完整地描述所建立数学模型时要尽可能简单，而且要能完整地描述所研究的系统，但要注意到过于简单的数学模型所得到的结果研究的系统，但要注意到过于简单的数学模型所得到的结果可能不符合实际情况，而过于详细复杂的模型又给分析计算可能不符合实际情况，而过于详细复杂的模型又给分析计算带来困难。因此，具体建

8、立怎样的数学模型需要带来困难。因此，具体建立怎样的数学模型需要丰富的经验丰富的经验和熟练的技巧和熟练的技巧。即使在建立了问题的数学模型之后，通常也。即使在建立了问题的数学模型之后，通常也必须对模型进行必要的数学简化以便于分析、计算。必须对模型进行必要的数学简化以便于分析、计算。一般的模型简化工作包括以下几类：一般的模型简化工作包括以下几类：（1）将离散变量转化为连续变量。）将离散变量转化为连续变量。（2）将非线性函数线性化。）将非线性函数线性化。（3）删除一些非主要约束条件。）删除一些非主要约束条件。建立最优化问题数学模型的三要素：建立最优化问题数学模型的三要素：（1）决策变量和参数。决策变量

9、和参数。决策变量是由数学模型的解确定的未知数。参数表示决策变量是由数学模型的解确定的未知数。参数表示系统的控制变量，有确定性的也有随机性的。系统的控制变量，有确定性的也有随机性的。（2）约束或限制条件。约束或限制条件。由于现实系统的客观物质条件限制，模型必须包括把由于现实系统的客观物质条件限制，模型必须包括把决策变量限制在它们可行值之内，即约束条件，而这通常决策变量限制在它们可行值之内，即约束条件，而这通常是用约束的数学函数形式来表示的。是用约束的数学函数形式来表示的。（3）目标函数。目标函数。这是作为系统决策变量的一个数学函数来衡量系统的这是作为系统决策变量的一个数学函数来衡量系统的效率，即

10、系统追求的目标。效率，即系统追求的目标。2 最优化问题举例最优化问题举例 最优化在物质运输、自动控制、机械设计、采矿冶金、经最优化在物质运输、自动控制、机械设计、采矿冶金、经济管理等科学技术各领域中有广泛应用。下面举几个专业性不济管理等科学技术各领域中有广泛应用。下面举几个专业性不强的实例。强的实例。例例1.把半径为把半径为1的实心金属球熔化后，铸成一个实心圆柱体，的实心金属球熔化后，铸成一个实心圆柱体，问圆柱体取什么尺寸才能使它的表面积最小？问圆柱体取什么尺寸才能使它的表面积最小？解：决定圆柱体表面积大小有两个决策变量：圆柱体底面半解：决定圆柱体表面积大小有两个决策变量：圆柱体底面半径径r、

11、高、高h。问题的约束条件是所铸圆柱体重量与球重相等。即问题的约束条件是所铸圆柱体重量与球重相等。即 2343rhR 1.0.R为金属比重即即 ,即即问题追求的目标是圆柱体表面积最小。即问题追求的目标是圆柱体表面积最小。即 min 则得原问题的数学模型：则得原问题的数学模型：s.t.Subject to.(以以为条件为条件)利用在高等数学中所学的利用在高等数学中所学的Lagrange乘子法可求解本问题乘子法可求解本问题 分别对分别对r,h,求偏导数求偏导数,并令其等于零并令其等于零.有有:342hr0342hr222rrh22min 224.03rhrstr h224,223L r hrhrr

12、h 此时圆柱体的表面积为此时圆柱体的表面积为222420202403LhrrhrLrrhrhLr h.323 r3322h32326例例2.多参数曲线拟合问题多参数曲线拟合问题 已知两个物理量已知两个物理量x和和y之间的依赖关系为之间的依赖关系为:其中其中 和和 待定参数待定参数,为确定这些参数为确定这些参数,54321exp1ln1aaxaaay4321aaaa5axy对对x，y测得测得m个实验点个实验点:试将确定参数的问题表示成最优化问题试将确定参数的问题表示成最优化问题.1,12,2,.mmx yx yxy解解:很显然对参数很显然对参数 和和 任意给定的一组数值任意给定的一组数值,就就由

13、上式确定了由上式确定了 y关于关于x的一个函数关系式的一个函数关系式,在几何上它对应一条在几何上它对应一条曲线曲线,这条曲线不一定通过那这条曲线不一定通过那m个测量点，而要产生个测量点，而要产生“偏差偏差”.将测量点沿垂线方向到曲线的距离的将测量点沿垂线方向到曲线的距离的平方和作为这种平方和作为这种“偏差偏差”的度量的度量.即即显然偏差显然偏差S越小越小,曲线就拟合得越好曲线就拟合得越好,说明参数值就选择得越好，说明参数值就选择得越好，从而我们的问题就转化为从而我们的问题就转化为5维无约束最优化问题。即：维无约束最优化问题。即：4321aaaa5a221234511435(,)1ln 1exp

14、miiiaf a a a a ayaxaaa12345f a a a a amin(,)最小二乘问题最小二乘问题 例例3：旅游售货员：旅游售货员TSP问题问题l旅游线路安排旅游线路安排 预定景点走且只走一次预定景点走且只走一次 路上时间最短路上时间最短l配送线路配送线路货郎担问题货郎担问题 送货地到达一次送货地到达一次 总路程最短总路程最短l有一旅行团从有一旅行团从 出发要遍游城市出发要遍游城市 ，已知从已知从 到到 的旅费为的旅费为 ，问应如何安排行程使总，问应如何安排行程使总费用最小费用最小？0v12,.,nv vvjvivijcl变量变量是否从第是否从第i个城市到第个城市到第j个城市个城

15、市l约束约束每个城市只能到达一次、离开一次每个城市只能到达一次、离开一次1,0;ijx 001;1,2,.1;1,2,.nnijijjixinxjn l目标目标总费用最小总费用最小00nnijijijc x0000min1;1,2,.,.1;1,2,.,10,1,2,.,1,2,.,nnijijijnijjnijiijc xxinstxjnxin jn或配料每磅配料中的营养含量钙蛋白质纤维每磅成本（元）石灰石谷物大豆粉0.380 0.00 0.000.001 0.09 0.020.002 0.50 0.08 0.0164 0.0463 0.1250例例4.（混合饲料配合）以最低成本确定满足动物

16、所需营养的（混合饲料配合）以最低成本确定满足动物所需营养的最优混合饲料。设每天需要混合饲料的批量为最优混合饲料。设每天需要混合饲料的批量为100磅，这份饲磅，这份饲料必须含：至少达到料必须含：至少达到0.8%而不超过而不超过1.2%的钙的钙;至少至少22%的蛋的蛋白质白质;至多至多5%的粗纤维。假定主要配料包括石灰石、谷物、的粗纤维。假定主要配料包括石灰石、谷物、大豆粉。这些配料的主要营养成分为：大豆粉。这些配料的主要营养成分为：1231231231232323123min0.01640.04630.1250.1000.3800.0010.0020.012 1000.3800.0010.002

17、0.008 1000.090.500.22 1000.020.080.05 1000,0,0Zxxxstxxxxxxxxxxxxxxxx 解解:根据前面介绍的建模要素得出此问题的数学模型如下根据前面介绍的建模要素得出此问题的数学模型如下:设设 是生产是生产100磅混合饲料所须的石灰石、谷物、大豆磅混合饲料所须的石灰石、谷物、大豆粉的量（磅）。粉的量（磅）。123,x x x注意单位统一注意单位统一ijab2321341s2=27s3=19d1=22d2=13d3=12d4=13s1=14供应量供应量供应地供应地运价运价需求量需求量需求地需求地67538427591060 xxxxxxxxxxx

18、x13xxx12xxx13xxx22xxx19xxxx27xxxx14xxxxs.t.x6x10 x9x5x7x2x4x8x3x5x7x6zmin343332312423222114131211342414332313322212312111343332312423222114131211343332312423222114131211供应地约束供应地约束需求地约束需求地约束mibxnjaxtsxczinjijimiijminjijijxij,2,1 ,2,1 ,.=min11110 需求地供应地1234供应量1675314x11x12x13x142842727x21x22x23x243591

19、0619x31x32x33x34需求量2213121360601111min,1,2,.,1,2,0mnijijijmijjinijijijzc xxbjnstxa imx若用xij表示从Ai到Bj的运量，那么在产销平衡的条件下，要求得总运费最小的调运方案，数学模型:不平衡怎么描述？def供量A70408040B60309030C502010020需量303030平衡 工厂工厂A,B,C要运送某种货物到仓库要运送某种货物到仓库d,e,f去去,运输表如下运输表如下.但但现在所有这些工厂或仓库又都可以作为转运点现在所有这些工厂或仓库又都可以作为转运点,如如:A可运往可运往B再再运往各仓库运往各仓库

20、,工厂与仓库间地运费如下表工厂与仓库间地运费如下表.试建立模型求解费用最试建立模型求解费用最小的调运方案小的调运方案.转运1ABCA02030B20025C30250转运2defd02020e20015f20150提示：提示：假设假设：1)沿相反方向的同线路沿相反方向的同线路运费相同运费相同;2)设定合理的转运设定合理的转运量量(如总产量如总产量)；建模建模：将工厂及仓库既作为供：将工厂及仓库既作为供应点也作为需求点建立运输表应点也作为需求点建立运输表;要求要求：写出规划模型：写出规划模型;推广到推广到一般情形一般情形;推广到混合型问题推广到混合型问题(含纯发含纯发/纯收纯收/可收可发类问题可

21、收可发类问题.练习推广例6.（多波信号发生仪中正弦波形逼近的优化设计）要在 上找出n个分点 （n固定），使这 些分点对应的正弦曲线的折线，逼近正弦曲线的误差达到最小。0,212,nx xx容易计算出正弦曲线与折线间的面积（以此作为衡量误差的大小）为111111(sinsin)()2niiiiiSxxxx 因此可得该问题的数学模型为111101211min 1(sinsin)(),2.0.2niiiiinnxxxxstxxxxx详细问题及求解过程参阅课本P305-314！3.优化问题的数学模型及其分类优化问题的数学模型及其分类n维欧氏空间维欧氏空间 ，向量向量向量变量实值函数：向量变量实值函数：

22、3.1 根据优化问题的不同特点分类根据优化问题的不同特点分类无约束最优化问题：无约束最优化问题：约束最优化问题约束最优化问题nR12,nnxRxx xx.:1RRfn minnx Rfx min.0.1,2,0.1,2,.xijf xstgximhxjlln其中其中 均为向均为向量量x 的实值连续函数，有的实值连续函数，有二阶连续偏导数二阶连续偏导数,ijfgh采用向量表示法即为：采用向量表示法即为：其中其中 这就是最优化问题的一般形式，又称非线性规划。这就是最优化问题的一般形式，又称非线性规划。注意注意:等式约束通常可用不等式约束表示出来，有时等式约束通常可用不等式约束表示出来，有时 min

23、.0.0.xf xstG xH x约束集目标函数不等式约束等式约束 1212,(),mlG xgxgxgxH xhxhxhx.nR 定义：定义：称满足所有约束条件的向量称满足所有约束条件的向量x为容许解或可行解，容许点的为容许解或可行解，容许点的集合称为容许集或可行集。集合称为容许集或可行集。在容许集中找一点在容许集中找一点 ，使目标函数，使目标函数 在该点取最小值，即满在该点取最小值，即满足：足：的过程即为最优的过程即为最优化的求解过程。化的求解过程。称为问题的最优点，称为问题的最优点，称为最优值，称为最优值，称为最优解。称为最优解。最优化问题模型统一化：最优化问题模型统一化：在上述最优化问

24、题的一般式中只是取极小值，如果遇到极大化在上述最优化问题的一般式中只是取极小值，如果遇到极大化问题，只须将目标函数反号就可以化为求极小的问题。问题，只须将目标函数反号就可以化为求极小的问题。例如：函数例如：函数 在在 有极大值有极大值 ，将它改变符号后，将它改变符号后，在同一点在同一点 处处 有极小值有极小值 由此可见：由此可见：有相同最优点有相同最优点。*x f x*min.0,0f xf xstG xH x*x*f x*,xf x 222xxxf1*x 222xxxf1*x 1*xf maxminfxfx与 1*xf因此后面专门研究最小化问题。因此后面专门研究最小化问题。fx xf*xf*

25、xf xf4如果约束条件中有如果约束条件中有“小于等小于等于于“的，即的，即 则转则转化为化为 ，另外，另外，等式约束等式约束 可以可以由下面两个不等式来代替：由下面两个不等式来代替：因而最优化问题的一般形式因而最优化问题的一般形式又可写成：又可写成：0.G x 0G x 0H x 00H xH x min.0f xstG x可行域记为可行域记为()0Dx G x3.2 根据函数的类型分类根据函数的类型分类线性规划：线性规划：目标函数和约束函数皆为线性函数目标函数和约束函数皆为线性函数二次规划二次规划 目标函数为二次目标函数为二次函数函数，约束函数为线性函数，约束函数为线性函数非线性规划非线性

26、规划目标函数不是一次或二次函数，或者约束函数不全是线性目标函数不是一次或二次函数，或者约束函数不全是线性函数函数约束无约束动态问题非线性规划线性规划约束问题维问题一维问题非线性问题线性问题无约束问题静态问题最优化问题n 其中求解一维无约束问题的方法称为一维搜索或直线搜索，其中求解一维无约束问题的方法称为一维搜索或直线搜索，这在最优化方法中起十分重要的作用。这在最优化方法中起十分重要的作用。对于最优化问题一般可作如下分类：对于最优化问题一般可作如下分类：一，极小点概念：一，极小点概念：f 例如：图中一元函数例如：图中一元函数 f 定义在区间定义在区间a,b 上上,为严格局部极小点，为严格局部极小

27、点，为为 非严格局部极小点非严格局部极小点.0 x a为全局严格极小点为全局严格极小点。a b 严格局部极小点局部极小点非严格局部极小点极小点严格全局极小点全局极小点非严格全局极小点*1x*1x*2x*2x4 最优解与极值点最优解与极值点*xx定义定义1:对对 满足不等式满足不等式 的点的点x的集合称为的集合称为 的邻域。记为：0,0 xx0 x00,|,0N xxxx 定义定义2：设设 若若 使使 （1）均有：则称 为f的非严格局部极小点。（2）,且 ,有 则称 为 f 的严格局部极小点。定义定义3：设设 若若 使使 （1）均有均有 则称则称 为为f 在在 D上的非严格全局极小点。上的非严格

28、全局极小点。（2）,有有 则称则称 为为 f 在在 D 上的严格全局极小点上的严格全局极小点。1:,nfDRR*,0.xD*,xN xD*f xf x*x*,xN xD*f xf x*x1:,nfDRR*xD*f xf xxD*x*,xD xx *f xf x*x由定义可知有如下两个定理（练习自证）由定义可知有如下两个定理（练习自证）定理定理1：最优化问题的任意全局极小点必为局部极小值点：最优化问题的任意全局极小点必为局部极小值点.定理定理2：若：若 为定义在为定义在 上的连上的连 续函数续函数,则则 （1）以上问题的可行解的集合）以上问题的可行解的集合D为闭集为闭集 （2）以上问题的最优解的

29、集合为闭集）以上问题的最优解的集合为闭集.作业：作业：P8,1.1(),()(1,2,)if x g x imnR min.0.1,2,if xstgxim对如下问题对如下问题lP8 1.1l范数及其相关不等式范数及其相关不等式l多元函数中值公式及其极值多元函数中值公式及其极值l二次函数二次函数第二章第二章 基础知识基础知识12221niixx11niixxmaxixx11pnpipixx1.向量的几种范数向量的几种范数:12TAxx Ax椭球范数椭球范数(A正定正定)l2范数范数l1范数范数l范数范数lp范数范数范数及其相关不等式范数及其相关不等式212xxn x 2xxn x 1xxn x

30、 21xxx 122nAxxx 范数常见不等式范数常见不等式11maxnijjiAa1maxnijijAa2TA AA2.矩阵范数矩阵范数:(|.|为某一向量为某一向量范数范数)l1范数范数(列和的最大者列和的最大者)l范数范数(行和的最大者行和的最大者)l2范数也称谱范数范数也称谱范数(ATA最大特征值开平方最大特征值开平方)0maxxAxAx 特别对方阵有特别对方阵有性质性质:ABA B3.3.向量内积：向量内积：x,y R Rn n x,y 的内积的内积:=xT y=xiyi =x1y1+x2y2+xnyn x,y 的距离的距离：|x-y|=(x-y)T(x-y)(1/2)x 的长度：的

31、长度：|x|=xTx(1/2)三角不等式三角不等式：|x+y|x|y|定义定义：设：设Q为为nn对称矩阵对称矩阵,若若 ，均有，均有 则称矩阵则称矩阵Q是正是正 定的。若定的。若 ，均有，均有 ，则，则 称矩阵称矩阵Q是半正定的。是半正定的。若若 ，均有，均有 ，则，则 称称Q是负定的。是负定的。若若 ,均有均有 ,则称则称Q是半负定的是半负定的.4.矩阵正定性矩阵正定性:回忆线性代数中正定二次型的讨论！回忆线性代数中正定二次型的讨论！判定一个对称矩阵判定一个对称矩阵Q是不是正定的，可用是不是正定的，可用Sylvester定理判定。定理判定。Sylvester定理定理：一个：一个nn对称矩阵对

32、称矩阵Q是正定矩阵的充要条件是正定矩阵的充要条件 是是矩阵矩阵Q的各阶主子式都是正的。的各阶主子式都是正的。A是正定矩阵是正定矩阵的的等价条件等价条件 1)存在存在非奇异矩阵非奇异矩阵G，使得，使得A=GGT;2)A的所有特征根大于零的所有特征根大于零;3)A的所有的所有(顺序顺序)主子式主子式0;A是是半半正定矩阵正定矩阵等价条件等价条件 1)存在存在矩阵矩阵G，使得，使得A=GGT;2)A的所有特征根的所有特征根非负非负;3)A的所有主子式的所有主子式非负非负;5 5.关于范数的几个重要不等式关于范数的几个重要不等式 Cauchy-Schwarz 不等式不等式 Tx yxy（当且仅当（当且

33、仅当x和和y线性相关时，等式成立）线性相关时，等式成立）设设A是正定矩阵，则是正定矩阵，则 TAAx Ayxy（当且仅当（当且仅当x与与y线性相关时，等式线性相关时，等式成立）成立）设设A是是nn 正定矩阵，则正定矩阵，则 1TAAx yxy （仅当（仅当x与与1Ay 线性相关时，等式成线性相关时，等式成立）立）Young 不不等等式式：假假定定p与与q都都是是大大于于 1 1 的的实实数数，且且满满足足111pq ，则则,x yR ，有有 pqxyxypq 当当且且仅仅当当pqxy 时时，等等式式成成立立。其其证证明明由由算算术术几几何何不不等等式式直直接接给给出出，事事实实上上 11()(

34、)pqpqpqxyxyxypq （算算术术几几何何不不等等式式）Hlder 不不等等式式 1111()()pqnnpqTiipqiix yxyxy 其其中中p与与q都都是是大大于于 1 1 的的实实数数，且且满满足足111pq ，Minkowski 不不等等式式 pppxyxy ，（1p ）定理：定理：设设A为为 n 阶对称正定矩阵，阶对称正定矩阵，m与与M分别为分别为A的最小与的最小与最大特征值，则最大特征值，则 ，恒有，恒有2221(),4mMx xx Axx A xx xmM定理：定理：设设A为为 n 阶对称正定矩阵阶对称正定矩阵，m与与M分别为分别为A的最小的最小与最大特征值，则与最大

35、特征值，则 ，恒有，恒有 ,0nxRx10,110,m x xx AxM x xx xx A xx xMm,0nxRx多元函数中值公式及其极值多元函数中值公式及其极值多元函数多元函数记记则则f(x)的的梯度梯度定义为定义为:f(x)的的Hesse矩阵矩阵定义为定义为:定义：定义：f(x)在在x处处可微可微定理：定理：f(x)在在x处处可微可微，则，则 1)2)中值公式中值公式1 Tfxxfxfxxox Tfxxfxfxxx 3)中值公式中值公式2(0,1)定理：定理：f(x)在在x处二次处二次可微可微，则，则 22TTfxxfxfxxxfxxox 2+TTfxxfxfxxxfxxx ，(0,1

36、)一、一、可微及中值公式可微及中值公式二元函数：二元函数：(高等数学已有结论高等数学已有结论)定理定理1(必要条件必要条件)：f(x,y)在在(x0,y0)处处可微且取得极值可微且取得极值，则，则 22TTfxxfxfxxxfxxox 二、多元函数的极值二、多元函数的极值时,具有极值的某邻域内具有一阶和二阶连续偏导数,且令则:1)当A0 时取严格极小值.2)当3)当时,没有极值(称(x0,y0)为函数的鞍点).时,不能确定,需另行讨论.若函数的在点),(),(00yxyxfz 0),(,0),(0000yxfyxfyx),(,),(,),(000000yxfCyxfByxfAyyyxxx02

37、BAC02 BAC02 BAC000022000000(,)(,)det(,)(,)(,)xxxyyxyyfxyfxyACBf xyfxyfxy多元函数：多元函数：定理定理3(必要条件必要条件)：22TTfxxfxfxxxfxxox 定理定理4(充分条件充分条件)：2*1)0()f xxf x（正定）时，为的严格局部极小值点；2*2)0()f xxf x（负定）时，为的严格局部极大值点.三、等高线三、等高线多局部极小298.0f0f298.0f 唯一极小唯一极小(全局极小全局极小)2122212121322)(xxxxxxxxf 性质性质:极值点附近二元函数的等高线是一族极值点附近二元函数的等

38、高线是一族同心椭圆同心椭圆.*2*2*=TTTf xxf xf xxxf xxf xxf xx 原因原因:多元函数多元函数等值面等值面(等高线等高线).性质性质:极值点附近多元函数的等直面线是一族极值点附近多元函数的等直面线是一族同心同心超椭圆面超椭圆面.四、四、梯度的性质梯度的性质 设设 f(x)在定义域内有连续偏导数，即有连续梯在定义域内有连续偏导数，即有连续梯度度 ，则其有以下两个重要性质：，则其有以下两个重要性质：性质性质1:函数在某点的梯度不为零，则必与过该点的等函数在某点的梯度不为零，则必与过该点的等值面垂直值面垂直(法向量法向量).性质性质2:梯度方向是函数具有最大变化率的方向。

39、梯度方向是函数具有最大变化率的方向。性质性质1的说明的说明:过点过点 的的等值面等值面方程为：方程为：设设 是过点是过点 同时又完同时又完全在该等值面全在该等值面上的任一条光滑曲线上的任一条光滑曲线L的方程的方程,为参数为参数.点点 对应的参数是对应的参数是 ，则有，则有 f x0 x0012=,nf xrf x xx0 x 1122,nnxxxxxx0 x0 120,nf xxxr两边同时在两边同时在 处关于处关于求导数有：求导数有：向量向量 恰为曲线恰为曲线L在在 处的切处的切向量，于是向量，于是即函数即函数f(x)在在 处的梯度处的梯度 与过该点在等值面上的与过该点在等值面上的任一条曲线

40、任一条曲线L在此点的切线垂直。从而与过该点的切平在此点的切线垂直。从而与过该点的切平面垂直，从而性质一成立。面垂直，从而性质一成立。000010200120nnfxfxfxxxxxxx010200,ntxxx 0 x000Tfxt0 x 0f x 120,nf xxxr 0()f xf x 0 xf 0tL梯度方向也称为梯度方向也称为法方向法方向.定义定义3:设设 在点在点x处可微，给定单位向量处可微，给定单位向量h，则，则函数函数f(x)在在x沿沿 h方向的方向的方向导数方向导数定义为：定义为：1:nfRR 0limfxfxhfxh 0()limTtfxhoh Tfxh cos(,)fxf

41、h 结论：若结论：若 ，则，则 h 是函数是函数 f(x)在在 处的下降方向；处的下降方向；若若 ，则，则 h 是函数是函数 f(x)在在 处的上升方向；处的上升方向；若若 ，则，则 任何任何h方向方向 有有 ；若若 ，则，则 时，时，取最大值取最大值 ；则则 时，时，取最小值取最小值 ；0fh0 x0 x 00f xhf xfh0fh()0f x()()hf xf x()0f x0fhfh()f x()()hf xf x fh()f x()f x最速下降方向最速下降方向0 x0f x0f x上升方向下降方向0变化率方向 221.002.3.=2.4.2TTTfxCfxCfxb xfxbfxx

42、 xxfxxQfxx QxfxQx常数则，即，则，则，对称矩阵。则，几个常用的梯度公式：几个常用的梯度公式：:()()TTb xx bb 注221:()2TTAxAxx Axb x例 求，321222123123(,)3,xxxf x xxx ex ex ef求 Tf xb x 2.()0n nf xbf x 12Tf xx x 2.f xxf xI 12Tf xx Qx 2,.f xQxf xQ下面几个下面几个Hesse矩阵计算公式是今后常用到的：矩阵计算公式是今后常用到的：解：解：12121264,42fxfxxxxxxx 00,1Tx 121211200121021644422xxxxf

43、xxxxpfxxxfxx 10225505511151555xxe02204252514255fxefx 112211222634|255xfxxx xx这个方向上的单位向量是：这个方向上的单位向量是：移动一个单位的新点移动一个单位的新点例例1：试求目标函数：试求目标函数 在点在点 处的最速下处的最速下降方向，并求沿这个方向移动一个单位长度后新点的目标函数值。降方向，并求沿这个方向移动一个单位长度后新点的目标函数值。2221212143,xxxxxxf00,1Tx 处的最速下降方向处的最速下降方向01fx例例 2 2 用图解法求解用图解法求解 221212min(2)(1).50 xxst x

44、x 解：先画出目标函数等值线，再画出约束曲线解：先画出目标函数等值线，再画出约束曲线.本处约束曲线是一条直线，本处约束曲线是一条直线，这条直线就是容许集；这条直线就是容许集；而最优点就是容许集上而最优点就是容许集上 使等值线具有最小值的点使等值线具有最小值的点.由图易见约束直线与等值线的切点是最优点，由图易见约束直线与等值线的切点是最优点，利用解析几何的方法得利用解析几何的方法得 该切点为该切点为*3,2Tz，对应的最优值为对应的最优值为*()2f z 2x1xff0G例例 3 3 用图解法求解用图解法求解 122122122122min21.5050,0 xxs txxxxxxx 解：解：先

45、画出等式约束曲线先画出等式约束曲线212250 xxx的图形的图形.这是这是一条抛物线，如图一条抛物线，如图 再画出不等式约束区域再画出不等式约束区域如图如图 （怎样选定哪侧区域）（怎样选定哪侧区域）55ADCB 最后画出目标函数等值线，特别注意可行集边界点以及等最后画出目标函数等值线，特别注意可行集边界点以及等值线与可行集的切点，易见可行域为曲线段值线与可行集的切点，易见可行域为曲线段 ABCDABCD。当动点沿。当动点沿抛物曲线段抛物曲线段 ABCDABCD 由由 A A 点出发时，点出发时，ABAB 段目标函数值下降。过段目标函数值下降。过点点 B B 后，在后，在 BCBC 段目标函数

46、值上升。过段目标函数值上升。过 C C 点后，在点后，在 CDCD 段目标段目标函数值再次下降。函数值再次下降。D D 点是使目标函数值最小的可行点，其坐点是使目标函数值最小的可行点，其坐标可通过解方程组：标可通过解方程组：2122125050 xxxxx 得：得：*4,1Tz，对应的最优值为对应的最优值为*()4f z 在在n元函数中，除了线性函数：元函数中，除了线性函数：或或之外，最简单最重要的一类就是二次函数。之外，最简单最重要的一类就是二次函数。12(),TTnaaf xa xcaa 二次函数的一般形式为二次函数的一般形式为 其中其中 均为常数。均为常数。其向量矩阵表示形式是：其向量矩

47、阵表示形式是：其中其中 Q 为对称矩阵为对称矩阵 在代数学中将特殊的二次函数在代数学中将特殊的二次函数 称为二次型。称为二次型。对于二次函数，我们更关心的是对于二次函数，我们更关心的是Q为正定矩阵的情形。为正定矩阵的情形。定义定义：设：设Q为为nn对称矩阵对称矩阵,若若 ，均有，均有 则称矩阵则称矩阵Q是正是正 定的。若定的。若 ，均有，均有 ，则，则 称矩阵称矩阵Q是半正定的。是半正定的。若若 ，均有，均有 ，则，则 称称Q是负定的。是负定的。若若 ,均有均有 ,则称则称Q是半负定的是半负定的.判定一个对称矩阵判定一个对称矩阵Q是不是正定的，可用是不是正定的，可用Sylvester定理判定。

48、定理判定。Sylvester定理定理：一个：一个nn对称矩阵对称矩阵Q是正定矩阵的充要条件是正定矩阵的充要条件 是是矩阵矩阵Q的各阶主子式都是正的。的各阶主子式都是正的。A是正定矩阵是正定矩阵的的等价条件等价条件 1)存在存在非奇异矩阵非奇异矩阵G，使得，使得A=GGT;2)A的所有特征根大于零的所有特征根大于零;3)A的所有的所有(顺序顺序)主子式主子式0;A是是半半正定矩阵正定矩阵等价条件等价条件 1)存在存在矩阵矩阵G，使得，使得A=GGT;2)A的所有特征根的所有特征根非负非负;3)A的所有的所有(顺序顺序)主子式主子式非负非负;例：判定矩阵例：判定矩阵 是否正定是否正定.解：对称矩阵

49、解：对称矩阵Q的三个的三个顺序顺序主子式依次为：主子式依次为：60 633032 631320100104 因此知矩阵因此知矩阵Q是正定的。是正定的。定理定理：若二次函数若二次函数 中中Q正定，则它的等正定，则它的等值面是同心椭球面族，且中心为值面是同心椭球面族，且中心为 证明：作变换证明：作变换 ,代入二次函数式中：代入二次函数式中：根据解析几何知识，根据解析几何知识，Q为正定矩阵的二次型为正定矩阵的二次型 的等的等值面是以坐标原点值面是以坐标原点 为中心的同心椭球面族。由于上式中为中心的同心椭球面族。由于上式中的的 是常数，所以所以 的等值面也是以的等值面也是以 为中心的为中心的同心椭球面

50、族，回到原坐标系中去，原二次函数就是以同心椭球面族，回到原坐标系中去，原二次函数就是以 为中心的同心椭球面族。为中心的同心椭球面族。注意注意:(1)这族椭球面的中心这族椭球面的中心 恰是二次目标函数的唯恰是二次目标函数的唯一极小点。一极小点。(2)前面已说过，一般目标函数的等值面在极小点附近近似前面已说过，一般目标函数的等值面在极小点附近近似地呈现为椭球面族。由此可见对于二次目标函数有效的求极小地呈现为椭球面族。由此可见对于二次目标函数有效的求极小点的算法，当用于一般目标函数时，至少在极小点附近同样有点的算法，当用于一般目标函数时，至少在极小点附近同样有效。因此在最优化理论中判定一个算法好坏的