最小二乘法与曲线拟合.课件.ppt

1、第六章 最小二乘法与曲线拟合l目的目的(曲线拟合曲线拟合):):已知一组测量数据 ，寻找变量 与 的函数关系的近似表达式 。（寻找变化规律）l插值法缺陷插值法缺陷:(1)插值多项式通过了所有的点 ，引入了测量数据的观测误差；(2)当测量数据较多时，插值多项式不稳定，计算工作量巨大，缺乏实用价值),2,1(),(niyxiixy),(iiyx xy第1页，共42页。第六章 最小二乘法与曲线拟合铝球散射声场指向性第2页，共42页。第六章 最小二乘法与曲线拟合 对观测数据序列 来说，不可避免地会含有误差。这样观测数据序列就无法同时满足函数 ，所以只能按照某种最优标准，构造一个逼近函数 来最优得靠近采

2、样数据，即向量 与的误差或距离最小。按照这种误差最小原则构造的逼近函数称为拟合函数拟合函数，构造拟合函数的过程称为曲线拟合曲线拟合。,niyxii,2,1 ,xfy x Tnxxx,21Tnyyy,21第3页，共42页。第六章 最小二乘法与曲线拟合 从给定的一组实验数据 出发，寻求一个逼近函数 ，使得逼近函数从总体上总体上来说产生的偏差按照某种方法度量能达到最小而又不一定过全部的实验数据点 ，这就是曲线拟合法曲线拟合法。最常用的曲线拟合法就是本章所要介绍的最小二乘曲线拟合法最小二乘曲线拟合法。插值和拟合是构造逼近函数的两种方法。曲线拟合问题的特点在于，被确定的曲线原则上并不要求通过给定的数据点

3、，而只是要求尽可能从给定点附近通过。插值法确定的曲线要求通过所有给定数据点，对于含有观测误差的数据来说，不通过给定数据点的原则显然更为合适。因为这样的处理，可以部分地抵消数据中含有的观测误差，从总体上与实际函数曲线更为符合。),2,1(),(niyxii)(xy),(iiyx第4页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组 用近似曲线 来拟合测量数据 ，其拟合好坏的好坏的判断标准判断标准（向量之间的误差或距离）：通过选择 ，使得它在 处的函数值 与测量数据 相差都很小，即要使偏差偏差（也称残差残差）都很小。有不同衡量方法用各点误差绝对值的和表示用各点误差模值的最大值表

4、示)(xy)21(),(,n,iyxii)(xix),2,1()(nixi),2,1(niyi),2,1()(niyxiii niiiyxR01 iiniyxR0max第5页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组 用各点误差的平方和表示上式中 称为均方误差。由于计算均方误差的最小值易于实现而被广泛采用。这种“偏差平方和最小偏差平方和最小”的原则称为最小二乘原则最小二乘原则，而按最小二乘原则拟合曲线的方法称为最小二乘法最小二乘法或称最小二乘最小二乘曲线拟合法曲线拟合法。niiiyxR0222R第6页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组

5、l基函数基函数：一般而言，所求得的拟合函数可以是不同的函数类函数类，拟合曲线 是由m个线性无关函数 线性组合而成，即其中 为待定常数。线性无关函数组称为基函数基函数，常用的基函数有：多项式：；三角函数：；指数函数：。)(x)(,),(),(21xxxm)1()()()()(2211nmxaxaxaxmmmaaa,21)(,),(),(21xxxmmxxx,12mxxxsin,2sin,sinxxxmeee,21第7页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组 常用基函数中最简单的是多项式基函数多项式基函数。在解决实际问题时，如何选择适当的拟合曲线类型？在对拟合曲线一无

6、所知的情况下，可以先绘制数据的粗略图形，可大致观测出拟合曲线的类型。更一般地，可以先对数据进行多种曲线类型的拟合，并计算相应的均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。第8页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组举例举例：设平面上有5个点的观测数据，对应的为画出分布图形。47.5,9,02.5,8,50.3,5,98.2,4,01.2,20123456789100123456xy第9页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组 可以看出，这5个点大致分布在一条直线上，因此可以用线性函数来表示：上面5组数据大致满

7、足如下方程组：式中 为待定参数。bxay47.5902.5850.3598.2401.22babababababa,第10页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组 确定 的最简单方法是选点法，即在给定的5个点中，任选两个构造直线。也就是从上述5个等式中任选2个联立即可解出 。例如选择前两个点可得 ，解为选择4、5点可得 ，解为ba,ba,98.2401.22baba485.0040.1ba47.5902.58baba45.042.1ba第11页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组 为减小解的变化，可以采用平均法，即把上述5式分为2组

8、，并分别求平均，然后联立求解 ，例如分为如下两组 两式联立得到 ，解为由于观测数据带有误差，而且表达式本身也是近似的，所以上例中得到各组 值是有差异的，无法使无法使5 5个等式同时成立个等式同时成立。ba,4867.3547.5998.2401.22babababa26.45.602.5850.35bababa26.45.64867.35baba5155.09092.0baba,第12页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组 在实际问题中，只要给出的观测点数大于待定参数的个数，根据观测数据得到的方程组就会出现互相矛盾的现象，称为矛盾方程组矛盾方程组。曲线拟合中的参

9、数确定问题，实质上就是解矛盾方程组的问题解矛盾方程组的问题。选点法和平均法只是求解矛盾方程组的最初等方法，解不唯一，而且无法衡量哪个解最好，怎么找到最好解等问题尚不明确，一般情况下仅用于粗略估值。第13页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组l矛盾方程组（超定方程组）矛盾方程组（超定方程组）：方程式的个数多于未知数的个数时，方程组往往无解，此类方程组称为矛盾方程组矛盾方程组。即 nmnmnnmmmmbxaxaxabxaxaxabxaxaxa22112222212111212111);,2,1(1nmnibxamjijij第14页，共42页。1 用最小二乘法求解矛盾

10、方程组用最小二乘法求解矛盾方程组上式是矛盾方程组矛盾方程组，找不到同时满足n个方程的解，只能寻找某种意义下的近似解近似解。这种近似解不是相对精确解的近似，而是指寻找各未知数的一组值，使方程组中的各方程式近各方程式近似相等似相等。此即为用最小二乘法求解矛盾方程组的基本思想基本思想。l偏差偏差：l衡量近似解的近似程度的标准衡量近似解的近似程度的标准：按最小二乘原则，使偏差的平方和最小如果 的取值使上式的值达到最小，则称这组值是矛盾方程组的最优近似解最优近似解。);,2,1(1nmnibxaimjjiji),2,1(mjxj niimjjijniibxaQ12112第15页，共42页。1 用最小二乘

11、法求解矛盾方程组用最小二乘法求解矛盾方程组l最优近似解的求解最优近似解的求解：偏差平方和最小的必要条件：等价条件等价条件：),2,1(0mkxQk022221111111 niiikmjjniikijniiikmjjikijikniimjjijkbaxaabaxaaabxaxQ第16页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组极值条件极值条件：上面具有m个未知量m个方程式的线性方程组称为对应于矛盾方程组的法方程组法方程组（也称为正规方程组正规方程组）。可以看出，法方程组的解就是矛盾方程组的最优解。矛盾方程组最优解的求解就转化为法方程组的求解。),2,1(111mkba

12、xaaniiikmjjniikij 第17页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组按照最小二乘原则（偏差平方和最小）对上例进行求解：分别对 求偏导22251247.5998.2401.22bababaQiiba,098.18285 47.59298.24201.222babababaaQ083.12219028 947.592498.242201.222bababababQ第18页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组 两式联立得到线性方程组采用线性方程组的数值解法对上述方程组进行求解，得到从而构造的直线方程为上式就是最小二乘意义下对

13、5个数据点进行拟合得到拟合函数83.1221902898.18285baba4983.00058.1baxy4983.00058.1第19页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组2345678922.533.544.555.5xy第20页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组记矛盾方程组可表示为nmnnmmaaaaaaaaa212222111211ATmxxx),(21XTnbbb),(21bbAX 第21页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组 极值条件用 表示法方程组第k个方程中 的系数，用 表示对应

14、方程式的右端项，则法方程组可表示为式中),2,1(111mkbaxaaniiikmjjniikij kjcjxkd),2,1(1mkdxckmjjkj),2,1(),2,1,(11mkbadmjkaacniiikkniikijkj第22页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组 记从而法方程组用矩阵表示为：即矩阵C为对称阵Tmmmmmmmdddccccccccc),(,21212222111211dC,AACTbAdTdCX bAAXATT第23页，共42页。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组l最小二乘法解矛盾方程组的步骤步骤归纳：（1）计算

15、和 ，得法方程组 ；（2）求解解法方程组，得出矛盾方程组的最优近似解。按步骤计算上例。AATbATbAAXATT第24页，共42页。1、求下列线性方程组的最小二乘解（计算取4位小数）。1 用最小二乘法求解矛盾方程组用最小二乘法求解矛盾方程组142462353114221212121xxxxxxxx第25页，共42页。2 用多项式作最小二乘曲线拟合 取基函数它们的线性组合 为 的m次多项式，按照最小二乘原理，即是要通过给定的数据 ，确定系数 ，使得在各个点上的偏差平方和最小。mmxxxxxxx)(,)(,)(,1)(2210)1()(2210nmxaxaxaaxPmm)(xPx),2,1(),(

16、niyxiija第26页，共42页。2 用多项式作最小二乘曲线拟合将n对数据 代入，得到一个具有m+1个未知数 的n个方程的矛盾方程组：矩阵形式为：),(iiyxjanmnmnnmmmmyxaxaxaayxaxaxaayxaxaxaa22102222221011212110YA 第27页，共42页。2 用多项式作最小二乘曲线拟合式中其法方程组为：法方程组是关于m+1个未知量 的线性方程组，只要系数行列式不等于零，就可求得矛盾方程组的唯一一组最优近似解，从而求得所给数据的最小二乘拟合多项式mnnnmmxxxxxxxxx222221211111Amaaa10nyyy21YYAAATT),2,1,0

17、(mjaj第28页，共42页。2 用多项式作最小二乘曲线拟合l解的存在性解的存在性：由于 互异，故矩阵 的m+1个列向量线性无关，秩为m+1，对于任意m+1维非零列向量 ，由从而 为对称正定矩阵，非奇异。所以方程组有唯一解。nxxx,21AX0AX 0)()(AXAXAXAXTTTAAT第29页，共42页。2 用多项式作最小二乘曲线拟合niminiminiminiminiminiiniiniiniminiiniimnnnmmmmnmmnnxxxxxxxxxxxnxxxxxxxxxxxxxxxxxxxxx1212111111312111212323322221211212222121 11111

18、11AAT第30页，共42页。2 用多项式作最小二乘曲线拟合nimiiniiiniiiniinmnmmnnxyxyxyyyyyxxxxxxxxx1121121212222121111YAT第31页，共42页。2 用多项式作最小二乘曲线拟合l计算步骤：计算步骤：（1）计算 和 ，得法方程组 。（2）解法方程组，得出最优解，最小二乘数据拟合多项式为：AATbATbAAXATTmmxaxaxaaxP*2*2*1*0)(第32页，共42页。2 用多项式作最小二乘曲线拟合例例1 通过实验数据获得如下数据：用最小二乘法求多项式曲线，使与此数据组相拟合（计算取4位小数）解解：（1）作散点分布图 从图可以看出

19、，点的分布近似为抛物线。（2）确定近似表达式 设拟合曲线为二次多项式ixiy23675322210 xaxaay第33页，共42页。2 用多项式作最小二乘曲线拟合（3）建立法方程组8147117117911711793117931714131213121121niiniiniiniiniiniiniiniiTxxxxxxxxnAA第34页，共42页。2 用多项式作最小二乘曲线拟合635121281211niiiniiiniiTxyxyxYA6351212881471171179117117931179317210aaa法方程组为：第35页，共42页。2 用多项式作最小二乘曲线拟合（4）求解法方

20、程组所求拟合曲线为 3185.10a4321.31a3864.02a23864.04321.33185.1xxy第36页，共42页。2 用多项式作最小二乘曲线拟合例例2 在物理实验中，测得电压与电流的一组数据如下：试用最小二乘法求最佳数据拟合函数。解解：（1）作散点分布图 从图可以看出，点的分布近似为指数曲线。（2）确定近似表达式 取指数函数 作为拟合函数。iViI /V12345678 /mA15.320.527.436.649.165.687.8117.6bVaeI 第37页，共42页。2 用多项式作最小二乘曲线拟合（3）建立法方程组 函数是非线性的，对函数两边取对数进行线性化。令 ，并记

21、 ，。得到线性模型：ebVaIlglglgebBlgIulgaAlgBVAu204363681211niiniiniiTVVVnAA第38页，共42页。2 用多项式作最小二乘曲线拟合l法方程组为：l（4）解法方程组得到l ，进而得到9003.630197.1311niiiniiTVuuUA9003.630197.1320436368BA0584.1A1265.0B4393.11a2912.0b第39页，共42页。2 用多项式作最小二乘曲线拟合所以最佳拟合函数为：VeI2912.04393.11第40页，共42页。3、试用最小二乘法求形如 的多项式，使与下列数据相拟合（计算取3位小数）。2 用多项式作最小二乘曲线拟合2bxayixiy192531384419.032.349.073.397.8第41页，共42页。4、观测一个物体的直线运动，测得数据为求该物体的初速度及加速度（假定为常数）（计算取3位小数）。2 用多项式作最小二乘曲线拟合sti/msi/时间距离00.91.93.03.95.0010305080110第42页，共42页。