第六章数据拟合方法课件.ppt

1、第六章第六章 数据拟合方法数据拟合方法数据拟合的最小二乘法数据拟合的最小二乘法Bezier曲线曲线例：考察某种纤维的强度与其拉伸倍数的关系例：考察某种纤维的强度与其拉伸倍数的关系,下表是实下表是实际测定的际测定的24个纤维样品的强度与相应的拉伸倍数的记录个纤维样品的强度与相应的拉伸倍数的记录:编 号 拉伸倍数 强 度编 号 拉伸倍数 强 度11.91.41355.5221.3145.2532.11.81565.542.52.5166.36.452.72.8176.5662.72.5187.15.373.531986.583.52.72087944218.98.51043.52298114.54

2、.2239.58.1124.63.524108.1iiyxiiyx6.1 数据拟合的最小二乘法数据拟合的最小二乘法一、一、 曲线拟合的数学描述与问题求解曲线拟合的数学描述与问题求解1234567891012345678924个点大致分布个点大致分布在一条直线附近。在一条直线附近。xxy10)(为待定参数其中10,.),)()(10越接近越好样本点与所有的数据点我们希望iiyxxxy必须找到一种度量标准来衡量什么曲线最接近所有数据点。必须找到一种度量标准来衡量什么曲线最接近所有数据点。x x1 x2 xmf(x) y1 y2 ymnjjjnnxaxaxaxax01100)()(.)()()(1、

3、数据拟合问题、数据拟合问题 miinjijjmiiiyxayx12012)()(据实验数据分布特点选取，可选幂函数类、指数据实验数据分布特点选取，可选幂函数类、指数函数类、三角函数类等。函数类、三角函数类等。)(),(),(10 xxxn（1）若）若 (x)为一元函数，则函数曲线为平面图为一元函数，则函数曲线为平面图形，称形，称曲线拟合曲线拟合。（2） (x)为拟合函数，上式最小为拟合条件为拟合函数，上式最小为拟合条件（即要求拟合曲线与各数据点在（即要求拟合曲线与各数据点在y方向的误差平方向的误差平方和最小）。方和最小）。（3）函数类的选取：）函数类的选取：iiiyx )(mmyxyxyx)(

4、)()(2211 minjiijjnyxaaaaS12010)(),(2、最小二乘法：、最小二乘法：以残差平方和最小问题的解来确定拟合函数的以残差平方和最小问题的解来确定拟合函数的方法。方法。在回归分析中称为残差(i=1,2,m)220kaSminjiijjikyxax100)()(2), 1 , 0(nk由多元函数求极值的必要条件，有由多元函数求极值的必要条件，有可得可得即即imiikmiijnjikjyxxxa110)()()(0)()()(10 iikminjijikjyxxxa上式为由上式为由n+1个方程组成的方程组，称个方程组成的方程组，称正规方程组正规方程组。njmiiikjmii

5、jikyxaxx011)( )()(imiikmiijnjikjyxxxa110)()()(), 1 , 0(nkmiiikmiiniknmiiikmiiikyxxxaxxaxxa11111100)()()()()()()(), 1 , 0(nk引入记号引入记号)(,),(),(21mrrrrxxx),(21myyyf),()(),(1ijmiikjkxx则由内积的概念可知则由内积的概念可知imiikkyxf1)(),(),(),(kjjk显然内积满足交换律显然内积满足交换律正规方程组便可化为正规方程组便可化为),(),(),(),(1100faaaknknkk), 1 , 0(nk的线性方程

6、组。常数项为这是一个系数为),(),(fkjk将其表示成矩阵形式：将其表示成矩阵形式：的基，为函数类由于)(,),(),(10 xxxn必然线性无关。因此)(,),(),(10 xxxn其系数矩阵为对称阵。其系数矩阵为对称阵。所以正规方程组的系数矩阵非奇异所以正规方程组的系数矩阵非奇异,即即0),det(nnji根据根据Crame法则法则,正规方程组有唯一解，称其为最小二乘解。正规方程组有唯一解，称其为最小二乘解。),(),(),(10fffn),(),(),(01000n),(),(),(11101n),(),(),(10nnnnnaaa10作为一种简单的情况，常使用多项式函数作为一种简单的

7、情况，常使用多项式函数Pn(x)作作为为(xi,yi) (i=1,2,m)的拟合函数。的拟合函数。nnkkxxxxxxx)(,)(,)(, 1)(10基函数之间的内积为：基函数之间的内积为：)()(),(1ijmiikjkxxmijikixx1mijkix1imiikkyxf1)(),(miikiyx1mkknkmkkkmkknmknkmknkmknkmknkmkkmkkmknkmkkyxyxyaaaxxxxxxxxm11110121111112111例例. 回到本节开始的实例回到本节开始的实例，从散点图可以看出，从散点图可以看出，纤维强度和拉伸倍数之间近似线性关系，故纤维强度和拉伸倍数之间近

8、似线性关系，故可选取线性函数可选取线性函数xaaxy10)(为拟合函数建立正规方程组，其基函数为为拟合函数建立正规方程组，其基函数为1)(0 xxx )(1根据内积公式，可得根据内积公式，可得24),(005 .127),(1061.829),(111 .113),(0f6 .731),(1f正规方程组为正规方程组为6 .7311 .11361.8295 .1275 .1272410aa1505. 00axxy8587. 01505. 0)(8587. 01a解得解得6615. 5*22残差平方和：残差平方和：12345678910123456789拟合曲线与散点拟合曲线与散点的关系如右图的关

9、系如右图:若若mn+1，则此方程组称，则此方程组称超定方程组超定方程组（方程个数（方程个数未知数未知数个数）个数）nnaaaxxxx1010)()()()(iiyx)(mnmnmmnnyyyaaaxxxxxxxxx1010102212011110)()()()()()()()()(二、二、 超定方程组的最小二乘解超定方程组的最小二乘解将拟合函数以向量表示：将拟合函数以向量表示：令令（i=1,2,m）可得可得njmiiikjmiijikyxaxx011)( )()(miijikxx1)()(miiikyx1)(考虑正规方程组考虑正规方程组（k=0,1,n）为超定方程组中系数阵第为超定方程组中系数

10、阵第k列与第列与第j列对应积之和列对应积之和（即内积（即内积(k,j)）；）；为系数阵第为系数阵第k列与列与m个函数对应积之和。个函数对应积之和。yaTT故正规方程组矩阵形式为：故正规方程组矩阵形式为：若有唯一解，称其为超定方程组的若有唯一解，称其为超定方程组的最小二乘解最小二乘解。注：注：最小二乘解并不能满足超定方程组中每个最小二乘解并不能满足超定方程组中每个方程，但要求尽可能接近给定数据，即允许每方程，但要求尽可能接近给定数据，即允许每个等式可以稍有偏差（即个等式可以稍有偏差（即残差残差）。）。求一般超定方程组求一般超定方程组Ax=b的主要过程：的主要过程：x 1 23 4y 4 10 1

11、8 262210)(xaxaaxP26164189310424210210210210aaaaaaaaaaaa26181041641931421111210aaa例例1 用多项式拟合函数：用多项式拟合函数：解：解：设设得得35410030100301030104T62218258yT6221825835410030100301030104210aaa记系数矩阵为记系数矩阵为 ，则，则故正规方程组为故正规方程组为解得解得21,1049,23210aaa注：注：具体用几次多项式拟合，可据实际情况具体用几次多项式拟合，可据实际情况而定。可先画草图，将已知点描上去，看与而定。可先画草图，将已知点描上去

12、，看与什么函数相近，就以什么函数拟合。什么函数相近，就以什么函数拟合。221104923)(xxxP拟合曲线：拟合曲线：Bezier曲线曲线：由一组多边形折线的各顶点：由一组多边形折线的各顶点P0 , P1 , Pm定义定义 。只有第一点和最后一点在。只有第一点和最后一点在曲线上，其余点用以定义曲线的阶次与倒数，曲线上，其余点用以定义曲线的阶次与倒数，多边折线的第一段与最后一段表示出曲线在多边折线的第一段与最后一段表示出曲线在起点和终点处的切线方向。起点和终点处的切线方向。6.2 Bezier曲线曲线若给定控制多边形顶点若给定控制多边形顶点P0 ,P1 , Pm坐标坐标(x0 ,y0 ) ,(

13、xm ,ym )，则相应的，则相应的Bezier多项式多项式定义为：定义为：mkkkmkkmmkkkmkkmyttctyxttctx00)1 ()()1 ()()!( !kmkmckmBezier曲线的数学表达式：曲线的数学表达式：其中其中（1）一次一次Bezier曲线曲线（m=1）：）：通过平面上两通过平面上两点点P0 ,P1 的直线段。的直线段。)()()(tytxtPkkkyxPmkkkmkkmPttctP0)1 ()(10)1 ()(tPPttP) 10( t若记若记(k=0,1,m)则有则有矢量表示矢量表示下面给出下面给出m=1,2,3时，时，Bezier曲线数学表达式：曲线数学表达

14、式：22102)1 (2)1 ()(PttPtPttP) 10( t33221203)1 (3)1 (3)1 ()(PtPtttPtPttP) 10( tkmkkmkttctB)1 ()(mkkkPtBtP0)()(（2）二次）二次Bezier曲线（曲线（m=2）：通过平面上三）：通过平面上三点点P0 ,P1 ,P2的抛物线。的抛物线。若记若记则则m次次Bezier多项式可表示为多项式可表示为（3）三次）三次Bezier曲线（曲线（m=3）：通过平面上四）：通过平面上四点点P0 ,P1 ,P2 ,P3的三次曲线。的三次曲线。Bezier多项式性质：多项式性质：, 1)(0mkktB, 0)(tBk 1 , 0t), 1 , 0(mkmPPPP) 1 (,)0(0)() 1 (),()0(101mmPPmPPPmP本章作业