向量到子空间距离最小二乘法课件.ppt

1、向量到子空间的距离向量到子空间的距离目录 下页 返回 结束 最小二乘法最小二乘法1|,(,)13|.d 向向量量的的长长度度称称为为 与与的的距距定定离离 记记为为义义:(1)(,)(,);(2)(,)0,(3)(,)(,)(,).dddddd 距距离离的的三三条条基基本本性性质质当当且且仅仅当当时时等等号号才才成成立立；(三角不等式三角不等式)首页 上页 下页 返回 结束 一、一、向量到子空间的距离向量到子空间的距离 在解析几何中在解析几何中,两个点两个点 和和 间的距离等于间的距离等于向向量量 -的长度的长度.在欧氏空间中我们同样可引入在欧氏空间中我们同样可引入2 在中学所学几何中知道一个

2、点到一个平面在中学所学几何中知道一个点到一个平面(或或一条直线一条直线)上所有点的距离以垂线最短上所有点的距离以垂线最短.下面可以证下面可以证明一个固定向量和一个子空间中各向量的距离也明一个固定向量和一个子空间中各向量的距离也是以是以“垂线最短垂线最短”.设子空间设子空间 W,它由向量它由向量 1,2,k所生成所生成,即即 W=L(1,2,k).说一个向量说一个向量 垂垂直于子空间直于子空间 W,就是指向量就是指向量 垂直于垂直于 W 中任何一中任何一个向量个向量.首页 上页 下页 返回 结束 容易验证容易验证 垂直于垂直于 W 的充分必要条件是的充分必要条件是 垂垂直于每个直于每个 i(i=

3、1,2,k).3设设 是给定的一向量是给定的一向量,是是 W 中的向量中的向量,且满且满足足 -垂直于垂直于 W.要证明要证明 到到 W 中各向量的距离中各向量的距离以垂线最短以垂线最短,就是要证明就是要证明,对对 W 中任一向量中任一向量 ,有有|-|-|.画出下面的示意图：画出下面的示意图：o W首页 上页 下页 返回 结束 4 o W证证 -=(-)+(-).因因 W 是子空间是子空间,W,W,则则 -W.故故 -垂直于垂直于 -.由勾股定理由勾股定理,有有222|故故|首页 上页 下页 返回 结束 5二、最小二乘法二、最小二乘法 上述几何事实可以用来解决一些实际问题上述几何事实可以用来

4、解决一些实际问题.其其中的一个应用就是解决最小二乘法问题中的一个应用就是解决最小二乘法问题.先看下面先看下面的例子的例子.例例 已知某种材料在生产过程中的废品率已知某种材料在生产过程中的废品率 y与与某种化学成分某种化学成分 x 有关有关.下列表中记载了某工厂生产下列表中记载了某工厂生产中中 y 与相应的与相应的 x 的几次数值：的几次数值：y()1.00 0.9 0.9 0.81 0.60 0.56 0.35x()3.6 3.7 3.8 3.9 4.0 4.1 4.21.引例引例首页 上页 下页 返回 结束 6 解解 把表中数值画出图来看把表中数值画出图来看,发现它的变化发现它的变化趋趋势近

5、于一条直线势近于一条直线.xOy3.63.7 3.8 3.9 4.0 4.1 4.21.00.90.80.70.60.50.40.30.20.1 我们想找出我们想找出 y 对对 x 的一个近似公式的一个近似公式.首页 上页 下页 返回 结束 7 因此我们决定选取因此我们决定选取 x 的一次式的一次式 ax+b 来表达来表达.当然最好能选到适当的当然最好能选到适当的 a,b 使得下面的等式使得下面的等式3.6a+b-1.00=0,3.7a+b-0.9=0,3.8a+b-0.9=0,3.9a+b-0.81=0,4.0a+b-0.60=0,4.1a+b-0.56=0,4.2a+b-0.35=0 都成

6、立都成立.实际上是不可能的实际上是不可能的.任何任何 a,b 代入上面代入上面首页 上页 下页 返回 结束 8各式都会发生些误差各式都会发生些误差.于是想找于是想找 a,b 使得上面各使得上面各式的误差的平方和最小，即找式的误差的平方和最小，即找 a,b 使使2222222(3.61.00)(3.70.9)(3.80.9)(3.90.81)(4.00.60)(4.10.56)(4.20.35)ababababababab 最小最小.这里讨论的是误差的平方即二乘方，故称为这里讨论的是误差的平方即二乘方，故称为最小二乘法最小二乘法.现在转向一般的最小二乘法问题现在转向一般的最小二乘法问题.首页 上

7、页 下页 返回 结束 9最小二乘法问题最小二乘法问题 线性方程组线性方程组111122112112222211220,0,0ssssnnnssna xa xa xba xa xa xba xaxa xb 可能无解可能无解.即任何一组数即任何一组数 x1,x2,xs 都可能使都可能使211221()(1)niiissiia xa xa xb 不等于零不等于零.2.最小二乘法最小二乘法首页 上页 下页 返回 结束 10 我们设法找我们设法找 x10,x20,xs0 使使(1)最小最小,这样的这样的 x10,x20,xs0 称为方程组的称为方程组的最小二乘解最小二乘解.这种问题就叫做这种问题就叫做最

8、小二乘法问题最小二乘法问题.下面我们利用欧氏空间的概念来表达最小二下面我们利用欧氏空间的概念来表达最小二乘乘法法,并给出最小二乘解所满足的条件并给出最小二乘解所满足的条件.令令11121121222212,ssnnnsnaaabaaabABaaab3.最小二乘法的代数表示最小二乘法的代数表示首页 上页 下页 返回 结束 11(2)1112211,.sjjjsjjjssnjjja xxa xxXYAXxa x 用距离的概念用距离的概念,(1)式式就是就是2|YB 最小二乘法就是找最小二乘法就是找x10,x20,xs0使使 Y 与与 B 的距的距离离最短最短.但从但从(2)知道向量知道向量 Y 就

9、是就是首页 上页 下页 返回 结束 1211121212221212.sssnnnsaaaaaaYxxxaaa记记 A 的各列向量分别为的各列向量分别为 1,2,s.由它们生由它们生成的子空间为成的子空间为 L(1,2,s).Y 就是就是 L(1,2,s)中的向量中的向量.于是于是最小二乘法问题可叙述成最小二乘法问题可叙述成:找找 X 使使(1)最小，就是在最小，就是在 L(1,2,s)中找一向量中找一向量 Y，使得，使得 B 到它的距离比到子空间到它的距离比到子空间L(1,2,s)中其他向量的距离都短中其他向量的距离都短.首页 上页 下页 返回 结束 134.最小二乘解的求法最小二乘解的求法

10、应用前面所讲的结论，设应用前面所讲的结论，设Y=AX=x1 1+x2 2+xs s 是所要求的向量，则是所要求的向量，则C=B-Y=B-AX必须垂直于子空间必须垂直于子空间 L(1,2,s).为此只须为此只须而且必须而且必须(C,1)=(C,2)=(C,s)=0.由矩阵乘法规则由矩阵乘法规则,上述一串等式可以写成上述一串等式可以写成:首页 上页 下页 返回 结束 14 120,0,0,sCCC 12,sA 而而按按行行正正好好排排成成矩矩阵阵12,sA 12(,),sA 0,A C 于于是是有有 ()0A BAX 即即 A AXA B 或或首页 上页 下页 返回 结束 15现在回到前面的例子，

11、易知现在回到前面的例子，易知 ,.(517)A AA B这这就就是是最最小小二二乘乘解解所所满满足足的的代代数数方方程程 它它是是一一个个线线性性方方程程组组 系系数数矩矩阵阵是是常常数数项项是是这这种种方方程程组组总总是是有有解解的的 参参见见第第 章章习习题题3.611.003.710.903.810.90,.3.910.814.010.604.110.564.210.35AB 首页 上页 下页 返回 结束 16最小二乘解最小二乘解 a,b 所满足的方程是所满足的方程是0,aA AA Bb 即为即为106.7527.319.6750,27.375.120.abab 解得解得a=-1.05,b=4.81(取三位有效数字取三位有效数字).首页 上页 返回 结束 17