第五章残差与误差检验课件.ppt

1、 5, 残差与残差与误差检验 5.1 残差 5.2 粗差与数据探测 5.3 模型误差及其检验 5.4 稳健估计 5.5 基于相关分析的粗差检验 5.1 残 差1) 普通残差及其性质普通残差及其性质 1, 普通残差的定义普通残差的定义 观测方程: L = AX - 回归模型: y = x- e 误差方程: .,), 0(201 ,1 ,为对角阵QQNLXAVttnn2, 平差因子平差因子( 帽子矩阵帽子矩阵,投影矩阵投影矩阵) PAANHT1nkkjikijTTThhhHPAANPAPANAANHHH1111;* )1 (是幂等阵度比平差前是提高了。可见平差后观测值的精还可得：由即所以则，为多余

2、观测分量称则令iiLLVVLLiiiiiiiVViiiLLiiVVVVLLiiVLiiiiniiivviiiQQQQQrPQPQrQQQQQQQQVLLrrRtrrPQRriiiiiiiiiiiiiiii110,100, 0)5()(;)(,)()4rtnPAANtrItrRtrRRankPQRankHIHHRRHIRttTnnvv,1,)()()()()()3(;0)(;, )2(且为幂等阵也是则令3,普通残差的性质普通残差的性质ijjijiiiijjijiiiiTvvvvvvhhLhLhvAPAANIPAQRPQAXPQV)1 ()1 (0)()() 1 (1所以：上式中：. 0; 0)(

3、)4(;1)( ,) 1(0 )()(0)(0 ,1 )1 ()() 3()()()()(, 0)()2(111112VLTTVXiiiiiiiiiiiiiiiiiiiiiTTTvvvvQAPANIPQANQvQrhvQrrhQrQhvQRQQHIAANQAPANIQPAANIQQVDVE的观测值多余完全时当抵抗粗差能力最差观测值高杠杆强权：多余观测分量）时当2) 标准化残差标准化残差)();1()( , 30),(; 1)(; 0)(, 21.;)1 ( , 12222tnPVVtntnPVVQvvuuuCovuDuEPVVtnQvvuhQvQvvuTTviviijiiiTviviiiiii

4、iviviiiiiiii往往未知定义)();(; )2,2()(/; ), 0();1(21,21)(, 422212221211222222nYmXnmYXXZnXNXnXXtnPVVQvtnQvtnuniininTviviiii3) 预测残差预测残差i 与学生化残差与学生化残差1,定义定义: 在 观测值 L 中 去掉 Li 后 , 有:2, i与与 vi的关系的关系. )( :;)()()()(1)()()()()()()()(为预测残差则称可解得iiiiiiTiiiTiiiiiiLXALPAAPAXLXAV.1)1 ()()();1, 0(11:111 11)(11111)()()()(

5、 2221)(111111111111)(iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiTiiiiiiiiiiiTiiiiiiTiiiiiTiiiiiiiTiiiTiiiiiTiTiTiiiTiiiTiTiiTiihQhvVarVarhQNuhQhvhvvhhvvPANhAvLXAvPANhXLXAPANhXLPANhhLPANXAPANhXLPAPLANAANAPANNLPAPLAAPANX即所以因3, 标准化预测残差与学生化残差标准化预测残差与学生化残差222)(222222212)()()()()()()()()()(2)(2)()()(*)()() 1(:)()(11

6、1)()1()()()()(, 4) 1(1)1/(:, 101)1/(iiiiiiiiTiiiiiiiiiiiTiTiiiiiTTTiiiiTiTiiTiTTiiTiTiiTiiiTiiiTiiviiiiiiiiiiiiiiiiiiiiiiiiiiiutntnutnutnhvPPVVhvPhLhvPAXLPXALPXPLAPLLhvPANXLPAPLALPPLLXLPALPLVPVtntQvhQvhQuNhQvhQui 即的关系与有学生化残差代替用，近似4) 不相关残差不相关残差1, 普通残差的相关性普通残差的相关性2, 标准化残差的相关性标准化残差的相关性3, 不相关残差不相关残差 0;)

7、1 (,)(;)(1jjjiiiijVViiiiVvvTvvQhQhQQhQQrtnQRankRQQHIAANQQjii是对角阵时当)1)(1 ()1)(1 ()1)(1 ()()(; 1)(;1222jjiiiijjjijjiijjiijjijjjiijjiijijiiiiiiiihhQQhhhQQQhhhQQvvQuuQuQhQvuVQVWQQIQWVVVVVTVVtnWW112121,则令 n个残差中有个残差中有n-t个是独立的，不独立的个是独立的，不独立的t个个vi是与该是与该n-t个个vi线性相关的。线性相关的。W是由是由V转换成的等权独立的转换成的等权独立的n-t个不相关残差。个不

8、相关残差。5.2 粗差与数据探测粗差与数据探测1，粗差及其对残差的影响，粗差及其对残差的影响 （1）粗差的定义粗差的定义 异常误差， 超限误差 23 当 L 含有粗差时， .,), 0(201 ,1 ,为对角阵QQNLXAVttnnPLQLHILPAANIVPLANXVVTT)()(,11)(1LIPAANVT（2）粗差对残差的影响）粗差对残差的影响 当当 L 含有观测误差含有观测误差时，时， niiiVVniniiinnnnnnVVVVTTrrPQtrRtrrrrVrrrrrrrrrPQRPQIHIPAANVLIPAANVVV1221121222211121111)()(. ;. )()()

9、(则令 （3）当仅有一个观测值含粗差）当仅有一个观测值含粗差 k时时 可以看到可以看到 , 当 rkk = 0 , vkk = 0 ; 不能反映粗差 当 rkk = 1 , vkk =k ; 完全反映粗差 一般要求： 0 rkk rkj ; kkkkkikiTkrVrV 0.00.0则2，数据探测法，数据探测法 ( u 检验）检验） 原假设 H0: E ( vk) = 0;（ vk一般取残差中值最大的） 备选假设 H1: E ( vk) 0; 检验统计量： 当原假设 H0 成立时，统计量 uk N (0,1); k很小时影响判断。检验步骤： 1） 计算 uk; 2) 选择适当的显著水平 ，查得

10、分位值 u /2 ; 3) 比较 uk 与 u /2 ， 若 uk u /2 ， 则接受 H0 klkkVkvkkkrvQvvuk0荷兰巴尔达教授提出的数据探测法：一次剔除一个粗差。荷兰巴尔达教授提出的数据探测法：一次剔除一个粗差。3， 单个粗差的残差检验单个粗差的残差检验（1）检验检验 原假设 H0: E ( vk) = 0; 备选假设 H1: E ( vk) 0; 检验统计量 当原假设 H0 成立时，统计量 检验步骤： 1）计算 |rk| ; 2) 选择适当的显著水平 ，查得分位值/2 ; 3) 比较 |rk| 与/2 ， 若 |rk| /2 则接受 H0 。kvkkkkkkvhQvr10

11、) 1(tnrk（2）检验检验 原假设 H0: E ( vk) = 0; 备选假设 H1: E ( vk) 0; 检验统计量 当原假设 H0 成立时，统计量 Bk （1/2，(n-t-1)/2) 。 检验步骤： 1）计算 Bk ; 2) 选择适当的显著水平 ，查得分位值B/2 ; 3) 比较 Bk与u/2 ， 若 Bk u/2 则接受 H0 。)(1(2022tnhQvtnuBkiikkk（3）t 检验检验 原假设 H0: E ( vk) = 0; 备选假设 H1: E ( vk) 0; 检验统计量 当原假设 H0 成立时，统计量 t (n-p-1) 检验步骤： 1）计算 ; 2) 选择适当的

12、显著水平 ，查得分位值 t/2 ; 3) 比较 与 t/2 ， 若 F1- (m,n-t-m） 则原假设 H0 不成立; 0:H ;0: ),()/(/10yyHmtnmFmtnmRFB备选假设原假设不大，可以忽略。）式，即系统误差（）式暗含（没有显著差异，则说明）联合平差得到的（）（与由式单独平差得到的：如果由线性假设检验基本思想yB212,1) 1 (5.4 稳健估计1、最小二乘法最小二乘法：可以抵御大量随机小误差大量随机小误差的影响，估值无偏，方差最小。2、稳健估计：稳健估计：平差时牺牲估值的部分最优性(效率)，以达到抗御粗差的目的。是在抗差的前提是在抗差的前提下讲效率。下讲效率。3、稳

13、健性与影响函数稳健性：当实际模型偏离假定模型时，参数估值的性能不会受到太大的影响。4、广义极大似然估计（M估计)以 式定义极小条件的一类估计。5、选权迭代法 min1niiv抗差估计指导思想：抗差估计指导思想：在抗差能力和效率（指估值最优性）在抗差能力和效率（指估值最优性）中求得最佳平衡。一般要求其效率达到经典平差效率的中求得最佳平衡。一般要求其效率达到经典平差效率的90%以上。是以上。是在抗差的前提下谈效率。在抗差的前提下谈效率。抗差估计实质：抗差估计实质：牺牲最小二乘估计的最优性，达到抵抗粗牺牲最小二乘估计的最优性，达到抵抗粗差污染的目的。差污染的目的。抗差估计的特点：抗差估计的特点：当观

14、测数据的实际分布偏离假定模型时当观测数据的实际分布偏离假定模型时的不敏感性。其对子样分布要求不十分严格，只要子样的不敏感性。其对子样分布要求不十分严格，只要子样近似服从某一模型。近似服从某一模型。若母体确实为正态时，若母体确实为正态时，抗差估计值无最小二乘估计值优良。抗差估计值无最小二乘估计值优良。 在观测数据中出现在观测数据中出现0.2%的粗差时，最小二乘估值便的粗差时，最小二乘估值便失去了其最优性，但失去了其最优性，但0.2%的粗差概率完全正常，特别是的粗差概率完全正常，特别是在现代的大数据量自动测量中。所以经典平差适用的范在现代的大数据量自动测量中。所以经典平差适用的范围狭窄。围狭窄。

15、不可靠，但简单易行。很小时此法很常未知，故观测数和中识别粗差时，实际问题用鲁棒估计估计抗差估计稳健估计nRobusti3粗差作为一种模型误差，可以从两种角度去描述它：粗差作为一种模型误差，可以从两种角度去描述它：1）将粗差归入函数模型）将粗差归入函数模型数据探测法数据探测法（也称均值漂移模型）（也称均值漂移模型）2）将粗差归入随机模型）将粗差归入随机模型稳健估计法稳健估计法（也称方差膨胀模型）（也称方差膨胀模型）稳健估计法适用范围：稳健估计法适用范围：适用于确定性函数模型：如控制网平差的适用于确定性函数模型：如控制网平差的各类函数模型，且观测值要求大部分正确。不适用不确定性的函各类函数模型，且

16、观测值要求大部分正确。不适用不确定性的函数模型：如回归数学模型、时间序列分析等。数模型：如回归数学模型、时间序列分析等。设有独立观测值L1、L2-Ln，其误差的密度函数为：根据极大似然估计法，其似然函数为：即或选用函数 代替 ，使其定义广义化：iLxfmax21nLxfLxfLxfGmaxln1niiLxfminln1niiLxffln min11niiniivLxM估计广义极大似然估计估计准则：其中， 取为增长较慢的残差的函数，称为极值函数， 为其导数。 函数的构造应该满足：随着残差的增大函数的构造应该满足：随着残差的增大 该函数应该函数应该是增长很慢或是有界的，不会随残差一直增长下去。该是

17、增长很慢或是有界的，不会随残差一直增长下去。 v 0min1111niiniiiniiniivvvvv或 v v ，意义完全一样。来代替有些书上也用vXLi,当观测值等权且互独立时，权函数权函数为：当观测值不等权但互独立时，等价权等价权为：上两式称为：第j个观测值第i次迭代时所使用的权函数或等价权。Pj第j个观测值的观测权。 iiiiijvvvvvp iijiijijvvpvvpvPM估计的迭代公式：（以权函数为例）第一次平差时，权阵P=I。若为不等精度平差时，只需将上式中的权函数换成等价权。且第一次平差时权阵为观测值权阵。 LxBVLVpBBVpBxvvvvvpkkkTkTkkikikiki

18、ikj11111几种常见的选权迭代法1、Huber法2、一次范数最小法（L1估计）（中位数法） 212124222442222vvvvpvvsignvvvvvvvvv， kvvpvv13、P范最小法（LP法）4、IGG法（周江文法）5、经典最小二乘法（不具有抗差性） kvvpvvpp21 5 . 205 . 25 . 115 . 115 . 25 . 25 . 15 . 122vvvvvpvdvvvvv cvppvvpvv22 v1 v2 v3 v4 v5 v6 v7 给定误差 0.640.73-0.84-0.260.01-10.481.86 L2-2.290.53-0.812.572.906

19、.00-3.42 L12-1.4100.07-0.031.499.42-1.42 L1-1.4500.0301.539.41-1.39Huber法-0.95-0.200.53-0.231.239.68-1.42 丹麦法-0.58-0.100.980.390.4810.75-1.101546372ABH3H1H2 如图，为模拟水准网，7个观测值配赋了随机误差，在第六条路线的观测高差中附加了10mm的粗差。用各种算法结果列于下表。从表中看各种选权迭代法均有抗差性，而最小二乘法不具有抗差性。选权迭代法的缺陷：选权迭代法的缺陷：1、由于粗差的大小及位置未知，只能、由于粗差的大小及位置未知，只能以残差来

20、研究，且目标函数以残差来研究，且目标函数 选择成为选择成为残差残差v的函数，这并不一定符合实际。的函数，这并不一定符合实际。2、选权迭代法中，第一次按最小二乘、选权迭代法中，第一次按最小二乘平差求得的残差受粗差的影响很大，由平差求得的残差受粗差的影响很大，由此将影响迭代的权函数此将影响迭代的权函数P(v)的选择，可的选择，可能导致错误的收敛。能导致错误的收敛。M估计迭代结束时，正常观测值落入保权区；非正常但可用的观测值落入降权区；含粗差的观测值落入除权区。 以上所列为理想状态。最好是用以上所列为理想状态。最好是用M估计法定位出粗差后，剔除估计法定位出粗差后，剔除粗差，重新用经典平差法进行平差。

21、粗差，重新用经典平差法进行平差。稳健估计（选权迭代法）的精度评定稳健估计（选权迭代法）的精度评定xxxxTlTTxxiTQDBPBBPQPBBPBQPntnVPV 20 11 200参数方差近似公式：参数权逆阵近似公式：下的观测值个数。（含粗差观测值）后剩去除似公式：单位权中误差估计的近之所以称以上三式为近似公式，是因为近似地视等价权为常数之所以称以上三式为近似公式，是因为近似地视等价权为常数矩阵（其实等价权是随机量，是残差的函数）。矩阵（其实等价权是随机量，是残差的函数）。5.5 5.5 基于相关分析的粗差检验方法基于相关分析的粗差检验方法互独立。、，即正态母体不同的分布。给出的有关，不同系

22、数固定时，只与母体相关的分布当可见统计量数：子样相关系数的密度函子样容量。，子样相关系数：理论相关系数：YXndxxrxrnrfnyySxxSyyxxSSSSrDDDnnnnninyinnxiinxyyxxyyyxxxy01)1 ()1 ()1 (2)(11)()()(102122/ )4(2/ )1(2121121221、相关系数的分布 212:22210)1 () 1()()(021,211221122)(02202/ )4(2221242121101212422ntntrntnrntnrrtrtHrrfnBndZZZnrfxZnnnnnnnn或有关。】与【可见变量的关系：变量与成立条件下

23、，有：在原假设的密度函数：时函数的定义，从上式得由，得，并作代换设计算出的计算出的r若大于查表所得的若大于查表所得的r ，则认为在，则认为在 水平下水平下 0，x与与y统统计相关；若计相关；若r r ，则认为在，则认为在 水平下水平下 =0， x与与y。这称为相关系。这称为相关系数显著性检验。数显著性检验。分布函数表1）2）给定显著水平=0.0125，0.025，. =0，-0.1-0.9 下的临界值表（p.160，附表7）3） = - 1/3 的分布函数表（p.168，附表8）xxndrrnnxFnP12/ )4(.99187. 0)1 () 12/() 2/ 1 (2/ ) 1() 2 .

24、 0(,505 . 0 , 6.158.9 . 09 . 0, 0，附表的分布函数值表)()(1应用1）=0，相关系数检验表（p.160，附表7） 检验2个随机变量是否线性相关。2） 已知=k0 时，样本相关系数的检验。 相邻三角形闭合差 =-1/3。 相关。与水平下，故认为经比较，。的换算式也可算得与，代入查表，得、分位值代换，则用若用。的一列，得查相关系数表、分位值时，用检验。查张方仁教材的由原假设得知，用双尾：解：提出原假设：是否相关。、问：。样相关系数为对应值，经计算得其子和组例：现有YXrrrrtntrnrrEHYXrYXXYXY05. 0261. 05787. 0t005. 255

25、22261. 057021005. 087. 0570975. 0025. 00975. 002、基于相关分析的粗差检验原理度。的内在的影响和作用程对却能反映差的大小无关，但它观测值权阵，与观测误只取决于控制网网形和差识别提供途径。的作用大小，从而为粗对相关度的大小反映了性。相对地具有较强的相关与义讲，此时的随机性质。从统计意并改变的大小，会显著影响的作用含粗差时，一般通过线性组合。当某个是一组偶然误差的的影响不显著，对中全都不含粗差时，各当的影响向量。作用于残差量误差阵的列向量，定义为测是即由VFVFVFVVFFVVVRFFFFrrrrrrrrrVRVRViiiiiiiiiiiiinnnnn

26、nnnn221121222212112111设对有5个GPS站点、25条观测基线的GPS网进行平差，n=25。现在第18个观测值中加入3倍中误差的一个粗差，i=18。得左图： 上图为残差上图为残差V与与观测量序列的对应观测量序列的对应关系；关系； 下图为向量下图为向量Fi=F18的各分量与观的各分量与观测量序列的对应关测量序列的对应关系。系。 可见两条曲线具可见两条曲线具有显著相关性。有显著相关性。 左图为有40个观测值、并在第16、18两个观测值有粗差的有关V与F16、F18的曲线图。 可见可见V向量表现为向量表现为F16与与F18的叠加，即的叠加，即V与与F16和和F18的向量和具的向量和具有相似性。有相似性。中存在粗差。，则认为相关显著且与即当的附加条件。入情况，在粗差判别时加为避免这种“存伪”的显著相关。观测值与可能会使某个非粗差的当有多个粗差存在时，影响越显著。的误差的的变化来自观测时正数，相关性越强，说明改越接近当式中：中元素为阵中元素，为度量：的相关性可用相关系数与iViiViiVFnjjnjjiijjinjnjiijinjjijiVFiLVVFVVLVvnvrnrVvRrvvrrvvrrVFiiii2211,1112111221