最小方差无偏估计和有效估计课件.ppt

1、1一、均方误差的准则一、均方误差的准则二、一致最小方差无偏估计二、一致最小方差无偏估计2一、均方误差准则一、均方误差准则设为 参 数计评假用作的 估量，价 估计优劣的一个自然准则可定义如下：计优劣的一个自然准则可定义如下：2()E()MSE称上式为称上式为均方误差均方误差，(Mean Squared Error)简记为简记为MSE。()MSEMSE 如果，则由 的均值和方差确定，即确定，即2()()(,),MSEVarb 其中其中(,)(),bE(,)bT称为用 估计 产生的偏差偏差（bias）。）。3例例的的和方差和方差均值均值求正态总体求正态总体22),(NMLE的均方误差。的均方误差。,

2、0)(),(XEXb2MSE(,)(),XVar Xn,)(),(2222nEb 422222(21)MSE(,)()(,).nVarbn 221EnnSnE()EXX 4从均方误差可知，我们自然希望估计的从均方误差可知，我们自然希望估计的MSE越小越好。越小越好。G用表示 所有可能估计组成的类，如果GG在中存在一个元使得对任一，有MSE(,)MSE(,)对所有的对所有的 成立，成立，()x则应是 的最好估计。估计。5遗憾的是，这样的估计并不存在。因为因为倘若这样的估计倘若这样的估计 存在，存在，()x，那么对任一那么对任一 0 0,令 0MSE(,)0 则，这样00MSE(,)MSE(,)0

3、,0().x即 0()x由的任意性，因此这样不存在。不存在。平凡估计平凡估计(Trivial Estimate)6由此可见，均方误差一致达到最小的由此可见，均方误差一致达到最小的最优估计并不存在，那么应如何评判和寻找最优估计并不存在，那么应如何评判和寻找优良的估计呢？方法之一是对估计提出一些优良的估计呢？方法之一是对估计提出一些合理性的要求，将那些诸如不合理的平凡估合理性的要求，将那些诸如不合理的平凡估计排除在外，然后在满足合理性要求的估计计排除在外，然后在满足合理性要求的估计类中寻找优良的估计。类中寻找优良的估计。无偏性无偏性便是一种常用便是一种常用的合理性要求。的合理性要求。7方方差差，即

4、即MSE(,)().Var 由定义由定义2.2可知无偏估计的均方误差就是它可知无偏估计的均方误差就是它在均方误差准则下，既然最好的估计不存在均方误差准则下，既然最好的估计不存的无偏估计（的无偏估计（一致最小方差无偏估计一致最小方差无偏估计）是否）是否那么现在的问题是对无偏估计类那么现在的问题是对无偏估计类 而而U在，在，若存在，它是否是唯一的？若存在，它是否是唯一的？言，同样在均方误差（言，同样在均方误差（方差方差）准则下，最好）准则下，最好存在？存在？如何求？如何求？这些就是我们下面需要讨论的主题。这些就是我们下面需要讨论的主题。81.定义定义有有效效比比则则称称均均有有若若对对任任意意样样

5、本本容容量量的的无无偏偏估估计计量量均均是是带带有有限限方方差差和和设设212121,(1)DDn .,(2)000的的最最小小方方差差无无偏偏估估计计量量为为则则称称均均有有的的任任意意一一个个无无偏偏估估计计量量于于若若对对的的无无偏偏估估计计量量是是带带有有限限方方差差设设 DD 目的是目的是:寻找一个寻找一个最有效最有效的估计量的估计量.D记为：记为：MVUE.就就是是最最有有效效的的估估计计量量的的MVUE 92.3 最小方差无偏估计最小方差无偏估计 10一、最小方差无偏估计一、最小方差无偏估计 由定义由定义2.4知，最小方差无偏估计（知，最小方差无偏估计（MVUE）是在）是在无偏估

6、计类中，使均方误差达到最小的估计量，即在无偏估计类中，使均方误差达到最小的估计量，即在均方误差最小意义下的最优估计。它是在应用中，人均方误差最小意义下的最优估计。它是在应用中，人们希望寻求的一种估计量。们希望寻求的一种估计量。11证 明证 明 设设)(1X 是是 的 任 一 无 偏 估 计，记的 任 一 无 偏 估 计，记)()()(1XXXL ，则，则)(XL为为 0 的无偏估计，由于的无偏估计，由于 )()()()(2 )()()()()(1XEXXELXLEXDXDLXXLDXD )()()(XDXDXDL ，故故)(X 是是 的的 MVUE。12证明证明 设设)(XL满足满足0)(XE

7、L，则有，则有 上式关于上式关于 求导，得求导，得 0)(21exp)(1221dxxxLniinii ，13故有故有 0)(XXLE，所以所以X是是 的的 MVUE。0)(21exp)(12221dxxxLniinii 14利用利用21212)()()(xnxxxniinii，可得，可得 0)(21exp)(12221dxxxxLniinii ,故有故有 0)(2 nSXLE 所以所以2 nS是是2 的的 MVUE。15 定理定理2.7给出了最小方差无偏估计的一种判别方法，给出了最小方差无偏估计的一种判别方法，但由上例可见，该判别法使用并不方便，而且还只是一但由上例可见，该判别法使用并不方便

8、，而且还只是一个充分条件。为了寻求更好的方法，需要借助充分统计个充分条件。为了寻求更好的方法，需要借助充分统计量甚至充分完备统计量的概念。量甚至充分完备统计量的概念。1617证明证明 设设1 和和2 是是 的任意两个无偏估计，由定理的任意两个无偏估计，由定理 3.7知，知，)|(1TE 和和)|(2TE 也是也是 的无偏估计，的无偏估计，18且且 11)|(DTED，22)|(DTED。1920(|)E XTX，222(|)nnE STS。分别是分别是和和2惟一的最小方差无偏估计。惟一的最小方差无偏估计。21解解 样本的联合分布为样本的联合分布为 12111,0,()()0,nnniiix x

9、xLf x其他(1)()(0,)()1,0(),0,nnnxxIx其他 22其中其中(1)x、()nx为最小、最大次序统计量的取值，为最小、最大次序统计量的取值，(0,)()Ix为为示性函数，即示性函数，即(0,)1 0()0 ,xIx其他 23易验证该分布族是完备的，因而易验证该分布族是完备的，因而()nX是是的充分完的充分完备统计量。备统计量。又因又因()0,1nnnnnEXx dxn()()()11|nnnnnEXXXnn 是是的最小方差无偏估计。的最小方差无偏估计。242、有效估计、有效估计1)定义定义的有效估计量的有效估计量为为则称则称即即下界下界的方差达到的方差达到的一个无偏估计量的一个无偏估计量若若 )(1)(,nIDCR 的的效效率率为为称称的的任任意意一一个个无无偏偏估估计计量量若若 )()(1)(,DnIe 的的有有效效估估计计是是时时且且从从而而 ,1)(,1)(0 ee的的渐渐近近有有效效估估计计是是则则称称的的效效率率满满足足的的无无偏偏估估计计量量若若 1)(lim en