参数统计推断方法课件.ppt

1、参数统计与概率论相比，统计的重要特点在于分布的不确定性。实际中，在得到样本以后，我们最关心的问题之一便是想知道是分布族中的哪一个分布产生此样本，即要从样本推断总体分布或其各种特征数。英国著名统计学家R.A.Fisher 把统计推断归纳为三个方面：抽样分布、参数估计、假设检验。什么是参数估计问题XP(),XE(),XN(,2)用所获得的样本值去估计参数取值称为参数估计参数估计.参参数数估估计计点估计点估计区间估计区间估计用某一数值作为用某一数值作为参数的近似值参数的近似值在要求的精度范围内在要求的精度范围内指出参数所在的区间指出参数所在的区间 参数估计的基本思想参数估计的基本思想参数的点估计估计

2、的优良性v估计的概念相当广泛，任何人都可以给出估计，如果不对估计的好坏加以明确，估计是没有意义的。下面介绍估计的好坏标准。估计量的评选标准 v对于总体的同一个未知参数，由于采用的估计方法不同，可能会产生多个不同的估计量。这就提出了一个问题，当总体的同一个参数存在不同的估计量时，究竟采用哪一个更好？这涉及到用什么样的标准来评价估计量的好坏问题，对此，我们介绍几个常用的评价标准：无偏性、有效性和一致性。无偏性 在评价一个估计量的好坏时,我们当然希望估计量与被估参数越接近越好.但估计量是一个随机变量,它的取值随样本的观测值而变,有时与被估参数的真值近些,有时远些,我们只能从平均意义上看估计量是否与被

3、估参数尽量接近,最好是等于被估参数.于是有无偏估计量的概念.),.,(,),.,(.),.,(:212121否则称为有偏的无偏估计的为则称若的估计量为设定义nnnXXXXXXEXXXv无偏性体现了一种频率思想。只有在大量重复使用时，无偏性才有意义。如估计某批产品的合格率 p ，从中抽取n个产品进行检查，发现有X个合格。容易验证，在假定X服从二项分布下，X/n是p 的无偏估计。然而对一次具体观测值x来说，x/n要么等于p,要么不等于p,此时无偏性显得没有意义。若问题改为某一工厂每天都对其生产的产品进行抽检，假定生产过程相对稳定，则估计的无偏性要求便是合理的。比如用X/n估计p,对每一天而言，该估

4、计可能偏大也可能偏小，但在一段较长的时期内，x/n平均来说在p的周围，有效性 一个参数的无偏估计量不是唯一的,假若参数有两个无偏估计量 ,我们认为其观测值更密集在参数真值附近的一个较为理想.由于方差是随机变量取值与其数学期望的偏离程度的度量,所以无偏估计以方差小者为好.这就引出了估计量的有效性这一概念. .,),()(,),.,(),.,(:定义21212121222111有效比称简有较高的效率比则称使不等式成立有一个且至少有若对的无偏估计量都是与设DDXXXXXXnn一致性 估计量的无偏性和有效性都是在样本容量固定的前提下提出的.我们自然希望随着样本容量的增大,一个估计量的值稳定于待估参数的

5、真值.这就对估计量提出了一致性的要求.1212:( ; ),(,.,).0,lim |0(,.,).nnnXp xXXXPXXX 定义 设总体 有概率函数为待估参数为 的估计量若对于任意总有则称为参数 的一致估计如何找出参数的估计方法v矩法、极大似然方法和最小二乘法是寻找参数点估计的三种主要方法。v矩是基于一种简单的“替换”思想建立起来的一种估计方法，它由K.Pearson在20世纪初提出，其基本思想是用样本矩估计总体矩。v理论依据：大数定律 矩估计法的具体步骤矩估计法的具体步骤设总体设总体 X 的分布函数的分布函数 中含有中含有 12( ;,)kF x kk12,k 个未知参数个未知参数 ，

6、假定总体，假定总体 X 的前的前 阶矩阶矩( )iiEX 1 ,2 , ,ik 存在，存在，则可通过下列则可通过下列步骤步骤求求未知参数的未知参数的矩估计量矩估计量:(1)求总体求总体 X 的前的前 阶矩阶矩k若总体若总体 X 是是离散型离散型随机变量，其分布律为：随机变量，其分布律为：12(;,)kP x 121()( ,),1,2,niilklE XxPik 则：则：12(;,)kf x 则：则：12()( ;,)iikE Xxf xdx 1,2,ik 总总之之，()iiE X 是参数是参数 的函数，的函数，12,k 记为：记为：1112221212(,)(,)(,),kkkkk 若总体若

7、总体 X 是是连续型连续型随机变量，其密度函数为：随机变量，其密度函数为：(2)由（由（*）式解出）式解出 为：为：12,k 1112221212(,)(,)(,()kkkkk (3)用用 的的估估计计量量 分分别别代代替替（*）中中的的 则则得得 的的矩矩估估计计量量 i 11niillMXn ,i i :i 12(,1,2,),iikMMikM 注注: 上述计算步骤对上述计算步骤对 阶中心矩阶中心矩也是成立的。也是成立的。 因为因为 阶中心矩总可以通过展开的方法展开阶中心矩总可以通过展开的方法展开为不超过总体为不超过总体 阶原点矩的函数。阶原点矩的函数。kkk 矩估计法的矩估计法的优缺点优

8、缺点：矩估计法矩估计法并不要求并不要求知道总体分布的具知道总体分布的具体形式就能对总体的数字特征作出估计体形式就能对总体的数字特征作出估计矩估计法要求总体的矩存在，若总体的矩估计法要求总体的矩存在，若总体的矩不存在则矩估计法失效；矩不存在则矩估计法失效； 优点：优点： 缺点：缺点：对某些总体的参数矩估计量不唯一，这对某些总体的参数矩估计量不唯一，这在应用时会带来不利；在应用时会带来不利；对某些总体的参数矩估计量有时不合理对某些总体的参数矩估计量有时不合理;矩估计法只是利用了矩的信息而没有充矩估计法只是利用了矩的信息而没有充分利用总体分布函数的信息分利用总体分布函数的信息 极大似然估计极大似然估

9、计)(估估计计或或简简记记为为MLMLEestimatelikelihoodmaximum 极大似然估计是在母体类型已知条件下使用的极大似然估计是在母体类型已知条件下使用的一种参数估计方法一种参数估计方法 . . 它首先是由德国数学家高斯在它首先是由德国数学家高斯在1821年提出的年提出的 , 费歇在费歇在1922年重新发现了这一方法，并首先研究了年重新发现了这一方法，并首先研究了这种方法的一些性质这种方法的一些性质 . .:极大似然原理极大似然原理的事件易于发生的事件易于发生概率大的事件比概率小概率大的事件比概率小在一次试验中在一次试验中, 先通过一个简单的例子来说明极大似然估先通过一个简单

10、的例子来说明极大似然估计的基本思想计的基本思想一只野兔从前方窜过，一只野兔从前方窜过，是谁打中的呢？是谁打中的呢？某位同学与一位猎人一起外出打猎某位同学与一位猎人一起外出打猎 . .如果要你推测，如果要你推测，你会如何想呢你会如何想呢? ?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 . . 下面我们再看一个例子下面我们再看一个例子, ,进一步体会极大似然法进一步体会极大似然法的基本思想的基本思想 . . 你就会想，只发一枪便打中你就会想，只发一枪便打中, ,猎人命中的概率一般猎人命中的概率一般大于这位同学命中的概率大于这位同学命中的概率. .看来这一枪是猎人射中的看来这一枪是猎人射中

11、的. . 这个例子所作的推断已经体现了这个例子所作的推断已经体现了极大似然法极大似然法的基的基本思想本思想 . . 例例1 一个箱子里装有黑、白球共一个箱子里装有黑、白球共9 9个个, ,我们从中随机我们从中随机地无放回地抽取三个球，发现恰有地无放回地抽取三个球，发现恰有2 2个黑球，请猜一个黑球，请猜一下下( (估计估计) )箱子里有几个黑球，几个白球箱子里有几个黑球，几个白球. . 这是典型的这是典型的“黑箱黑箱”问题问题. .可以这样来分析、推断：可以这样来分析、推断： 随机所以能取得随机所以能取得“二个黑球一个白球二个黑球一个白球”这是由箱这是由箱中球的状况决定的中球的状况决定的. .

12、我们就从这个我们就从这个“信息信息”出发出发. . 箱中球的状况箱中球的状况 能取得二个黑球一个白球的能取得二个黑球一个白球的( (所有可能情形所有可能情形) ) 可能性大小可能性大小 黑球数黑球数 白球数白球数 P P 1. 1 8 0 1. 1 8 0 2 . 2 7 2 . 2 7 3. 3 6 3. 3 6 4. 4 5 4. 4 5 5. 5 4 5. 5 4 6. 6 3 6. 6 3 7. 7 2 7. 7 2 8. 8 1 8. 8 1 9. 9 0 0 9. 9 0 010. 0 9 0 10. 0 9 0 0830391722.CCC 21430391623.CCC 357

13、10391524.CCC 47620391425.CCC 53570391326.CCC 50000291227.CCC 330391128.CCC 比较这些概率的大小比较这些概率的大小 ，我们可以推断箱中黑球数，我们可以推断箱中黑球数最有可能是最有可能是6个个( (显然，显然，这个推断不是绝对正确的这个推断不是绝对正确的).). 这是一种新的逻辑推理方法：根据概率最大，推断这是一种新的逻辑推理方法：根据概率最大，推断 “事情事情”发生的原因是什么发生的原因是什么. .最小二乘估计-常见于线性模型v1801年，意大利天文学家朱赛普皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神

14、星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数的观测数据开始寻找谷神星，但是根据大多数人计算的结果据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯使用的最小二乘法的方法发表于1809年他的著作天体运动论中。 v法国科学家勒让德于1806年独立发现最小二乘法，但因不为时人所知而默默无闻。v勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。v1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为

15、高斯-莫卡夫定理。v最小二乘的思想就是要使得观测点和估计点最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小的距离的平方和达到最小.这里的这里的“二乘二乘”指指的是用平方来度量观测点与估计点的远近的是用平方来度量观测点与估计点的远近（在古汉语中（在古汉语中“平方平方”称为称为“二乘二乘”），），“最小最小”指的是参数的估计值要保证各个观指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小测点与估计点的距离的平方和达到最小 v最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。