两种矩估计法和最大似然估计法一课件.ppt

1、 第 六 章 点 估 计第6.1节 参数的点估计一、点估计问题的提法一、点估计问题的提法二、估计量的求法二、估计量的求法三、小结三、小结 现在我们来介绍一类重要的统计推断问题现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数来估计总体的某些参数或者参数的某些函数.估计废品率估计废品率估计新生儿的平均体重估计新生儿的平均体重估计湖中鱼数估计湖中鱼数 估计平均降雨量估计平均降雨量这类问题称为参数估计这类问题称为参数估计.(一般分点估计，一般分点估计，区间估计区间估计)参数估计问题的一般提法参数估计

2、问题的一般提法要依据该样本对参数要依据该样本对参数 作出估计，或估计作出估计，或估计 的某个已知函数的某个已知函数 .)(g现从该总体中抽取样本现从该总体中抽取样本 设有一个统计总体的分布函数设有一个统计总体的分布函数F(x,)，的范围 是已知(称 为参数空间）12,.n其中其中 为未知参数为未知参数.一、点估计问题的提法12(,).n 称为 的估计量.),(21的的估估计计值值称称为为 nxxx 设总体的分布函数形式已知设总体的分布函数形式已知,但它的一但它的一个或多个参数为未知个或多个参数为未知,借助于总体的一个样借助于总体的一个样本来估计总体未知参数称为本来估计总体未知参数称为点估计问题

3、点估计问题.1212(,),(,).nnx xx 点估计问题就是要构造一个适当的统计量用它的观察值来估计未知参数.,简简记记为为通通称称估估计计 二、估计量的求法 由于估计量是样本的函数由于估计量是样本的函数,是随机变量是随机变量,故故对不同的样本值对不同的样本值,得到的参数值往往不同得到的参数值往往不同,求估求估计量的问题是关键问题计量的问题是关键问题.点估计的求法点估计的求法:(两种两种)矩估计法和最大似然估计法矩估计法和最大似然估计法.一、一、矩估计法矩估计法 其基本思想是用样本矩估计总体矩其基本思想是用样本矩估计总体矩.理论依据理论依据:它是基于一种简单的它是基于一种简单的“替换替换”

4、思想建立起来的一种估计方法思想建立起来的一种估计方法.是英国统计学家是英国统计学家K.皮尔逊最早提出的皮尔逊最早提出的.大数定律大数定律 12,.n 设是来自总体 的一个样本，kkkE设的阶 矩存 在.12k12k.j 则当jk时，存在含有，的函数（，）11njjiijn子样的 阶矩为12(,.),1,2.jjkjk 我们设 1212 ,.,.kk 从而得到k个含未知数的方程，求解可得的一组解：1(,)jjk 矩估计法的具体步骤矩估计法的具体步骤:11(2).;1,2,njjjiijkn令.,21的的方方程程组组个个未未知知参参数数这这是是一一个个包包含含kk ,).3(21k 解出其中解出其

5、中12(1).(,)1,2,kjk j求出E.,表示表示用用k21.,量量这个估计量称为矩估计这个估计量称为矩估计估计量估计量的的分别作为分别作为用方程组的解用方程组的解kk ,).4(2121矩估计量的观察值称为矩估计值矩估计量的观察值称为矩估计值.例例 1 设总体设总体 服从泊松分布服从泊松分布 ，求参数求参数 的估计量的估计量.解：解：设设 是总体是总体 的一个的一个样本样本,由于由于 ,可得可得 12,n E11nini)(P12,(,),.na babab 设总体 在上服从均匀分布其中未知是来自总体 的样本求的矩估计量解解1E,2ba 22E ,41222baba 2DE（）11,2

6、niia bn令22()()124abab211,niin例例222212()abba 即解方程组得到解方程组得到a,b的矩估计量分别为的矩估计量分别为223()a213(),niin223()b213(),niin222122,0,.n 设总体 的均值和方差都存在 且有但和均为未知 又设是一个样本 求和的矩估计量解解1E,22 222()EED222令解方程组得到矩估计量分别为解方程组得到矩估计量分别为11niin222()2211().niniSn例例3上例表明上例表明:总体均值与方差的矩估计量的表达式，不因总体均值与方差的矩估计量的表达式，不因不同的总体分布而异不同的总体分布而异.222

7、(,),N 例未知 即得的矩估计量,2 211().niin一般地一般地:11,niin用样本均值作为总体 的均值的矩估计2211().niimn 用样本二阶中心矩作为总体 的方差的矩估计 矩法的优点是简单易行矩法的优点是简单易行,缺点是，当总体类型已知时，没有缺点是，当总体类型已知时，没有 充分利用分布提供的信息充分利用分布提供的信息.一般场合下一般场合下,矩估计量不具有唯一性矩估计量不具有唯一性.例例4 设总体设总体 的分布密度为的分布密度为xexp 21);()0,(x 为总体为总体 的样本的样本,求参数求参数 的矩估的矩估 计量计量.12(,)n 解解：由于：由于 只含有一个未知参数只

8、含有一个未知参数 ，一般，一般只需求出只需求出 便能得到便能得到 的矩估计量，但是的矩估计量，但是);(xpE1(;)02xExp xdxxedx 即即 不含有不含有 ,故不能由此得到故不能由此得到 的矩估的矩估计量计量.为此为此,求求E|22212()(;)xEx p xdxxe dx20212dxexx 故令故令 22112niin2121nini于是解得于是解得 的矩估计量为的矩估计量为 二、二、最大（极大）似然估计法最大（极大）似然估计法最大似然法最大似然法是在总体类型已知条件下使用是在总体类型已知条件下使用的一种参数估计方法的一种参数估计方法.它首先是由德国数学家它首先是由德国数学家

9、高斯在高斯在1821年提出的年提出的,然而，然而，GaussFisher这个方法常归功于英国统这个方法常归功于英国统计学家费歇计学家费歇.费歇在费歇在1922年重新发现了年重新发现了 这一方法，并首先研究了这这一方法，并首先研究了这 种方法的一些性质种方法的一些性质.（或分（或分1.似然函数似然函数设总体的分布律为设总体的分布律为;Pxp x，其中，其中 m ,.,21 是未知参数，是未知参数，12,.,n 是总体的一个样本是总体的一个样本,12,.,n 或或分分布布密密度度为为 布密度为布密度为 ）);(xp则样本则样本 niixp1;，当给定样本值，当给定样本值 nxxx,.,21后，它只

10、是参数后，它只是参数的函数，记为的函数，记为 L即即 niixpL1;的分布律的分布律则称则称 L为似然函数。似然函数实质上为似然函数。似然函数实质上是样本的分布律或分布密度。是样本的分布律或分布密度。2.最大似然估计法最大似然估计法最大似然估计法，是建立在最大似然最大似然估计法，是建立在最大似然原理的基础上的求点估计量的方法。最原理的基础上的求点估计量的方法。最大似然原理的直观想法是：在试验中概大似然原理的直观想法是：在试验中概率最大的事件最有可能出现。因此，一率最大的事件最有可能出现。因此，一个试验如有若干个可能的结果个试验如有若干个可能的结果,.,CBA 若在一次试验中若在一次试验中，结

11、果结果 出现，则一般出现，则一般A出现的概率最大。出现的概率最大。A认为认为定义定义6.1设总体设总体 的分布密度（或分布律）为的分布密度（或分布律）为 ，其中，其中 为未知参为未知参数。又设数。又设 是总体是总体 的一个样的一个样本值，如果似然函数本值，如果似然函数）（nxxx,.,21).,21m ，（);(xp niixpL1;（6.1）替换成样本替换成样本处处达达到到最最大大值值，则则称称分别为分别为m,.,21似然估计值。似然估计值。m ,.,21 在在m .,21，需要注意的是，最大似然估计值需要注意的是，最大似然估计值i 依赖于样本值，即依赖于样本值，即 niixxx,.,21m

12、i.,2,1若将上式中样本值若将上式中样本值nxxx,.,211,2,.,n 则则所得的所得的12,.,iin 的最大的最大 称为参数称为参数i 的最大似然估计量。的最大似然估计量。由于由于 niixpL1,lnln而而 Lln与与 L在同一在同一 处达到处达到最大值，最大值，为最大似然估计的必要条件为为最大似然估计的必要条件为 0ln iiiL mi,.,2,1称它为似然方程，其中称它为似然方程，其中 m ,.,21（6.2）因此，因此，求最大似然估计量的一般步骤为求最大似然估计量的一般步骤为：（1）求似然函数求似然函数 L（2）一般地，求出一般地，求出 Lln及似然方程及似然方程 0ln

13、iL mi,.,2,1（3）解似然方程得到最大似然估计值解似然方程得到最大似然估计值 niixxx,.,21 mi,.,2,1（4）最后得到最大似然估计量最后得到最大似然估计量 12,.,iin mi,.,2,112(1,),.nBpp 设是来自 的一个样本求 的最大似然估计量1212,nnx xx 设为相应于样本的一个样本值解解1(1),0,1xxPxppx的分布律为似然函数似然函数iixnixpppL 11)1()(,)1(11 niiniixnxpp例例1 1),1ln(ln)(ln11pxnpxpLniinii ,01)(lndd11 pxnpxpLpniinii令令的最大似然估计值的

14、最大似然估计值解得解得 p.11xxnpnii 的最大似然估计量为的最大似然估计量为p.11XXnpnii 这一估计量与矩估计量是相同的这一估计量与矩估计量是相同的.22212(,),.nNx xx 设总体为未知参数是来自 的一个样本值 求 和的最大似然估计量解解的概率密度为,),;()(222221 xexp 似然函数为似然函数为,21),(222)(12 ixnieL例例2,)(21ln2)2ln(2),(ln12222 niixnnL 0),(ln0),(ln222 LL令令,0112 niinx ,0)()(21212222 niixn 解得解得由由0112 niinx ,11xxnn

15、ii 解得解得由由0)()(21212222 niixn ,)(1212xxnnii 为为的最大似然估计量分别的最大似然估计量分别和和故故2 ,2211().niin它们与相应的矩它们与相应的矩估计量相同估计量相同.12,.na babx xxa b设总体 在上服从均匀分布 其中未知是来自总体 的一个样本值求的最大似然估计量解解),min()(nxxxx211 记记),max()(nnxxxx21 的概率密度为 其它,),;(01bxaabbaxp例例3,)()(bxxabxxxann 121等价于因为的函数的似然函数为的函数的似然函数为作为作为ba,其它,)(),()()(011nnxbxa

16、abbaL有的任意于是对于满足条件baxbxan,)()(1,)()(),()()(nnnxxabbaL111 ,nnnxxxbxabaL )(,),()()()()(11取到最大值时在即似然函数的最大似然估计值的最大似然估计值ba,min)(inixxa 11,max)(ininxxb 1的最大似然估计量的最大似然估计量ba,1min,ii na 1max.ii nb 三、小结两种求点估计的方法两种求点估计的方法:矩估计法矩估计法最大似然估计法最大似然估计法 在统计问题中往往先使用最大似然估计法在统计问题中往往先使用最大似然估计法,在最大似然估计法使用不方便时在最大似然估计法使用不方便时,再用矩估计法再用矩估计法.);();,()(niinxpxxxLL121似然函数似然函数费希尔资料Ronald Aylmer FisherBorn:17 Feb 1890 in London,EnglandDied:29 July 1962 in Adelaide,Australia