概率论-参数估计课件.ppt

1、 第 七 章 参 数 估 计第第7.17.1节节 参数的点估计参数的点估计一、点估计问题的提法一、点估计问题的提法二、估计量的求法二、估计量的求法三、小结三、小结 现在我们来介绍一类重要的统计推断问题现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数来估计总体的某些参数或者参数的某些函数.参数估计参数估计估计废品率估计废品率估计新生儿的平均体重估计新生儿的平均体重估计湖中鱼数估计湖中鱼数 估计平均降雨量估计平均降雨量 在参数估计问题中，假定总体分布在参数估计问题中，假定总体分布形式已知，未知的

2、仅仅是一个或几个形式已知，未知的仅仅是一个或几个参数参数.这类问题称为参数估计这类问题称为参数估计.参数估计问题的一般提法参数估计问题的一般提法X1,X2,Xn要依据该样本对参数要依据该样本对参数 作出估计，或估计作出估计，或估计 的某个已知函数的某个已知函数 .)(g现从该总体中抽取样本现从该总体中抽取样本设有一个统计总体，总体的分布函数设有一个统计总体，总体的分布函数向量向量).为为 F(x,)，其中其中 为未知参数为未知参数(可以是可以是 参数估计参数估计点估计点估计区间估计区间估计一、点估计问题的提法一、点估计问题的提法 设总体设总体X的分布函数形式已知的分布函数形式已知,但它的一但它

3、的一个或多个参数为未知个或多个参数为未知,借助于总体借助于总体X的一个样的一个样本来估计总体未知参数的问题称为本来估计总体未知参数的问题称为点估计问点估计问题题.),(),(2121 来估计未知参数来估计未知参数用它的观察值用它的观察值一个适当的统计量一个适当的统计量点估计问题就是要构造点估计问题就是要构造nnxxxXXX.),(21的估计量的估计量称为称为 nXXX.),(21的估计值的估计值称为称为 nxxx.,简记为简记为通称估计通称估计 .,150,0,试估计参数试估计参数数据如下数据如下内断头的次数内断头的次数只纱锭在某一时间段只纱锭在某一时间段现检查了现检查了为未知为未知参数参数为

4、参数的泊松分布为参数的泊松分布假设它服从以假设它服从以随机变量随机变量是一个是一个断头次数断头次数在某纺织厂细纱机上的在某纺织厂细纱机上的 X15011293260456543210knkk次的纱锭数次的纱锭数断头断头断头次数断头次数.,的估计值的估计值作为参数作为参数把把的观察值的观察值再计算出再计算出先确定一个统计量先确定一个统计量 xxXX解解.133.1 x.133.1的的估估计计值值为为 例例1二、估计量的求法二、估计量的求法 由于估计量是样本的函数由于估计量是样本的函数,是随机变量是随机变量,故故对不同的样本值对不同的样本值,得到的参数值往往不同得到的参数值往往不同,求估求估计量的

5、问题是关键问题计量的问题是关键问题.估计量的求法估计量的求法:(两种两种)矩估计法和最大似然估计法矩估计法和最大似然估计法.一、一、矩估计法矩估计法 其基本思想是用样本矩估计总体矩其基本思想是用样本矩估计总体矩.理论依据理论依据:它是基于一种简单的它是基于一种简单的“替换替换”思想建立起来的一种估计方法思想建立起来的一种估计方法.是英国统计学家是英国统计学家K.皮尔逊最早提出的皮尔逊最早提出的.大数定律大数定律设设 X1,X2,Xn 来自总体来自总体X的样本的样本记总体记总体k阶矩为阶矩为)(kkXE 样本样本k阶矩为阶矩为nikikXnA11 用样本矩来估计总体矩用样本矩来估计总体矩,用样本

6、矩的连续函数用样本矩的连续函数来估计总体矩的连续函数来估计总体矩的连续函数,从而得出参数估计，从而得出参数估计，这种估计法称为矩估计法这种估计法称为矩估计法.记总体记总体k阶中心矩为阶中心矩为kkXEXE)(样本样本k阶中心矩为阶中心矩为nikikXXnB1)(1那么用诸那么用诸 的估计量的估计量 Ai分别代替上式分别代替上式中的诸中的诸 ,即可得诸即可得诸 的矩估计量的矩估计量：i i j 设总体的分布函数中含有设总体的分布函数中含有k个未知参数个未知参数 k ,1都是这都是这k个参数的函数个参数的函数,记为：记为：k ,1,那么它的前那么它的前k阶矩阶矩一般一般),(kiig 1i=1,2

7、,k从这从这k个方程中解出个方程中解出j=1,2,k),(kjjh 1),(1kjjAAh j=1,2,k矩估计法的具体步骤矩估计法的具体步骤:klXnAAnililll,2,1;1,).2(1 令令.,21的的方方程程组组个个未未知知参参数数这这是是一一个个包包含含kk ,).3(21k 解出其中解出其中klXEkll,2,1),()().1(21 求出求出.,表示表示用用k21.,量量这个估计量称为矩估计这个估计量称为矩估计估计量估计量的的分别作为分别作为用方程组的解用方程组的解kk ,).4(2121矩估计量的观察值称为矩估计值矩估计量的观察值称为矩估计值.例例 2 设总体设总体 服从泊

8、松分布服从泊松分布 ，求参数求参数 的估计量的估计量.解：解：设设 是总体是总体 的一个的一个样本样本,由于由于 ,可得可得 nXXX,21)(XEXXniin 11 XX)(P.,),(,21的矩估计量的矩估计量求求的样本的样本是来自总体是来自总体未知未知其中其中上服从均匀分布上服从均匀分布在在设总体设总体baXXXXbabaXn解解)(XE1,2ba )(22XE ,41222baba 2)()(XEXD ,1211 niiXnAba令令2224)(12)(Ababa ,112 niiXn例例3 )(1222121AAabAba即即解方程组得到解方程组得到a,b的矩估计量分别为的矩估计量分

9、别为)(32121AAAa ,)(312 niiXXnX)(32121AAAb ,)(312 niiXXnX.,),(,)10(),2,1()1(,211的矩估计量的矩估计量求求的样本的样本体体是来自总是来自总未知未知其中其中即有分布律即有分布律服从几何分布服从几何分布设总体设总体pXXXXppkppkXPXnk 解解)(XE 11)1(kkppk,1p,11XAp 令令.1的矩估计量的矩估计量为所求为所求pXp 例例4.,0,221222的矩估计量的矩估计量和和求求一个样本一个样本是是又设又设均为未知均为未知和和但但且有且有都存在都存在和方差和方差的均值的均值设总体设总体 nXXXX 解解)

10、(XE1,)(22XE,22 2)()(XEXD 2221AA 令令解方程组得到矩估计量分别为解方程组得到矩估计量分别为,1XA 2122AA niiXXn1221.)(112 niiXXn例例5上例表明上例表明:总体均值与方差的矩估计量的表达式，不因总体均值与方差的矩估计量的表达式，不因不同的总体分布而异不同的总体分布而异.的矩估计量的矩估计量即得即得未知未知例例222,),(NX,X 2.)(112 niiXXn一般地一般地:,的均值的矩估计的均值的矩估计作为总体作为总体用样本均值用样本均值XXnXnii 11.)(1212的方差的矩估计的方差的矩估计作为总体作为总体用样本二阶中心矩用样本

11、二阶中心矩XXXnBnii 矩法的优点是简单易行矩法的优点是简单易行,缺点是，当总体类型已知时，没有缺点是，当总体类型已知时，没有 充分利用分布提供的信息充分利用分布提供的信息.一般场合下一般场合下,矩估计量不具有唯一性矩估计量不具有唯一性.X 例例6 设总体设总体 的分布密度为的分布密度为xexp 21);()0,(x 为总体为总体 的样本的样本,求参数求参数 的矩估的矩估 计量计量.),(21nXXXX 解解：由于：由于 只含有一个未知参数只含有一个未知参数 ，一般，一般只需求出只需求出 便能得到便能得到 的矩估计量，但是的矩估计量，但是);(xp)(XE021);()(dxexdxxxp

12、XEx 即即 不含有不含有 ,故不能由此得到故不能由此得到 的矩估的矩估计量计量.为此为此,求求)(XEdxexdxxpxXEx|21222);()(20212dxexx 故令故令 21221niiXnniinX1221于是解得于是解得 的矩估计量为的矩估计量为 本例本例 的矩估计量也可以这样求得的矩估计量也可以这样求得 dxexdxxpXXEx|21|);(|01dxxex故令故令|11 niinX 即即 的矩估计量为的矩估计量为|11 niinX 该例表明参数的矩估计量不唯一该例表明参数的矩估计量不唯一 二、二、最大（极大）似然估计法最大（极大）似然估计法最大似然法最大似然法是在总体类型已

13、知条件下使用是在总体类型已知条件下使用的一种参数估计方法的一种参数估计方法.它首先是由德国数学家它首先是由德国数学家高斯在高斯在1821年提出的年提出的,然而，然而，GaussFisher这个方法常归功于英国统这个方法常归功于英国统计学家费歇计学家费歇.费歇在费歇在1922年重新发现了年重新发现了 这一方法，并首先研究了这这一方法，并首先研究了这 种方法的一些性质种方法的一些性质.（或分（或分1.似然函数似然函数设总体设总体X的分布律为的分布律为;xpxXP，其中，其中 m ,.,21 是未知参数，是未知参数，nXXX,.,21是总体是总体X的一个样的一个样nXXX.,21 或或分分布布密密度

14、度为为 布密度为布密度为 ）);(xp本，则样本本，则样本 niixp1;，当给定样本值，当给定样本值 nxxx,.,21后，它只是参数后，它只是参数的函数，记为的函数，记为 L即即 niixpL1;的分布律的分布律则称则称 L为似然函数。似然函数实质上为似然函数。似然函数实质上是样本的分布律或分布密度。是样本的分布律或分布密度。2.最大似然估计法最大似然估计法最大似然估计法，是建立在最大似然最大似然估计法，是建立在最大似然原理的基础上的求点估计量的方法。最原理的基础上的求点估计量的方法。最大似然原理的直观想法是：在试验中概大似然原理的直观想法是：在试验中概率最大的事件最有可能出现。因此，一率

15、最大的事件最有可能出现。因此，一个试验如有若干个可能的结果个试验如有若干个可能的结果,.,CBA 若在一次试验中若在一次试验中，结果结果 出现，则一般出现，则一般A出现的概率最大。出现的概率最大。A认为认为X定义定义6.1设总体设总体 的分布密度（或分布律）为的分布密度（或分布律）为 ，其中，其中 为未知参为未知参数。又设数。又设 是总体是总体 的一个样的一个样本值，如果似然函数本值，如果似然函数）（nxxx,.,21).,21m ，（);(xpX niixpL1;（6.1）替换成样本替换成样本处处达达到到最最大大值值，则则称称分别为分别为m,.,21似然估计值。似然估计值。m ,.,21 在

16、在m .,21，需要注意的是，最大似然估计值需要注意的是，最大似然估计值i 依赖于样本值，即依赖于样本值，即 niixxx,.,21mi.,2,1若将上式中样本值若将上式中样本值nxxx,.,21nXXX,.,2,1则则所得的所得的 niiXXX.,21 的最大的最大 称为参数称为参数i 的最大似然估计量。的最大似然估计量。由于由于 niixpL1,lnln而而 Lln与与 L在同一在同一 处达到处达到最大值，最大值，为最大似然估计的必要条件为为最大似然估计的必要条件为 0ln iiiL mi,.,2,1称它为似然方程，其中称它为似然方程，其中 m ,.,21（6.2）因此，因此，求最大似然估

17、计量的一般步骤为求最大似然估计量的一般步骤为：（1）求似然函数求似然函数 L（2）一般地，求出一般地，求出 Lln及似然方程及似然方程 0ln iL mi,.,2,1（3）解似然方程得到最大似然估计值解似然方程得到最大似然估计值 niixxx,.,21 mi,.,2,1（4）最后得到最大似然估计量最后得到最大似然估计量 niiXXX,.,21 mi,.,2,1.,),1(21的最大似然估计量的最大似然估计量求求个样本个样本的一的一是来自是来自设设pXXXXpBXn,2121一个样本值一个样本值的的为相应于样本为相应于样本设设nnXXXxxx解解1,0,)1(1 xppxXPXxx的分布律为的分

18、布律为似然函数似然函数iixnixpppL 11)1()(,)1(11 niiniixnxpp例例1 1),1ln(ln)(ln11pxnpxpLniinii ,01)(lndd11 pxnpxpLpniinii令令的最大似然估计值的最大似然估计值解得解得 p.11xxnpnii 的最大似然估计量为的最大似然估计量为p.11XXnpnii 这一估计量与矩估计量是相同的这一估计量与矩估计量是相同的.,),(22122的最大似然估计量的最大似然估计量和和求求的一个样本值的一个样本值是来自是来自为未知参数为未知参数设总体设总体 XxxxNXn解解的概率密度为的概率密度为X,),;()(222221

19、xexpX 的的似然函数为似然函数为,21),(222)(12 ixnieL例例2,)(21ln2)2ln(2),(ln12222 niixnnL 0),(ln0),(ln222 LL令令,0112 niinx ,0)()(21212222 niixn 解得解得由由0112 niinx ,11xxnnii 解得解得由由0)()(21212222 niixn ,)(1212xxnnii 为为的最大似然估计量分别的最大似然估计量分别和和故故2 ,X .)(1212XXnnii 它们与相应的矩它们与相应的矩估计量相同估计量相同.用上述求导方法求参数的最大似然估计用上述求导方法求参数的最大似然估计有时

20、行不通，这时要用极大似然原则来有时行不通，这时要用极大似然原则来求求.说明：说明：.,21的的最最大大似似然然估估计计量量求求的的一一个个样样本本值值是是来来自自总总体体未未知知其其中中上上服服从从均均匀匀分分布布在在设设总总体体baXxxxbabaXn解解),min()(nxxxx211 记记),max()(nnxxxx21 的概率密度为的概率密度为X 其它,),;(01bxaabbaxp例例3,)()(bxxabxxxann 121等价于因为的函数的似然函数为的函数的似然函数为作为作为ba,其它,)(),()()(011nnxbxaabbaL有的任意于是对于满足条件baxbxan,)()(

21、1,)()(),()()(nnnxxabbaL111 ,nnnxxxbxabaL )(,),()()()()(11取到最大值时在即似然函数的最大似然估计值的最大似然估计值ba,min)(inixxa 11,max)(ininxxb 1的最大似然估计量的最大似然估计量ba,min1iniXa .max1iniXb 三、小结三、小结两种求点估计的方法两种求点估计的方法:矩估计法矩估计法最大似然估计法最大似然估计法 在统计问题中往往先使用最大似然估计法在统计问题中往往先使用最大似然估计法,在最大似然估计法使用不方便时在最大似然估计法使用不方便时,再用矩估计法再用矩估计法.);();,()(niinxpxxxLL121似然函数似然函数费希尔资料费希尔资料Ronald Aylmer FisherBorn:17 Feb 1890 in London,EnglandDied:29 July 1962 in Adelaide,Australia