概率论-参数的点估计课件.ppt

1、下下回回停停一、问题的提出一、问题的提出二、矩估计法二、矩估计法 第一节第一节 参数的点估计参数的点估计 三、最大似然估计三、最大似然估计 未知参数未知参数 ，这种问题称为参数估计问题，这种问题称为参数估计问题.在实际中我们经常遇到这样的问题：总体在实际中我们经常遇到这样的问题：总体X的的分布函数分布函数 ;xF的形式为已知，的形式为已知， 是未知参是未知参数数.nXXX,21是是X的一个样本的一个样本,nxxx,21为相应的一个样本值为相应的一个样本值. 我们希望用样本值去估计我们希望用样本值去估计一、点估计问题的提出一、点估计问题的提出 已知某电话局在单位时间内收到用户呼唤次已知某电话局在

2、单位时间内收到用户呼唤次 数这个总体数这个总体X服从泊松分布服从泊松分布 p, 即即X的分布律的分布律!kP Xkek 012k ， ， ，的形式已知的形式已知 . 利用样本值利用样本值 估计估计 12nxxx， ， ，的值的值. E X 例例1已知某种灯泡的寿命已知某种灯泡的寿命 ，即，即 2( ,)XN 的分布密度的分布密度 X22()221( ; ,)2xp xe x 的形式已知，但参数的形式已知，但参数 未知未知 . 利用样本值利用样本值 2 ，12nxxx， ，估计，估计 ， . E X 2D X 例例2考虑某厂生产的一批电子元件的寿命这个考虑某厂生产的一批电子元件的寿命这个 总体总

3、体 ；不知道；不知道 的分布形式的分布形式 ，根据样本值，根据样本值 XX12nxxx， ， 估计元件的平均寿命和元件寿命估计元件的平均寿命和元件寿命 的差异程度的差异程度,即估计总体即估计总体 的均值的均值 和方差和方差 XE XD X. 例例3在数理统计中称统计量在数理统计中称统计量 12nXXX， ， 点估计常用方法：矩估计和最大似然估计法点估计常用方法：矩估计和最大似然估计法. 解决上述参数解决上述参数 的点估计问题的思路是的点估计问题的思路是: 设法设法 作出合理的估计作出合理的估计 . 的估计值的估计值 . 构造一个合适的统计量构造一个合适的统计量nXXX,21 , 对对 为为 的

4、估计量的估计量, 的观测值的观测值nxxx,21 称为称为矩估计法是由英国统计学家矩估计法是由英国统计学家矩估计法的基本思想是用样本的矩估计法的基本思想是用样本的 阶原点矩阶原点矩 k11nkkiiAXn 去估计总体去估计总体 的的 阶原点矩阶原点矩 ; Xk()kE X皮尔逊皮尔逊(K.Pearson)在在1894年提出年提出. 用样本的用样本的k阶中心矩阶中心矩nikkXXnB11去估计总体去估计总体并由此得到未知参数的估计量并由此得到未知参数的估计量 . 二、矩估计法二、矩估计法的的k阶中心矩阶中心矩() ;kE XE X 设总体设总体 的分布函数为的分布函数为 ,X12mF x；， ，

5、12m， ，是是 个待估计的未知参数个待估计的未知参数 . 设设 m()mmE X 存在，对任意存在，对任意 , k 1 2km， ， ， 1212()kkkmkmE Xx dF x； ， ， ， 现用样本矩作为总体矩的估计，即令现用样本矩作为总体矩的估计，即令1211,.nkkikmiAXn 1,2,km这便得到含这便得到含 个参数个参数 的的 个方程组个方程组, m12m， ， m解该方程组并记所得的解为解该方程组并记所得的解为nkkXXX,21 mk, 21以以 作为参数作为参数 的估计量的估计量. 这种求出估计量的方法这种求出估计量的方法 k k 称为矩估计法称为矩估计法 . 设总体设

6、总体 服从泊松分布服从泊松分布 , 求参数求参数 的的 X P 矩估计量矩估计量 . 解解 11niiXXn 设设nXXX,21是总体是总体X的一个样本的一个样本,由于由于, XE可得可得例例4解得解得X 求总体求总体 的均值的均值 和方差和方差 的矩估计的矩估计. X 2 解解 设设 是总体是总体 的一个样本，的一个样本， 12nXXX， ，X由于由于 222()()()()E XE XD XEX 故令故令22211niiXXn 222211niniXXXSn 解得解得例例5解解 设设 是总体是总体 的一个样本，的一个样本， 12nXXX， ，X容易求得容易求得 1222221122122E

7、 XE X 设总体设总体X服从区间上服从区间上,21 的均匀分布的均匀分布,求参数求参数21, 的矩估计量的矩估计量.例例6故令故令122222112121122niiXXn 解得解得 和和 的矩估计量为的矩估计量为 1 2 13nXS 23nXS 设总体设总体 的分布的分布 密度为密度为 X1( ; )2xp xe 0 x， 为总体为总体 的一个样本，求参数的一个样本，求参数 12nXXX， ，X 的矩估计量的矩估计量 . 由于由于 只含有一个未知参数只含有一个未知参数 ,一般一般 ( ; )p x 只需求出只需求出 便能得到便能得到 的矩估计量，但是的矩估计量，但是 E X 102xE X

8、xedx 解解即即 不含有不含有 ,故不能由此得到故不能由此得到 的矩估计量的矩估计量. E X 例例7221()2xE Xxedx 22012xx edx 于是解得于是解得 的矩估计量为的矩估计量为 2112niiXn 本例本例 的矩估计量也可以这样求得的矩估计量也可以这样求得 1|2xE Xxedx 01xxe 故令故令 11niiXn 即即 的矩估计量为的矩估计量为 11niiXn 该例表明参数的矩估计量不唯一该例表明参数的矩估计量不唯一.最大似然估计作为一种点估计方法最初是由最大似然估计作为一种点估计方法最初是由 德国数学家高斯德国数学家高斯(Gauss)于于1821年提出，英国统计年

9、提出，英国统计 学家费歇尔学家费歇尔(R.A.Fisher)在在1922年作了进一步发展年作了进一步发展 使之成为数理统计中最重要应用最广泛的方法之一使之成为数理统计中最重要应用最广泛的方法之一. GaussFisher三、最大似然估计三、最大似然估计设总体设总体 的分布律为的分布律为 或或 X()( ; )P Xxp x 分布密度为分布密度为 ，其中，其中 是未是未 ( ; )p x 12,.,m 知参数，知参数， 的分布律的分布律(或分布密度或分布密度) 12nXXX， ，为为 ,当给定样本值当给定样本值 后，后， 1(; )niip x 12nxxx， ， 它只是参数它只是参数 的函数，

10、记为的函数，记为 ，即，即 L 1(; )niiLp x则称则称 为似然函数，似然函数实质上是样本的为似然函数，似然函数实质上是样本的 L 分布律或分布密度分布律或分布密度. 1. 似然函数似然函数最大似然原理的直观想法：在试验中概率最大似然原理的直观想法：在试验中概率 最大的事件最有可能出现最大的事件最有可能出现 .一个试验如有若干个一个试验如有若干个 可能结果可能结果 ,若在一次试验中，结果若在一次试验中，结果 出现出现, AB， ， A则认为则认为 出现的概率最大出现的概率最大. A2. 最大似然估计法最大似然估计法 假定一个盒中黑球和白球两种球的数目之比假定一个盒中黑球和白球两种球的数

11、目之比 为为 3:1，但不知哪种球多，但不知哪种球多， 表示从盒中任取一球表示从盒中任取一球 p是黑球的概率，那么是黑球的概率，那么 或或 , 现在有放回地现在有放回地 1/4p 3/4从盒中抽从盒中抽3个球，试根据样本中的黑球数个球，试根据样本中的黑球数 来估计来估计 X参数参数 .p解解随机变量随机变量 ，即，即 3XBp，331xxxP XxC pp 0 1 2 3X， ， ，例例81/40 13/42 3xpx， 估计估计 只需在只需在 和和 之间作出选择之间作出选择. p1/4p 3/4p 计算这两种情况下计算这两种情况下 的分布律：的分布律： X的估计的估计 p27/6427/64

12、9/641/641/649/6427/6427/643210X3/4p P Xx1/4p P Xx,设总体设总体 的分布密度的分布密度(或分布律或分布律)为为 ， Xp x； 其中其中 为未知参数为未知参数 . 又设又设 12,.,m 12,.,nxxx是总体是总体 X的一个样本值，如果似然函数的一个样本值，如果似然函数 1niiLp x； 在在 12,m 处达到最大，则称处达到最大，则称 12,m 分别为分别为 的最大似然估计量的最大似然估计量. 12,m 定义定义6.1由于由于 1lnlnniiLp x； lnL 与与 有相同的最大值点有相同的最大值点 .因此，因此， 为为 L 最大似然估

13、计的必要条件为最大似然估计的必要条件为 ln0iL 1 2im， ， ， 称它为似然方程称它为似然方程, 其中其中12,.,.m 求最大似然估计量的一般步骤为：求最大似然估计量的一般步骤为：1求似然函数求似然函数 ； L 2求出求出 及似然方程及似然方程 lnL ln0iL 1 2im， ， ，3解似然方程得到最大似然估计值解似然方程得到最大似然估计值12iimxxx， ，1 2im， ， ， 4最后得到最大似然估计量最后得到最大似然估计量 12iimXXX， ，1 2im， ， ， 设总体设总体 服从泊松分布服从泊松分布 ,其中其中 为未知为未知X P 参数，试求参数参数，试求参数 的最大似

14、然估计量的最大似然估计量 . 设样本设样本 的一个观测值为的一个观测值为 12nXXX， ，解解12,.,mxxx ,由于总体由于总体 ,故有故有 XP !xP Xxex 似然函数为似然函数为111!niiixxnnniiiiLeexx 例例9取对数取对数 11lnlnln!nniiiiLxxn 1ln10niidLxnd 11niixxn 即即 所以所以 的最大似然估计量为的最大似然估计量为 . X 设总体设总体 ，求参数，求参数 的最大的最大2( ,)XN 2, 似然估计量似然估计量 . 解解设设 是总体是总体 的样本，的样本， 12nXXX， ，X其观测值为其观测值为 , 由总体由总体

15、, 12,.,nxxx2,XN 分布密度为分布密度为 22()21( ;)2xup xe 例例10 2212221()2/21112(2 )niiixxnnniLee 似然函数似然函数 22211lnln 2ln222niinnLx 21ln10niiLx 22241ln1022niiLnx 解似然方程得解似然方程得11niixxn， 22211ninixxsn 最大似然估计量为最大似然估计量为 . 22,nXS 两种求点估计的方法两种求点估计的方法: 矩估计法矩估计法最大似然估计法最大似然估计法 在统计问题中往往先使用最大似然估计法在统计问题中往往先使用最大似然估计法, );();,()(

16、niinxpxxxLL121似然函数似然函数在最大似然估计法使用不方便时在最大似然估计法使用不方便时, , 再用矩估计法再用矩估计法. .内容小结内容小结第二次捕出的有记号的鱼数第二次捕出的有记号的鱼数X是是r.v, X具有超几何具有超几何分布：分布：试用最大似然法估计湖中的鱼数试用最大似然法估计湖中的鱼数.为了估计湖中的鱼数为了估计湖中的鱼数N，第一次捕上，第一次捕上r条鱼条鱼，做做上记号后放回上记号后放回. 隔一段时间后隔一段时间后, 再捕出再捕出 S 条鱼条鱼, 结果发现这结果发现这S条鱼中有条鱼中有k条标有记号条标有记号. 根据这个根据这个信息信息, 如何估计湖中的鱼数呢如何估计湖中的

17、鱼数呢?),min(0rSk ,SNkSrNkrkXP思考题思考题应取使应取使L(N;k)达到最大的达到最大的N, 作为作为N的最大似然估计的最大似然估计. 把上式右端看作把上式右端看作N的函数，记作的函数，记作L(N;k) .) 1;();(NkXPNkXP)()(kSrNNrNSN经过简单的计算知，这个比值大于或小于经过简单的计算知，这个比值大于或小于1，kSrN 或或kSrN 而定而定 .由由SNkSrNkrkXP但用对但用对N求导的方法相当困难求导的方法相当困难, 我们考虑比值我们考虑比值：) 1;();(NkXPNkXP)()(kSrNNrNSN经过简单的计算知，这个比值大于或小于经

18、过简单的计算知，这个比值大于或小于1，kSrN 或或而定而定 .由由kSrN 这就是说，当这就是说，当N增大时，序列增大时，序列P(X=k;N)先是上先是上升而后下降升而后下降; 当当N为小于为小于 kSr的最大整数时的最大整数时,达到最大值达到最大值 . 故故N的最大似然估计为的最大似然估计为.kSrN 解解则则X1,X2,Xn是取自是取自B(1, p)的样本，的样本，p是每次抽取是每次抽取时取到白球的概率，时取到白球的概率，p未知未知 .先求先求 p 的最大似然估计：的最大似然估计：一罐中装有白球和黑球，有放回地抽一罐中装有白球和黑球，有放回地抽取一个容量为取一个容量为n的样本，其中有的样

19、本，其中有 k 个白球，个白球，求罐中黑球与白球之比求罐中黑球与白球之比 R 的最大似然估计的最大似然估计.n,1,i , 0, 1取到黑球取到黑球取到白球取到白球iX备用题备用题例例9-1我们容易求得我们容易求得由前述最大似然估计的性质不难求得由前述最大似然估计的性质不难求得p的最大似然估计的最大似然估计为为的最大似然估计是的最大似然估计是kpn 1pRp 11pkRpn 设总体设总体 服从区间服从区间 上的均匀分布上的均匀分布, X0， 试求参数试求参数 矩估计量和最大似然估计量矩估计量和最大似然估计量 . 解解其观测值为其观测值为 ，12,.,nxxx2E X 112niiXn 故故 即

20、即 的矩估计量为的矩估计量为 122niiXXn 设设nXXX,21是总体是总体X的样本的样本,例例10-1总体总体 的分布密度为的分布密度为 X100 xp x；其其他他 则似然函数为则似然函数为 1211,0,.,0,nnixxxLp x；其其他他 11,maxmin00,iini nxx，其其他他 ( )1maxini nXX 估计量为估计量为 当当inix 1max 时时 L达到最大达到最大, 故故 的最大似然的最大似然设总体设总体X服从服从,2 N对于容量为对于容量为n的样本的样本, 求使得求使得05. 0;2dxxfA 的点的点A的最大似然估计的最大似然估计.解解设设nxxx,21为来自总体为来自总体X的一个样本的一个样本,可求得可求得 与与2 的最大似然估计分别为的最大似然估计分别为niinXxnSX12221, 例例10-2由由AxPdxxfA2; 05. 0 AxP则则95. 0 AAxP查表得查表得645. 1 A故故A的最大似然估计的最大似然估计. 645. 1 A