第七章参数估计课件.ppt

1、第七章第七章 参数估计参数估计7.1 7.1 7.2 7.2 7.3 7.3 7.1 7.1 参数的点估计概念参数的点估计概念定义定义 设总体设总体X的分布函数的形式已知，它的的分布函数的形式已知，它的一个或多个参数未知，根据总体一个或多个参数未知，根据总体X的一个样本的一个样本X1,X2,Xn来估计总体未知参数的真值称为参来估计总体未知参数的真值称为参数的数的点估计点估计。定义定义 设总体设总体X 的分布函数的分布函数F(x,)中含有未知中含有未知参数参数，X1,X2,Xn为总体为总体X的一个样本，的一个样本，x1,x2,xn是相应的一个样本值。构造一个适是相应的一个样本值。构造一个适当的不

2、含未知参数的统计量当的不含未知参数的统计量 ，用它的观测值用它的观测值 作为参数作为参数 的近似的近似值，称值，称 为为参数参数 的估计量的估计量，称，称 为为参数参数 的估计值的估计值。12(,)nx xx12(,)nXXX12(,)nx xx12(,)nXXX设总体设总体X 的分布函数的形式已知，但它含有的分布函数的形式已知，但它含有k个不同的未知参数个不同的未知参数 1,2,k 时时设设 X1,X2,Xn为总体的一个样本为总体的一个样本构造构造 k 个统计量：个统计量：11221212(,)(,)(,)nnknXXXXXXXXX当测得一组样本值当测得一组样本值(x1,x2,xn)时，代入

3、上述统计时，代入上述统计量，即可得到量，即可得到 k个数个数,分别作为这分别作为这k个参数的估计值个参数的估计值11221212(,)(,)(,)nnknx xxx xxx xx数数值值随随机机变变量量 设设(X1,X2,Xn)是来自总体是来自总体X 的一个样本的一个样本,根据大数定律，对任意根据大数定律，对任意00，有，有lim|()|0nPXE X并且对于任何并且对于任何k，只要，只要E(Xk k)存在，同样有存在，同样有11lim|()|01,2,.nkkiniPXE Xkn 因此，很自然地想到用样本矩来代替总体因此，很自然地想到用样本矩来代替总体矩，从而得到总体分布中参数的一种估计。矩

4、，从而得到总体分布中参数的一种估计。矩估计法矩估计法定义定义 设总体设总体X的分布函数中含有的分布函数中含有k个未知参数个未知参数 1 1,2 2,k k,即即F=F(x;1 1,2 2,k k)，总体，总体X的前的前k 阶矩阶矩 l=E(Xl)()(l=1,2,=1,2,k)存在存在,它们是它们是 1 1,2 2,k k的函数的函数 l(1 1,2 2,k k)()(l=1,2,=1,2,k)假设假设X1 1,X2 2,Xn n是总体是总体X的一个样本，建立的一个样本，建立统计量统计量-样本样本l 阶原点矩阶原点矩Al(l=1,2,=1,2,k)，由下列，由下列方程组：方程组：1121212

5、212(,)(,)(,)kkkkkAAA 12(,),1,2,llklA AAlk解得并以 作为参数 的估计量，这种估计量称为估计量，这种估计量称为矩估计量矩估计量，矩估计量的，矩估计量的观察值就是观察值就是矩估计值矩估计值。例例2 2 设总体设总体X在在 a,b 上服从均匀分布，上服从均匀分布，a,b为未知量，为未知量，X1 1,X2 2,Xn n是是X的一个样本，的一个样本，试求试求a,b的矩估计量。的矩估计量。解：解：1(,)()2aba bE X22222()()(,)()()()124baaba bE XD XE X111222111niiniiAXXnAXn 1221212()a

6、bAb aAA 即 22121122121133()()33()()niiniiaAAAXXXna bbAAAXXXn,的矩估计量为 建立建立统计统计量方量方程组程组一般地一般地,不论总体服从什么分布，若总不论总体服从什么分布，若总体的期望体的期望 与方差与方差 2 2均存在均存在,则它们的则它们的矩估计量分别为矩估计量分别为11niiXXn 样本均值22211()niniXXSn 样本2阶中心矩定义定义 设总体设总体X的分布函数的分布函数F(x;)中含有未中含有未知参数知参数，X1 1,X2 2,Xn n是总体是总体X的一个样本，的一个样本，x1,x2,xn为样本观察值，为样本观察值，的似然

7、函数为的似然函数为L(x1,x2,xn;)1(,;)maxnL xxL极大似然函数估计法的主要思想极大似然函数估计法的主要思想适当选取适当选取，使得似然函数，使得似然函数L()的值达到最大，的值达到最大，也就是使试验得出的结果也就是使试验得出的结果X1 1=x1 1,X2 2=x2 2,Xn n=xn n的概率最大，这个值就是参数的概率最大，这个值就是参数 的估计值。的估计值。如果存在如果存在，使得函数，使得函数L L达到最大值，即达到最大值，即则称则称是参数是参数 的的极大似然估计值极大似然估计值；1(,)nXX而称而称为参数为参数 的的极大似然估计量。极大似然估计量。求极大似然估计的一般步

8、骤求极大似然估计的一般步骤(1)(1)构造似然函数构造似然函数L()1111()(,)(,)(,)nnnniiLL xxP XxXxp x为参数为参数 的的似然函数似然函数。若总体若总体X是离散型随机变量，其分布律为是离散型随机变量，其分布律为 P(X=x)=)=p(x,)其中其中 为未知参数为未知参数设设X1 1,X2 2,Xn n是来自总体是来自总体X的一个样本，的一个样本，而而x1,x2,xn为为X1 1,X2 2,Xn n的一个样本的一个样本值，那么称值，那么称11()(,)(,)nniiLL xxf x若总体若总体X是连续型随机变量，其概率密度是连续型随机变量，其概率密度为为f(x,

9、)，x1,x2,xn为为X1 1,X2 2,Xn n的的一个样本值，则参数一个样本值，则参数 的似然函数为的似然函数为(2)(2)求似然函数求似然函数L()的最大值点的最大值点()L挑选使达到最大的参数，作为 的估计11(,)max(,)nnL xxL xx()ln()00dLdLdd 或者 似然似然方程方程11(,)ln(,)001,)kkiiLLik 或者 (当未知参数可以不止一个时，例如当未知参数可以不止一个时，例如 1,k，那么可由下述方程组求得那么可由下述方程组求得似然似然方程方程组组 因为因为L()与与lnlnL()有相同的极大值点，有相同的极大值点，而而lnlnL()往往计算更为

10、方便，所以常用往往计算更为方便，所以常用lnlnL()进行计算。进行计算。一般地，参数一般地，参数 的极大似然估计值可由下式的极大似然估计值可由下式求得求得1212(,;,)01,2,nkiL x xxik 其中可求得未知参数的极大似然估计值可求得未知参数的极大似然估计值k,21然后再求得极大似然估计量。然后再求得极大似然估计量。若若L 是是 1,2,n的可微函数，解似然方程组的可微函数，解似然方程组若若L 不是不是 1,2,n 的可微函数，则需用其它的可微函数，则需用其它方法方法(即回到原始的定义即回到原始的定义)来求极大似然估计值。来求极大似然估计值。求解注意事项求解注意事项7.2 7.2

11、 估计量的评选标准估计量的评选标准 对于总体分布的某一参数，因为只要求对于总体分布的某一参数，因为只要求其估计量是统计量，所以对此参数可以有多其估计量是统计量，所以对此参数可以有多种不同的估计量。这就涉及到估计量的评选种不同的估计量。这就涉及到估计量的评选标准。标准。对于同一参数，用不同的估计方法求出对于同一参数，用不同的估计方法求出的估计量可能不相同。另外，用矩估计法和的估计量可能不相同。另外，用矩估计法和极大似然估计法所得的参数估计量不一定唯极大似然估计法所得的参数估计量不一定唯一。例如，在泊松分布中，由于均值和方差一。例如，在泊松分布中，由于均值和方差都为都为 ，因此除了样本均值是参数，

12、因此除了样本均值是参数 的矩估的矩估计量外，样本方差也是参数计量外，样本方差也是参数 的矩估计量。的矩估计量。一致性一致性lim()0nP 则称则称是参数是参数 的的一致一致(或相合或相合)估计量。估计量。定义定义 设设 是总体是总体X 的未知参的未知参数数 的估计量的估计量。若若n 时时，依概率收敛于依概率收敛于，即对于任意给定的正数即对于任意给定的正数 0 有有12(,)nX XX一致性估计量仅在样本容量一致性估计量仅在样本容量n足够大时足够大时才显其优越性才显其优越性关于一致性的常用结论关于一致性的常用结论 样本样本k 阶矩是总体阶矩是总体k 阶矩的一致性估计量阶矩的一致性估计量 由大数

13、定律证明由大数定律证明矩法得到的估计量一般为一致估计量矩法得到的估计量一般为一致估计量在一定条件下在一定条件下,极大似然估计具有一致性极大似然估计具有一致性无偏性无偏性 估计量是随机变量，对于不同的样本值估计量是随机变量，对于不同的样本值会得到不同的估计值。我们希望估计值在未会得到不同的估计值。我们希望估计值在未知参数的真值附近摆动，并且使它的数学期知参数的真值附近摆动，并且使它的数学期望值等于未知参数的真值，这就导致无偏性望值等于未知参数的真值，这就导致无偏性这个标准。这个标准。()()EE若存在，且有则称则称 为参数为参数 的的无偏估计量无偏估计量,否则为有偏估计量。否则为有偏估计量。1(

14、,)nXX定义定义 设设是未知参数是未知参数 的估计量，的估计量，.真值真值 特别地特别地 是总体期望是总体期望E(X)的无偏估计量的无偏估计量X样本均值样本均值2211niiAXn样本二阶原点矩样本二阶原点矩是是的无偏估计量的无偏估计量22()E X总体二阶原点矩总体二阶原点矩q q 结论结论：设总体设总体X 的期望的期望 E(X)=与方差与方差D(X)=2存在存在，X1 1,X2 2,Xn n是总体是总体X的一个样本。的一个样本。2221()nnE Sn不是不是 D(X)的无偏估的无偏估计计。2211()nniiSXXn(2)195195页页例例9 922E S是是 D(X)的无偏估计；的

15、无偏估计；2211()1niiSXXn(1)194194页页例例8 8有效性有效性D()D()21则称则称 较较 有效有效。21都是参数都是参数 的无偏估计量，若有的无偏估计量，若有11(,)nXX221(,)nXX1定义定义 设设和和 在数理统计中常用到最小方差无偏估计：在数理统计中常用到最小方差无偏估计：*()()DD*其中其中 是是 的任一无偏估计，的任一无偏估计，则称则称 为为 的最小方差无偏估计，也称的最小方差无偏估计，也称最佳无最佳无偏估计。偏估计。定义定义 设设X1 1,X2 2,Xn n是是取自总体取自总体X 的一个样本，的一个样本，1(,)nXX是未知参数是未知参数 的的无偏

16、无偏估计量，如果估计量，如果罗罗克拉美克拉美(Rao(Rao-Cramer)-Cramer)不等不等式式*21()(ln(;)DnEf X结论结论：设设X1 1,X2 2,Xn n是是取自总体取自总体X 的一个的一个样本，且样本，且E(X)=,D(X)=2 1niiic X则有则有 是是 的无偏估计量的无偏估计量；11,2,)1niiic inc(且(1)若常数若常数1niiic X(2)在在 中，中，最有效。最有效。X算术均值比加权均值更有效算术均值比加权均值更有效7.3 7.3 参数的区间估计参数的区间估计 上一节中，我们讨论了参数的点估计，它是上一节中，我们讨论了参数的点估计，它是由样本

17、算得的一个值去估计未知参数。但是，即由样本算得的一个值去估计未知参数。但是，即使是无偏估计量也会由于样本的随机性使得估计使是无偏估计量也会由于样本的随机性使得估计值带有偏差，所以点估计值仅仅是未知参数的一值带有偏差，所以点估计值仅仅是未知参数的一个近似值，它没有反映出近似值的误差范围，而个近似值，它没有反映出近似值的误差范围，而有时我们又需要对此偏差作出衡量，知道近似值有时我们又需要对此偏差作出衡量，知道近似值的精确程度。的精确程度。本节的区间估计正好弥补了点估计的缺陷，本节的区间估计正好弥补了点估计的缺陷，它是通过寻找一个区间，并利用此区间包含未知它是通过寻找一个区间，并利用此区间包含未知参

18、数真值的可信程度来估计未知参数的方法。参数真值的可信程度来估计未知参数的方法。置信区间置信区间 定义定义 设总体设总体X的分布函数的分布函数F(x;)中含有未知中含有未知参数参数，对于给定的，对于给定的 (0 1)，若由样本，若由样本X1 1,X2 2,Xn n确定的两个统计量确定的两个统计量定义定义 设统计量设统计量 则则 称为随机区间，称为随机区间，和和 分别称为分别称为随机区间的随机区间的下限下限和和上限上限。1212(,)(,)nnXXXXXX,1212(,)(,)nnXXXXXX和满足()1P 则称则称1-1-为为置信度置信度，随机区间，随机区间 称为称为 的置信度为的置信度为1-1

19、-的的置信区间置信区间，和和 分别称为分别称为置信度为置信度为1-1-的的置信下限置信下限和和置信上限置信上限。,求置信区间的步骤求置信区间的步骤(1)先求出样本的一个函数先求出样本的一个函数12(,;)ngg XXX它含有待估参数它含有待估参数，不含其它未知参数不含其它未知参数，它的分它的分布已知布已知，而，而且该分布不依赖于待估参数且该分布不依赖于待估参数(通常通常由由 的点估计作为考虑的出发点的点估计作为考虑的出发点)。1(,)5XN12(,;)(0,1)15nXg X XXN例如：例如：称为称为枢轴量枢轴量12(,;)1nP ag XXXb(3)由不等式由不等式 a g(X1 1,X2

20、 2,Xn n)50，1-2的的置信区间置信区间122212()()(0,1)XYUNSSnm取枢轴量取枢轴量,X Y相互独立相互独立可得可得 1-2 的的置信度为置信度为1-的的置信区间为置信区间为(3)12=22=2而而 2未知，未知，1-2的置信区间的置信区间122212()()(2)(1)(1)112XYTt nmnSmSnmnm取枢轴量取枢轴量可得可得 1-2 的的置信度为置信度为1-的的置信区间为置信区间为 22212(1)(1)11()(2)2nSmSXYtnmnmnm两个正态总体方差比两个正态总体方差比 12/22的置信区间的置信区间(1)期望期望 1,2 均已知均已知，12/

21、22的置信区间的置信区间取枢轴量取枢轴量22111122211221212222()()1()(,)()1nniiiimjjmjjXmXnYnFF n mYm可得可得 12/22的的置信度为置信度为1-的的置信区间为置信区间为 222211111222211()()(,),(,)()()nniiiimmjjjjXXmmFmnF mnnnYY(2)期望期望 1,2 均未知均未知，12/22的置信区间的置信区间取枢轴量取枢轴量2122211222212222/(1,1)/SSSFF nmS22111/2/22222(1,1),(1,1)SSFmnFmnSS可得可得 12/22的的置信度为置信度为1

22、-的的置信区间为置信区间为 单侧置信区间单侧置信区间定义定义 对于给定的对于给定的 (0 1)，是待估参数，是待估参数，X1 1,X2 2,Xn n是是取自总体取自总体X 的样本。的样本。若能确定若能确定一个统计量一个统计量使得使得()1()1)PP 或则称随机区间则称随机区间 为为 的置信的置信度为度为1-的的单侧置信区间单侧置信区间。(,)(,)或12(,)nX XX 12(,)nX XX(或单侧置信下限单侧置信下限单侧置信上限单侧置信上限非正态总体的区间估计非正态总体的区间估计 实际中经常遇到的一批产品的次品率实际中经常遇到的一批产品的次品率的估计就是常见的一种非正态总体的区间的估计就是

23、常见的一种非正态总体的区间估计问题。估计问题。在这批产品中随机地抽取一个产品，在这批产品中随机地抽取一个产品，只有两种可能，或者是正品，或者是次品，只有两种可能，或者是正品，或者是次品，可以看成一个服从可以看成一个服从(0-1)(0-1)分布的随机变量分布的随机变量X，其分布律为其分布律为 f(x,p)=)=px(1-(1-p)1-1-x，x=0,1=0,1其中其中p是未知参数。是未知参数。1(0,1)(1)(1)niiXnpnXnpZNnppnpp(近似近似)由第四章可知由第四章可知(0-1)(0-1)分布的均值和方差分别为：分布的均值和方差分别为：=p 2=p(1-p)=pq 0p,q50

24、50)的大样本来自的大样本来自(0-1)(0-1)分布总体，求分布总体，求p的置信度为的置信度为1-1-的置信区间的置信区间。1222124422pppbbacbbacppaa 所以所以p 的近似置信度为的近似置信度为1-的的置信区间为置信区间为(p1,p2)222222()(2)0nzpnXzpnX 设设22222()(2)anzbnXzcnX 222()0(1)n Xpzpp 20apbpc则有则有解之得解之得1 1 掌握点估计的概念，会使用矩估计法和掌握点估计的概念，会使用矩估计法和极大似然估计法。极大似然估计法。3 3 掌握置信区间、置信度的概念，并会计掌握置信区间、置信度的概念，并会计 算指定的未知参数的置信区间，会求解单算指定的未知参数的置信区间，会求解单 个正态总体和两个正态总体的区间估计。个正态总体和两个正态总体的区间估计。小小 结结2 2 了解估计量的评选标准，会判断给定的了解估计量的评选标准，会判断给定的估计量的一致性、无偏性和有效性。估计量的一致性、无偏性和有效性。