71参数的点估计概念课件.ppt

1、 第 七 章 参 数 估 计 总体是由总体分布来刻画的总体是由总体分布来刻画的.总体总体分布类型分布类型的判断的判断在实际问题中在实际问题中,我们根据问题本身的专业知识或以往的经验我们根据问题本身的专业知识或以往的经验或适当的统计方法或适当的统计方法,有时可以判断总体分布有时可以判断总体分布的类型的类型.总体分布的总体分布的未知参数未知参数的估计的估计总体分总体分布的参数往往是未知的布的参数往往是未知的,需要通过样本来估需要通过样本来估计计.通过样本来估计总体的参数通过样本来估计总体的参数,称为参数估称为参数估计计,它是统计推断的一种重要形式它是统计推断的一种重要形式.本章讨论本章讨论:u 参

2、数估计的常用方法参数估计的常用方法.u 估计的优良性准则估计的优良性准则.u 若干重要总体的参数估计问题若干重要总体的参数估计问题.例如例如 (1)(1)为了研究人们的市场消费行为为了研究人们的市场消费行为,我们要先搞清楚人们的收入状况我们要先搞清楚人们的收入状况.假设某城市人均年收入假设某城市人均年收入X X N(N(,2 2).但参数但参数 和和 2 2的具体值并不知道的具体值并不知道,需要通过样需要通过样本来估计本来估计.(2)(2)假定某城市在单位时间假定某城市在单位时间(譬如一个譬如一个月月)内交通事故发生次数内交通事故发生次数 X X P(P().).参数参数 未知未知,需要从样本

3、来估计需要从样本来估计.这类问题称为这类问题称为参数估计参数估计.参数估计问题的一般提法参数估计问题的一般提法X1,X2,Xn要依据该样本对参数要依据该样本对参数 作出估计，或估计作出估计，或估计 的某个已知函数的某个已知函数 .)(g现从该总体抽样，得样本现从该总体抽样，得样本设有一个统计总体，总体的分布函数设有一个统计总体，总体的分布函数向量向量).为为 F(x,)，其中，其中 为未知参数为未知参数(可以是可以是 参数估计参数估计点估计点估计区间估计区间估计 第七章第一节 参数的点估计概念)1.0,(2 N（假定身高服从正态分布（假定身高服从正态分布 ）设这设这5个数是个数是:1.65 1

4、.67 1.68 1.78 1.69 估计估计 为为1.68，这是这是点估计点估计.这是这是区间估计区间估计.估计估计 在区间在区间1.57,1.84内，内，假如我们要估计某队男生的平均身高假如我们要估计某队男生的平均身高.现从该总体选取容量为现从该总体选取容量为5的样本，我们的样本，我们的任务是要根据选出的样本（的任务是要根据选出的样本（5个数）求出个数）求出总体均值总体均值 的估计的估计.而全部信息就由这而全部信息就由这5个个数组成数组成.一、点估计概念及讨论的问题一、点估计概念及讨论的问题例例1 已知某地区新生婴儿的体重已知某地区新生婴儿的体重X),(2 N,2未知 随机抽查随机抽查10

5、0个婴儿个婴儿得得100个体重数据个体重数据9,7,6,6.5,5,5.2,呢呢?据此据此,我们应如何估计我们应如何估计和和而全部信息就由这而全部信息就由这100个数组成个数组成.为估计为估计 ,我们需要构造出我们需要构造出适当适当的样本的样本的函数的函数T(X1,X2,Xn)，每当有了样本，就，每当有了样本，就代入该函数中算出一个值，用来作为代入该函数中算出一个值，用来作为 的的估计值估计值.把样本值代入把样本值代入T(X1,X2,Xn)中，得到中，得到 的一个的一个点估计值点估计值.T(X1,X2,Xn)称为参数称为参数 的的点估计量点估计量，注意注意:估计量估计量,估计值和统计量三个概念

6、的区别和联系估计值和统计量三个概念的区别和联系 二、二、寻求估计量的方法寻求估计量的方法1.矩估计法矩估计法2.极大似然法极大似然法3.最小二乘法最小二乘法4.贝叶斯方法贝叶斯方法这里我们主要介绍前面两种方法这里我们主要介绍前面两种方法.其基本思想是其基本思想是用样本矩估计总体矩用样本矩估计总体矩.理论依据理论依据:矩是基于一种简单的矩是基于一种简单的“替换替换”思想建立起来的一种估计方法思想建立起来的一种估计方法.是英国统计学家是英国统计学家K.皮尔逊皮尔逊最早提出的最早提出的.大数定律大数定律记总体记总体k阶矩为阶矩为)(kkXE 样本样本k阶矩为阶矩为nikikXnA11用相应的样本矩去

7、估计总体矩的估计方法用相应的样本矩去估计总体矩的估计方法就称为矩估计法就称为矩估计法.记总体记总体k阶中心矩为阶中心矩为kkXEXE)(样本样本k阶中心矩为阶中心矩为nikikXXnB1)(1 设总体设总体X的分布函数中含有的分布函数中含有k个未知参数个未知参数 k ,1 步骤一步骤一、我们把总体我们把总体X X的的m m阶原点矩阶原点矩E(XE(Xm m)记为记为 a am m,m=1,2,m=1,2,k ,k 一般地一般地,a,am m(m=1,2,(m=1,2,k),k)是总体分布中是总体分布中的参数的参数 1 1,2 2,k k的函数的函数.故应该把故应该把a am m (m=1,2,

8、(m=1,2,k),k)记之为记之为:am(1,2,k)(m=1,2,k)方法方法步骤二、步骤二、算出算出m m阶样本原点矩阶样本原点矩:kmXnAnimim,2,111步骤三、步骤三、令令 am(1 1,2 2,k k)=A)=Am m (m=1,2,(m=1,2,k),k)得关于得关于 1 1,2 2,k k的的 方程组方程组步骤四、步骤四、解这个方程组解这个方程组,其解记为其解记为kiXXXni,2,1),(21 它们就可以做为它们就可以做为 1 1,2 2,k k的估计的估计.这这样求出的估计叫做样求出的估计叫做矩估计矩估计.X X1 1,X,X2 2,X,Xn n是独立同分布的是独立

9、同分布的.X X1 1m m,X,X2 2m m,X,Xn nm m也是独立同分布的也是独立同分布的.于是有于是有:E(XE(X1 1m m)=E()=E(X X2 2m m)=)=E(=E(X Xn nm m)=E(X)=E(Xm m)=a)=am m.根据大数定律根据大数定律,样本原点矩样本原点矩A Am m作为作为 X X1 1m m,X,X2 2m m,X,Xn nm m的算术平均值依概率收敛到均的算术平均值依概率收敛到均值值a am m=E(X=E(Xm m).).即即:mmpnimiaXEXn)(11原理解释原理解释解解:dxxxXE)1()(1021)1(110 dxx由矩估计法

10、由矩估计法,21 X样本矩样本矩总体矩总体矩从中解得从中解得,112XX 的矩估计的矩估计.即为即为数学期望数学期望是一阶是一阶原点矩原点矩 例例1 设总体设总体X的概率密度为的概率密度为其它,010,)1()(xxxf 是未知参数是未知参数,其中其中1 X1,X2,Xn是取自是取自X的样本的样本,求参数求参数 的矩估计的矩估计.设总体的均值为设总体的均值为,方差为方差为 2 2,于是于是由此列出方程组由此列出方程组:2222)()()()(XEXVarXEuXE221)()(AXEAXEnilXnXu12221即例例2 2 均值均值,方差方差 2 2的矩估计的矩估计 均值均值,方差方差 2

11、2的矩估计是的矩估计是:niinilXXnXXnXu122122)11（求解得niiXXnXu122)1（21Snn即 例如例如 求求正态总体正态总体 N(N(,2 2)两个未知两个未知参数参数 和和 2 2的矩估计为的矩估计为niiXXnXu122)1（总体总体均匀分布均匀分布 X X U(a,b U(a,b).).求求:两个参数两个参数a,ba,b的矩估计的矩估计 解解:又如又如2)()(XVarXE写出方程组niiXXnXu122)1（其中 但是但是 12)()(2)(2abXVarbaXE 由方程组求解出由方程组求解出a,ba,b的矩估计的矩估计:2212)(2abXba即有33XbX

12、aniiXXn122)1:（其中解解:由密度函数知由密度函数知 例例3 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本为未知参数其它 ,0,1)()(xexfXx其中其中 0,求求 的矩估计的矩估计.,X具有均值为具有均值为 的指数分布的指数分布 故故 E(X-)=2 Var(X-)=即即 E(X)=2 Var(X)=X niiXXn12)(1 解得解得niiXXn12)(1令令X niiXXn122)(1 用样本矩估计用样本矩估计总体矩总体矩即即 E(X)=2 Var(X)=.,的矩估计即为参数 矩法的优点是简单易行矩法的优点是简单易行,并不需要并不需要事先知道总体是什么分布

13、事先知道总体是什么分布.缺点是，当总体类型已知时，没有缺点是，当总体类型已知时，没有 充分利用分布提供的信息充分利用分布提供的信息.一般场合下一般场合下,矩估计量不具有唯一性矩估计量不具有唯一性.其主要原因在于建立矩法方程时，其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带选取那些总体矩用相应样本矩代替带有一定的随意性有一定的随意性.三、极大似然法三、极大似然法 是在总体类型已知条件下使用的一种是在总体类型已知条件下使用的一种参数估计方法参数估计方法.它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的年提出的,GaussFisher然而，这个方法常归功于然而，这

14、个方法常归功于英国统计学家英国统计学家费歇费歇.费歇费歇在在1922年重新发现了年重新发现了 这一方法，并首先研究了这这一方法，并首先研究了这 种方法的一些性质种方法的一些性质.极大似然法的基本思想极大似然法的基本思想 先看一个简单例子：先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过.是谁打中的呢？是谁打中的呢？某位同学与一位猎人一某位同学与一位猎人一起外出打猎起外出打猎.如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下.下面我们再看一个例子下面我们再看一个例子,进一步体会极进一步体会极大似然法的基本思想大似然法的基本思想.你就

15、会想，只发一枪便打中你就会想，只发一枪便打中,猎人命中的猎人命中的概率一般大于这位同学命中的概率概率一般大于这位同学命中的概率.看来这看来这一枪是猎人射中的一枪是猎人射中的.这个例子所作的推断已经体现了极大似这个例子所作的推断已经体现了极大似然法的基本思想然法的基本思想.极大似然估计原理：极大似然估计原理：当给定样本当给定样本X1,X2,Xn时，定义时，定义似似然函数然函数为：为：设设X1,X2,Xn是取自总体是取自总体X的一个样本，的一个样本，样本的联合密度样本的联合密度(连续型）或联合概率函数连续型）或联合概率函数(离散型离散型)为为 f(X1,X2,Xn;).)(Lf(X1,X2,Xn;

16、)似然函数：似然函数：)(max)(LL 极大似然估计法就是用使极大似然估计法就是用使 达到最达到最 大值的大值的 去估计去估计 .)(L 称称 为为 的极大似然估计（的极大似然估计（MLE）.看作参数看作参数 的函数，它可作为的函数，它可作为 将以多将以多大可能产生样本值大可能产生样本值X1,X2,Xn的一种度量的一种度量.)(L )(L f(X1,X2,Xn;)L(p)=f(X1,X2,Xn;p)例例1设设X1,X2,Xn是取自总体是取自总体 XB(1,p)的一的一个样本，求参数个样本，求参数p的极大似然估计的极大似然估计.nixxiipp11)1(解：似然函数为解：似然函数为:niini

17、ixnxpp11)1(ppXi110)1ln()()ln()(ln11pxnpxpLniinii对数似然函数为：对数似然函数为：niiniixnxpppL11)1()(对对p求导并令其为求导并令其为0，)(111)(ln11niiniixnpxpdppLd=0得得xxnpnii11即为即为 p 的的极大似然估计值极大似然估计值.(4)在最大值点的表达式中在最大值点的表达式中,用样本值代入用样本值代入 就得参数的极大似然估计值就得参数的极大似然估计值.总结总结:求极大似然估计求极大似然估计(MLE)的一般步骤是：的一般步骤是：(1)由总体分布导出样本的联合概率函数由总体分布导出样本的联合概率函数

18、 (或联合密度或联合密度);(2)把样本联合概率函数把样本联合概率函数(或联合密度或联合密度)中自变中自变 量看成已知常数量看成已知常数,而把参数而把参数 看作自变量看作自变量,得到得到似然函数似然函数L();(3)求似然函数求似然函数L()的最大值点的最大值点(常常转化常常转化 为求为求ln L()的最大值点的最大值点)，即，即 的的MLE;两点说明：两点说明：1、求似然函数、求似然函数L()的最大值点，可以应的最大值点，可以应用微积分中的技巧。由于用微积分中的技巧。由于ln(x)是是x的增函的增函数，数，lnL()与与L()在在 的同一值处达到的同一值处达到它的最大值，假定它的最大值，假定

19、 是一实数，且是一实数，且lnL()是是 的一个可微函数。通过求解所谓的一个可微函数。通过求解所谓“似似然方程然方程”：可以得到可以得到 的的MLE.0)(lndLd 若若 是向量，上述方程必须用似然方程是向量，上述方程必须用似然方程组代替组代替.2、用上述求导方法求参数的、用上述求导方法求参数的MLE有时有时行不通，这时要用极大似然原则来求行不通，这时要用极大似然原则来求.两点说明：两点说明：总体总体均匀分布 X X U(a,b U(a,b).).求求:两个参数两个参数a,ba,b的的极大似然极大似然估计估计 解解:例例 5 5,0,1),(baxbaxabbaxf其余情况所有似然函数0,2

20、,1,)(1),(),(1nibaxabbaxfbaLinnii 我们由上看到我们由上看到,L(a,b,L(a,b)作为作为a a和和b b的二元函的二元函数是不连续的数是不连续的.所以我们不能用似然方程组来求极大似然所以我们不能用似然方程组来求极大似然估计估计,而必须从极大似然估计的定义出发而必须从极大似然估计的定义出发,求求L(a,bL(a,b)的最大值的最大值.为使为使L(a,bL(a,b)达到最大达到最大,b,ba a应该尽量地小应该尽量地小.但但b b又不能小于又不能小于maxxmaxx1 1,x,x2 2,x,xn n .否否则则,L(a,b,L(a,b)=0.)=0.类似地类似地

21、a a不能大过不能大过minxminx1 1,x,x2 2,x,xn n.因此因此,a,a和和b b的极大似然估计为的极大似然估计为 ,max,min21*21*nnXXXbXXXa解：似然函数为解：似然函数为niixL11)(11)(niinx)10(ix对数似然函数为对数似然函数为niixnL1ln)1(ln)(ln ni 1例例6设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本其它,010,)(1xxxfX 求求 的极大似然估计的极大似然估计.其中其中 0,niixndLd1ln)(ln求导并令其为求导并令其为0=0从中解得从中解得niixn1*ln 即为即为 的的MLE.

22、对数似然函数为对数似然函数为niixnL1ln)1(ln)(ln 解：似然函数为解：似然函数为 例例7 设设X1,X2,Xn是取自总体是取自总体X的一个样本的一个样本为未知参数其它 ,0,1)()(xexfXx其中其中 0,求求 的极大似然估计的极大似然估计.,其它，,01),(1)(niixxeLi i=1,2,n其它,0min,11)(1 ixnxenii对数似然函数为对数似然函数为niixnL1)(1ln),(ln 解：似然函数为解：似然函数为其它，,01),(1)(niixxeLi i=1,2,nniixn11 nL),(ln=0 (2)由由(1)得得niixnL12)(1),(ln =0 (1)对对 分别求偏导并令其为分别求偏导并令其为0,对数似然函数为对数似然函数为niixnL1)(1ln),(ln 用求导方法无法最终确定用求导方法无法最终确定用极大似然原则来求用极大似然原则来求.、,是是inix1*min 对对,0),(,min Lxi故使故使 达到最大的达到最大的 即即 的的MLE，),(L,niixn1*1 于是于是 取其它值时，取其它值时，.0),(L 即即 为为 的的MLE.*,且是且是 的增函数的增函数 其它,0min,1),(1)(1ixnxeLnii由于由于