概率论与数理统计-第七章{参数估计}-第一节：点估计课件.ppt

1、数理统计数理统计 第七章第七章 参数估计参数估计第一节第一节 点估计点估计第二节第二节 估计量的评选标准估计量的评选标准第三节第三节 区间估计区间估计第四节第四节 正态总体参数的区间估计正态总体参数的区间估计*第五节第五节 非正态总体参数的区间估计举例非正态总体参数的区间估计举例*第六节第六节 单侧置信区间单侧置信区间数理统计数理统计 第一节第一节 点估计点估计点估计概念点估计概念求估计量的方法求估计量的方法数理统计数理统计 总体总体样样本本统计量统计量描述描述作出推断作出推断随机抽样随机抽样数理统计数理统计 现在介绍一类重要的统计推断问题现在介绍一类重要的统计推断问题.参数估计问题是利用从总

2、体参数估计问题是利用从总体抽样抽样得到的信息来估计得到的信息来估计总体总体的的某些某些参数参数或者或者参数的某些函数参数的某些函数.例如：例如：参数估计参数估计估计废品率估计废品率:估计新生儿的体重估计新生儿的体重:估计湖中鱼数估计湖中鱼数:估计降雨量估计降雨量:在参数估计问题中在参数估计问题中,假定总体分布形式已知假定总体分布形式已知,未知的仅仅是一个或几个参数未知的仅仅是一个或几个参数.数理统计数理统计 这类问题称为这类问题称为参数估计参数估计.参数估计问题的一般提法参数估计问题的一般提法依据该样本对参数依据该样本对参数 作出估计作出估计,或估计或估计 的某个已知函数的某个已知函数 g()

3、.现从该总体抽样现从该总体抽样,得样本得样本 X1,X2,Xn,设有一个统计总体设有一个统计总体,总体的分布函数为总体的分布函数为 F(x,),其中其中为未知参数为未知参数(可以是向量可以是向量).参数估计参数估计点估计点估计区间估计区间估计数理统计数理统计(假定身高服从正态分布假定身高服从正态分布 N(,0.12)设这设这5个数是个数是:1.65 1.67 1.68 1.78 1.69估计估计 为为1.68,这是这是点估计点估计.估计估计 在区间在区间 1.57,1.84 内内,这是这是区间估计区间估计.例如例如:我们要估计某队男生的平均身高我们要估计某队男生的平均身高.现从该总体选取容量为

4、现从该总体选取容量为5的样本，的样本，我们的任务是要根据选出的样本我们的任务是要根据选出的样本(5个数个数)求出总体均值求出总体均值 的估计的估计.而全部信息就由这而全部信息就由这5个数组成个数组成.数理统计数理统计 随机抽查随机抽查100个婴儿个婴儿,得得100个体重数据个体重数据:10,7,6,6.5,5,5.2,据此据此,我们应如何估计我们应如何估计 和和 呢？呢？而全部信息就由这而全部信息就由这100个数组成个数组成.例如例如:已知某地区新生婴儿的体重已知某地区新生婴儿的体重 N(,2),(,未知未知).数理统计数理统计 我们知道我们知道,若若 N(,2),由大数定律由大数定律:111

5、1limlim1nniinniiPXEXPXnn 自然想到把自然想到把样本样本体重的体重的平均值平均值作为作为总体平均总体平均体重的一个估计体重的一个估计.11,niiXXn 2211().1niiSXXn 样本体重的平均值样本体重的平均值用样本体重的均值用样本体重的均值.X估计类似地类似地,用样本体重的方差用样本体重的方差22.S估计为估计为估计:为估计为估计2:数理统计数理统计 为估计总体分布的参数为估计总体分布的参数(如如 和和 2等等)我们需要构造出适当的样本的函数我们需要构造出适当的样本的函数 f(X1,X2,Xn)称为称为参数参数的的点估计值点估计值(estimate).称为称为参

6、数参数(一般用一般用)的的点估计量点估计量(estimator),一、点估计概念一、点估计概念(Point Estimation)每当有了样本每当有了样本,代入该函数中算出一个值代入该函数中算出一个值,用来作为用来作为参数参数的估计值的估计值.SX2（如和等）,1212(,)(,)nnf XXX XXX 一般用 1212(,)(,)nnf x xx x xx 一般用12=2例如：参数 为：，；111=,nii XXn 估计量 为：22211=().1niiSXXn 2数理统计数理统计 定定义义：12121212,nnnnXXXXXXXXXXx xx 设设 为为总总体体 的的待待估估计计参参数数

7、,用用样样本本的的一一个个统统计计量量来来估估计计则则称称为为 的的点点估估计计量量。称称为为 的的点点估估计计值值。数理统计数理统计 例例1:设从某灯泡厂某天生产的一大批灯泡中设从某灯泡厂某天生产的一大批灯泡中随机地抽取了随机地抽取了1010只灯泡只灯泡,测得其寿命为测得其寿命为(单位单位:小时小时):):1050,1100,1080,1120,12001050,1100,1080,1120,12001250,1040,1130,1300,12001250,1040,1130,1300,1200试估计该厂这天生产的灯泡的平均寿命及寿命分布的标准差试估计该厂这天生产的灯泡的平均寿命及寿命分布的

8、标准差.10111147()10iixxh ，1022211()7579()101iixxh ，287.06()h 。解解:数理统计数理统计 二、求估计量的方法二、求估计量的方法a.矩估计法矩估计法(the method of moments)b.极大似然法极大似然法(the method of maximum likelihood)c.贝叶斯方法贝叶斯方法(the method of Bayes)数理统计数理统计 依概率收敛定义依概率收敛定义定义定义:12,:nXXXa 设设 是是一一个个随随机机变变量量序序列列，是是一一个个常常数数，若若对对于于任任意意正正数数，有有 lim|1nnPXa

9、 12,.:.nPnXXXaXa 依依概概率率则则称称序序列列记记为为收收敛敛于于 0nXan 依依概概率率收收敛敛于于，意意味味着着,对对任任意意给给定定的的，当当 充充分分大大时时，注意注意:1nXa 事事件件的的概概率率很很大大，接接近近于于；.nXa 并并不不排排除除事事件件的的发发生生,而而只只是是说说他他发发生生的的可可能能性性很很小小数理统计数理统计 aXPn如如意思是：意思是：aaanXn时时,),(aa内的概率越来越大内的概率越来越大.Xn落在落在当当数理统计数理统计 1.矩估计法矩估计法矩估计法是英国统计学家矩估计法是英国统计学家K.皮尔逊皮尔逊最早提出来的最早提出来的.由

10、大数定律由大数定律,若总体若总体 X 的的数学期望数学期望 E(X)=有限有限,则有则有:11()()nPiiiXXE XE Xn 11()(),(1,2,)nPkikiikkkXE AE XknA 1212(,)(,),其中 为连续函数。Pkkg A AAg g 这表明这表明,当样本容量很大时当样本容量很大时,在统计上在统计上,可以用样本可以用样本k阶原点矩去估计总体阶原点矩去估计总体k阶原点矩阶原点矩(替换原理替换原理).这一事实是矩估计法的理论基础这一事实是矩估计法的理论基础.1)定义定义:用样本原点矩估计相应的总体原点矩用样本原点矩估计相应的总体原点矩,又用样本原点矩的连续函数估计相应

11、的总体原点矩的连续函数又用样本原点矩的连续函数估计相应的总体原点矩的连续函数,这种参数点估计法称为这种参数点估计法称为矩估计法矩估计法.数理统计数理统计 例例2:设总体设总体 X 在在 a,b 上服从均匀分布上服从均匀分布,a,b未知未知.解解:1E X 2ab 22E X 2()12ba 2()()D XE X 2()4ab X1,X2,Xn 是来自是来自 X 的样本的样本,试求试求 a,b的矩估计量的矩估计量.即即:1221212()abba 解得解得:21213()a 21213()b总体矩总体矩于是于是 a,b 的矩估计量为的矩估计量为:样本矩样本矩12222111211(1)1;ni

12、iniiiniXXnXXXXnAnAA 213(),niiaXXXn 213()niibXXXn 数理统计数理统计 一般都是这一般都是这 k 个参数的函数个参数的函数,记为记为:从这从这 k 个方程中解出个方程中解出:j=1,2,k那么用诸那么用诸 i 的估计量的估计量 Ai 分别代替上式中的诸分别代替上式中的诸i,12(,)jjkA AA 即可得诸即可得诸 j 的的矩估计量矩估计量：矩估计量的观察值称为矩估计量的观察值称为矩估计值矩估计值.2)矩估计法的具体做法如下矩估计法的具体做法如下:设总体的分布函数中含有设总体的分布函数中含有 k个未知参数个未知参数:1,2,k,那么它的前那么它的前

13、k 阶矩阶矩:1,2,k,i=i(1,2,k),i=1,2,kj=j(1,2,k),j=1,2,kI.参数用总体矩来表示参数用总体矩来表示II.样本矩代替总体矩样本矩代替总体矩数理统计数理统计 得得:1 2221于是于是,2 的矩估计量为的矩估计量为:22111()niinXXSnn 总体矩总体矩例例3:设总体设总体 X 的均值的均值 和方差和方差 2都存在都存在,2未知未知.X1,X2,Xn 是来自是来自 X 的样本的样本,试求试求,2 的矩估计量的矩估计量.解解:1E X 22E X 2()()D XE X 22样本矩样本矩矩法的优点矩法的优点:简单易行简单易行,并不需要事先知道总体是什么

14、分布并不需要事先知道总体是什么分布.缺点缺点:当总体类型已知时当总体类型已知时,没有充分利用分布提供的信息没有充分利用分布提供的信息.数理统计数理统计 2.极极(最最)大似然估计法大似然估计法它是在它是在总体类型已知条件总体类型已知条件下使用的一种参数估计方法下使用的一种参数估计方法.它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的年提出的.GaussFisher然而然而,这个方法常归功于英国统计学家这个方法常归功于英国统计学家费歇费歇.费歇费歇在在1922年重新发现了该方法年重新发现了该方法,并首先研究了该方法的一些性质并首先研究了该方法的一些性质.数理统计数理统计 先看

15、一个简单例子：先看一个简单例子：一只野兔从前方窜过一只野兔从前方窜过,只听一声枪响只听一声枪响,野兔应声倒下野兔应声倒下.某位同学与一位猎人一起外出打猎某位同学与一位猎人一起外出打猎.如果要你推测如果要你推测,是谁打中的呢是谁打中的呢?你会如何想呢你会如何想呢?你就会想你就会想,猎人命中的概率一般大于这位同学命中的概率猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的看来这一枪是猎人射中的.这个例子所作的推断已经体现了极大似然法的基本思想这个例子所作的推断已经体现了极大似然法的基本思想.再如再如,一袋中有红、白球一袋中有红、白球10个和个和5个个,但不知其中每种颜色的球具体为多少

16、但不知其中每种颜色的球具体为多少.今从袋中任取一球今从袋中任取一球,结果为白球结果为白球,由此我们有理由认为袋中有由此我们有理由认为袋中有10个白球个白球,5个红球。个红球。数理统计数理统计 1)似然函数似然函数(likelihood function)：定义定义似然函数似然函数为为:设设 X1,X2,Xn 是取自总体是取自总体X 的一个样本的一个样本,样本的联合密度样本的联合密度(连续型连续型)或联合分布律或联合分布律(离散型离散型)为为:L()=f(x1,x2,xn;),这里这里 x1,x2,xn 是样本的观察值是样本的观察值.L()看作参数看作参数 的函数的函数,它可作为它可作为 将以多

17、大可能产生样本值将以多大可能产生样本值 x1,x2,xn 的一种度量的一种度量.f(x1,x2,xn;),数理统计数理统计)(max)(LL2)极大似然估计法极大似然估计法:就是用使就是用使 L()达到最大值的达到最大值的 去估计去估计,称称 为为 的的极大似然估计值极大似然估计值.相应的相应的统计量统计量:称为称为 的的极大似然估计量极大似然估计量.(maximum likelihood estimator)1(,)n XXL()=f(x1,x2,xn;)两点说明：两点说明：a.求似然函数求似然函数 L()的最大值点的最大值点,可以应用微积分中的技巧可以应用微积分中的技巧.ln L()与与

18、L()在在 的同一值处达到它的最大值的同一值处达到它的最大值,假定假定 是一实数是一实数,且且 ln L()是是 的一个可微函数的一个可微函数,通过求解方程通过求解方程:可以得到可以得到 的的 MLE.若若 是向量是向量,上述方程必须用方程组代替上述方程必须用方程组代替.b.用上述求导方法求参数的用上述求导方法求参数的 MLE 有时行不通有时行不通,这时要用极大似然原则来求这时要用极大似然原则来求.0)(lndLd数理统计数理统计 L(p)=f(x1,x2,xn;p)例例4:设设X1,X2,Xn是取自总体是取自总体 XB(1,p)的一个样本的一个样本,求参数求参数 p的极大似然估计量的极大似然

19、估计量.nixxiipp11)1(解解:似然函数似然函数为为:ppXi110niiniixnxpp11)1(对数似然函数对数似然函数为：为：)1ln()()ln()(ln11pxnpxpLniinii对对 p求导并令其为求导并令其为0:11ln()11()=01nniiiidL pxnxdppp 得得:11niipxxn ,即为即为 p 的的极大似然估计值极大似然估计值.从而从而 p 的的极大似然估计量极大似然估计量为为:111(,)nniip XXXXn 数理统计数理统计 d.在极大值点的表达式中在极大值点的表达式中,用样本值代入就得参数的用样本值代入就得参数的极大似然估计值极大似然估计值.

20、3)求极大似然估计求极大似然估计(MLE)的一般步骤是：的一般步骤是：a.由总体分布导出由总体分布导出样本的联合分布律样本的联合分布律(或联合密度或联合密度);b.把样本联合分布律把样本联合分布律(或联合密度或联合密度)中自变量看成已知常数中自变量看成已知常数,而把参数而把参数 看作自变量看作自变量,得到得到似然函数似然函数 L();c.求似然函数求似然函数 L()的极大值点的极大值点 (常常转化为求常常转化为求 ln L()的极大值点的极大值点),即即 的的MLE;数理统计数理统计 例例5:设总体设总体 XN(,2),2 未知未知.x1,x2,xn 是来自是来自 X 的样本值的样本值,试求试

21、求,2的极大似然估计量的极大似然估计量.似然函数为似然函数为:解解:X的概率密度为的概率密度为:xexfx,21)(222)(222()211(,)2ixniL e 2222211(2)()exp()2nnniix 22211lnln(2)ln()222niinnLx 于是于是:数理统计数理统计 解得解得:,2的的极大似然估计量极大似然估计量为为:2222211ln()022()niinLx 211ln()0niiLxn 令令:xxnnii11niixxn122)(1XniiXXn122)(1数理统计数理统计 解解:似然函数为似然函数为:*例例6:设设X1,X2,Xn是取自总体是取自总体X的一

22、个样本的一个样本,为未知参数其它 ,0,1)()(xexfXx其中其中 0,求求,的极大似然估计的极大似然估计.其它，,01),(1)(niixxeLi i=1,2,n其它,0min,11)(1 ixnxenii数理统计数理统计 niixn11 nL),(ln=0 (2)由由(1)得得:niixnL12)(1),(ln =0 (1)对对,分别求偏导并令其为分别求偏导并令其为0:对数似然函数为对数似然函数为:niixnL1)(1ln),(ln 用求导方法无法最终确定用求导方法无法最终确定,用最大似然原则来求用最大似然原则来求.数理统计数理统计 inix1*min 对对,0),(,min Lxi故使故使 L(,)达到最大的达到最大的,即即 的的MLE是：是：niixn1*1 于是于是:取其它值时，取其它值时，.0),(L即即 为为 的的MLE.*,且是且是 的单增函数的单增函数11()1min(,)0,niixinexL ,其其它它数理统计数理统计 数理统计数理统计 作业习题7-1 3;4;5;8