概率论与数理统计课件版-第7章-参数估计.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《概率论与数理统计课件版-第7章-参数估计.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 概率论 数理统计 课件 参数估计
- 资源描述:
-
1、 第六章第六章-第八章知识结构图第八章知识结构图数理统计数理统计抽样分布抽样分布 统计推断统计推断常用的常用的统计量统计量四个重四个重要分布要分布参数估计参数估计假设检验假设检验正态总体的正态总体的样本均值与样本均值与方差的分布方差的分布(重要统计量重要统计量的分布的分布)矩矩估估计计法法点估计点估计 区间估计区间估计极大极大似然似然估计估计法法均值均值的区的区间估间估计计方差方差的区的区间估间估计计均值的均值的检验检验方差的方差的检验检验单个单个总体总体两个两个总体总体正态总体正态总体总体总体样本样本统计量统计量描述描述作出推断作出推断研究统计量的性质和评价一个统计推断的研究统计量的性质和评
2、价一个统计推断的优良性,完全取决于其优良性,完全取决于其抽样分布抽样分布的性质的性质.随机抽样随机抽样第七章第七章 参数估计参数估计 利用从总体抽样得到的信息来利用从总体抽样得到的信息来 估计总体的某些参数或者参数估计总体的某些参数或者参数 的某些函数的某些函数.估计废品率:估计废品率:估计新生儿的体重:估计新生儿的体重:估计湖中鱼数估计湖中鱼数 估计降雨量估计降雨量 在参数估计问题中,假定总体分布形式在参数估计问题中,假定总体分布形式 已知,未知的仅仅是一个或几个参数已知,未知的仅仅是一个或几个参数.参数估计问题参数估计问题:例如:例如:这类问题这类问题称称为为参数估计参数估计.参数估计问题
3、的一般提法参数估计问题的一般提法X1,X2,Xn其中其中 为未知参数为未知参数(可以是向量可以是向量)。现从该。现从该 设有一个总体设有一个总体 X,总体的分布函数为,总体的分布函数为(;)F x 总体抽样,得样本:总体抽样,得样本:所研究的问题:所研究的问题:参数估计问题参数估计问题的分类的分类参数估计参数估计点估计点估计区间估计区间估计 要依据该样本对参数要依据该样本对参数 作出作出().g 估计,或估计估计,或估计 的某个未知的函数的某个未知的函数 则则估计估计 为为1.68-这是这是点估计点估计问题。问题。估计估计 在区间在区间 1.57,1.84 内内-这是这是 区间估计区间估计问题
4、问题2(,0.1)N 现要估计某班男生的平均身高。假定身高服现要估计某班男生的平均身高。假定身高服从正态分布从正态分布 现从该总体选取容量为现从该总体选取容量为 5 的样本,所研究的的样本,所研究的 问题是要根据选出的样本(问题是要根据选出的样本(5个数)求出总体个数)求出总体 均值均值 的估计。的估计。例如例如 而全部信息就由这而全部信息就由这 5 个数组成个数组成。设这。设这 5 个数个数 是:是:1.65,1.67,1.68,1.78,1.69 解决问题:解决问题:总体总体 X 的分布函数的形式已知,但的分布函数的形式已知,但它的它的一个或多个参数未知一个或多个参数未知,根据总体,根据总
5、体X的一个样本来的一个样本来估计估计总体未知参数或总体未知参数或对总体未知参数作出一个估计。对总体未知参数作出一个估计。一一.估计量的定义估计量的定义定义:定义:第一节第一节 点点 估估 计计 12(,)nXXX 称称为为 的的估计量估计量。设设 为总体为总体X 的分布函数的分布函数 中的中的待估待估(;)F x 计计的参数的参数,nXXX,21是总体是总体 X 的一个样本,的一个样本,nXXX,21用用 构成的一个统计量:构成的一个统计量:则则12(,)nxxx 为为 的的估计值估计值.二二.构造统计量的方法构造统计量的方法1.矩估计法矩估计法(数字特征法数字特征法)用样本的各阶矩来估计总体
6、的各阶矩用样本的各阶矩来估计总体的各阶矩.12,nXXX的一组样本值为:的一组样本值为:nxxx21,如果如果矩估计法是由统计学家卡矩估计法是由统计学家卡.皮尔逊(皮尔逊(K.Pearson)在在19世纪末引入的。世纪末引入的。矩是描写随机变量最简单的数字特征,矩是描写随机变量最简单的数字特征,由大数定律可知,由大数定律可知,在一定条件下可以用样本的矩在一定条件下可以用样本的矩作为总体矩的估计作为总体矩的估计.故得故得矩估计法的基本思想矩估计法的基本思想:矩估计法的具体步骤矩估计法的具体步骤设总体设总体 X 的分布函数的分布函数 中含有中含有 12(;,)kF x k12,k 个未知参数个未知
7、参数 ,()iiE X 1,2,.ik 存在,存在,则可通过下列则可通过下列步骤步骤求未知参数的求未知参数的矩估计量矩估计量:(1)求总体求总体 X 的前的前 阶矩阶矩k若总体若总体 X 是是离散型离散型随机变量,其分布律为:随机变量,其分布律为:12(;,)kP x 121()(,),1,2,niilklE XxPik 则:则:k假定总体假定总体 X 的前的前 阶矩阶矩12(;,)kf x 则:则:12()(;,)iikE Xxf xdx 1,2,ik 总之总之,()iiE X 是参数是参数 的函数,的函数,12,k 记为:记为:1112221212(,)(,)(,),kkkkk 若总体若总
8、体 X 是是连续型连续型随机变量,其密度函数为:随机变量,其密度函数为:(2)由(由(*)式解出)式解出 为:为:12,k 1112221212(,)(,)(,()kkkkk (3)用用 的估计量的估计量 分别代替(分别代替(*)中的中的 则得则得 的的矩估计量矩估计量 i 11niillMXn ,i i:i 12(,1,2,),iikMMikM 上述计算步骤对上述计算步骤对 阶中心矩阶中心矩也是成立的。也是成立的。k 矩估计法的矩估计法的优缺点优缺点:矩估计法矩估计法并不要求并不要求知道总体分布的具体知道总体分布的具体形式就能对总体的数字特征作出估计形式就能对总体的数字特征作出估计矩估计法要
9、求总体的矩存在,若总体的矩估计法要求总体的矩存在,若总体的矩不存在则矩估计法失效;矩不存在则矩估计法失效;优点:优点:缺点:缺点:对某些总体的参数矩估计量不唯一,这对某些总体的参数矩估计量不唯一,这在应用时会带来不利;在应用时会带来不利;对某些总体的参数矩估计量有时不合理对某些总体的参数矩估计量有时不合理.矩估计法只是利用了矩的信息而没有充矩估计法只是利用了矩的信息而没有充分利用总体分布函数的信息分利用总体分布函数的信息;注注展开为不超过总体展开为不超过总体 阶原点矩的函数。阶原点矩的函数。kk因为因为 阶中心矩总可以通过展开的方法阶中心矩总可以通过展开的方法例例 1.设总体设总体X的均值为的
10、均值为 方差为方差为 都存在,且都存在,且,2 20,12,nXXX是总体是总体 X 的一个样本的一个样本(2).当总体当总体(某种灯泡寿命某种灯泡寿命),未知,今取未知,今取 4 只灯泡,只灯泡,测得其寿命(小测得其寿命(小 时)如下:时)如下:2(,)XN ,2 1502,1453,1367,1650 (小时)(小时)求:求:的矩估计值的矩估计值,2(1).均未知均未知,求求:的矩估计量的矩估计量,2,2 解解:总体总体 X 的数学期望是的数学期望是 X 的一阶原点矩;的一阶原点矩;总体总体 X 的方差是的方差是 X 的二阶中心矩。的二阶中心矩。(1).22()()()E XD XE X(
11、)E X 22 现令现令 niiXnXE11)(2211()niiE XXn 一阶样本原一阶样本原点矩点矩二阶样本原二阶样本原点矩点矩即即11niiXn niiXn12221 解之得解之得:11niiXn 22211()niiXn 解之得解之得:11niiXXn 2222111111()()nnniiiiiiXXXXnnn 2,从而得从而得 的矩估计量为:的矩估计量为:不论总体服从什么分布,总体均值不论总体服从什么分布,总体均值与方差的矩估计量的表达式是相同的与方差的矩估计量的表达式是相同的结论:结论:(2).2(,)XN 1493)1650136714531502(41 X2212)1493
12、1453()14931502(41)(1 niiXXn)14931650()14931367(22 10551 21493,10551某种灯泡寿命的均值与方差的某种灯泡寿命的均值与方差的 矩估计值矩估计值分布为分布为:设设 X1,X2,Xn 是取自总体是取自总体 X 的一个样本,的一个样本,其概率密度为:其概率密度为:()1()0 xexf x 其其它它其中其中 为未知参数,为未知参数,0 ,例例 2.求:求:的矩估计量的矩估计量.,由密度函数可知:由密度函数可知:X具有均值为具有均值为 的指数分布,的指数分布,解解:(),E X2()D X故有:故有:即:即:211()niiXXn 211(
13、)niiXXXn 令:令:X 2211()niiXXn 用样本矩估计用样本矩估计总体矩总体矩(),E X 2()D X 解得:解得:,即为总体参数即为总体参数 的的矩估计量矩估计量 2.极大似然法极大似然法极大似然法是在极大似然法是在总体类型已总体类型已知知条件下使用的一种参数估条件下使用的一种参数估计方法计方法。它首先它首先是由德国数学家是由德国数学家高斯高斯(Gauss)在在 1821 年提出的年提出的。Fisher然而然而,这个方法常归功于英国,这个方法常归功于英国统计学家统计学家费歇(费歇(Fisher),),费歇费歇在在 1922 年重新发现了这一年重新发现了这一方法,方法,并首先研
14、究了这种方法并首先研究了这种方法的一些性质的一些性质。Gauss 极大似然法的基本思想极大似然法的基本思想引例引例 若某位同学与一位猎人一起若某位同学与一位猎人一起外出打猎外出打猎。试推测:试推测:这是谁打中的呢这是谁打中的呢?因为只发一枪便打中,猎人因为只发一枪便打中,猎人命中的概率一般命中的概率一般大于大于这位同这位同学命中的概率。于是可推测学命中的概率。于是可推测这一枪是猎人射中的这一枪是猎人射中的.一只野兔从前方窜过,只听一只野兔从前方窜过,只听一声枪响一声枪响,野兔应声倒下,野兔应声倒下。引例体现了极大似然法的引例体现了极大似然法的基本思想基本思想:当试验中得到一个结果时,应选择使得
15、这个试验结当试验中得到一个结果时,应选择使得这个试验结果出现的概率达到果出现的概率达到最大最大的这个值作为参数的估计值的这个值作为参数的估计值注注定义定义:作作似然函数:似然函数:121(,)nlkkLf x (1).极大似然估计量的定义极大似然估计量的定义是相应于样本是相应于样本 nXXX,21的一组样本值。的一组样本值。其中:其中:设总体设总体X的概率密度函数为的概率密度函数为),(21lxf 或分布律为或分布律为12(,),lP x 12,l 为为未知参数未知参数。或或12,nxxx又设又设121(,)nlkkLP x 使得似然函数使得似然函数 L 达到达到极大值极大值的的12,l 或或
16、称为称为参数参数 的的极大似然估计值极大似然估计值,记为:,记为:12,l 为参数为参数 的的极大似然估计量极大似然估计量.12(,)inXXX i 12(,)inxxx(它与样本值有关它与样本值有关),记记统计量统计量:或或 随机点随机点12(,)nXXX似然函数似然函数 L 是随机点是随机点 落在落在12(,)nXXXk 似然函数似然函数 L 是是 的函数。的函数。注注12(,)nxxx的邻域内的概率;的邻域内的概率;点点12,nxxx的概率。的概率。取到取到边长分别为边长分别为ndxdxdx,21的的 n 维立方体维立方体思路思路:从而此问题就从而此问题就转化为转化为一般求函数的最大值问
17、题一般求函数的最大值问题(2).极大似然法的具体步骤极大似然法的具体步骤现要求现要求121211(,)(,)nnklklkkf xP x 或或12,l 即求即求 取什么值时函数取什么值时函数 L12(,)nXXX即其随机点即其随机点 落在落在12(,)nxxx 的邻域内的概率的邻域内的概率,取到取到12(,)nxxx12(,)nXXX的概率最大。的概率最大。的最大值,的最大值,达到最大。达到最大。或或 随机点随机点 具体步骤具体步骤(1)作似然函数作似然函数1()(,)nkkLf x 1()(,)nkkLP x (2)当似然函数可微且当似然函数可微且 的最大值能在参数空间的最大值能在参数空间(
18、)L 若解为若解为 ,因为因为 与与 有相同的最大值点,有相同的最大值点,ln()L()L 或或注注ln()0L 求方程组求方程组:的解,的解,取得时,取得时,则则 为为极大似然估计量(值)极大似然估计量(值)。而且对数函数是单调增的,而且对数函数是单调增的,maxln()L 求求max()L 比求比求方便,方便,所以所以常取常取似然函数为似然函数为ln()L 按照求函数极值的方法,在求方程组:按照求函数极值的方法,在求方程组:ln()0L 的解后还应该用极值的的解后还应该用极值的充分条件充分条件对解做进一步的判断;对解做进一步的判断;当似然函数当似然函数不可微不可微或方程组或方程组无解无解时
19、,时,极大似然估计法适用于极大似然估计法适用于多个未知参数多个未知参数的情形。的情形。但又由最值原理,如果最值存在,此方程组求得但又由最值原理,如果最值存在,此方程组求得的驻点即为所求的最值点。极大似然估计法一般的驻点即为所求的最值点。极大似然估计法一般属于这种情况,所以可直接按步骤属于这种情况,所以可直接按步骤(2)求的其值。求的其值。极大似然估计量。极大似然估计量。则应根据则应根据()L 定义直接寻求能使定义直接寻求能使 达到最大值的解作为达到最大值的解作为例例3.求求:的极大似然估计量的极大似然估计量.2,是是 X 的一个样本值的一个样本值.12,nxxx2(,),XN 2,设设 为为未
20、知参数未知参数,解解:22()221(;,)2xf xe X的密度函数为:的密度函数为:作似然函数:作似然函数:22()2112ixniLe 2211()21()2niixne 为计算方便对为计算方便对 L 两边两边取对数取对数得得:令:令:21ln10niiLxn 222221ln1()022()niiLnx 解得所求为解得所求为:11niixXn 2221111()()nniiiixxXnn与矩估计法与矩估计法所得的的结所得的的结论是一致的论是一致的(见例(见例1)niixnnL1222)(21ln2)2ln(2ln 例例4.设设 为为参数都是未知参数都是未知的正态总体的的正态总体的一个样
21、本一个样本 nXXX21,求求:的极大似然估计的极大似然估计)(tXP 解解:211(,)niiXXNnn ()XtPnn()tn 22(,),iXN 未知未知()P Xt 由例由例 3可知:可知:的极大似然估计为的极大似然估计为 X 的极大似然估计为的极大似然估计为2 211()niiXXn ()P Xt的的极大似然估计极大似然估计为:为:()Xtn 其中其中:211()niiXXn 设设 X1,X2,Xn 是取自总体是取自总体 X 的一个样本,其的一个样本,其密度函数为:密度函数为:0 其中其中1,01()0,xxf x 其其它它求求 的极大似然估计的极大似然估计.例例5.作似然函数:作似
22、然函数:niixL11)(11()nniix (01)ix 则则对数似然函数对数似然函数为:为:1ln()ln(1)lnniiLnx 1in 1ln()ln0,niidLnxd 对上式求导并令其为零,得:对上式求导并令其为零,得:从中从中解得:解得:1lnniinx 解:解:(3).性质性质的函数,的函数,是是 )(uu 且具有单值反函数且具有单值反函数(),u 又设又设 是是 X 的概率的概率 密度函数密度函数 中参数中参数 的极大似然估计,的极大似然估计,(,)f x 证证:1212(,)max(,)nnL xxxL xxx()()uuu()uu 是是 的极大似然估计。的极大似然估计。()
23、u 则则 是是 的取的取值范围值范围 是是的极大似然估计的极大似然估计又又 是是的极大似然估计的极大似然估计上式可写为上式可写为:1212(,()max(,()nnuL xxxuL xxxu 即表明:即表明:是是 的极大似然估计的极大似然估计 ()uu ()u 此性质对总体此性质对总体 X 中含有中含有多个多个未知参数时也成立未知参数时也成立.注注1212(,)max(,)nnL xxxL xxx()()uuu一一.无偏性无偏性()E 则则称称 是是 的的无偏估计量无偏估计量.第二节第二节 估计量的评选标准估计量的评选标准 估计量是随机变量,对于不同的样本值会得到估计量是随机变量,对于不同的样
24、本值会得到不同的估计值不同的估计值。如果希望估计值在未知参数。如果希望估计值在未知参数真值真值附近摆动,而它的期望值附近摆动,而它的期望值等于等于未知参数的未知参数的真值真值。定义:定义:()E 设设 是是 的估计量,若的估计量,若 存在,且存在,且 对任意的对任意的 有:有:这就引出这就引出无偏性无偏性这个评选标准这个评选标准 在科学技术中在科学技术中称称 为以为以 作为作为 的的估计的系统误差。则无偏估计即无系统误差。估计的系统误差。则无偏估计即无系统误差。()E 无偏性的无偏性的实际意义实际意义是指是指没有没有系统性的偏差系统性的偏差。它是用数学期望衡量其靠近真值的程度。它是用数学期望衡
25、量其靠近真值的程度。用样本均值作为总体均值的估计时,虽无用样本均值作为总体均值的估计时,虽无法说明一次估计所产生的偏差,但这种偏法说明一次估计所产生的偏差,但这种偏差随机地在差随机地在“0”的周围波动,则对同一统计的周围波动,则对同一统计问题大量重复使用不会产生系统偏差问题大量重复使用不会产生系统偏差。例如:例如:注注例例1.设总体设总体 X 的均值的均值 ,方差方差 都存在都存在,若,若 20 2.,均均未未知知证明证明:2 的两个估计量的两个估计量22111()niiXXn 22211()1niiXXn 前者是有偏的,后者是无偏的。前者是有偏的,后者是无偏的。证明证明:22111()()n
展开阅读全文