概率论与数理统计第七章课件.ppt

1、计算机科学学院计算机科学学院 裘国永裘国永第七章第七章 参数估计参数估计总体是由总体分布来刻画的。总体是由总体分布来刻画的。总体总体分布类型分布类型的判断的判断在实际问题中，我们根据在实际问题中，我们根据问题本身的专业知识或以往的经验或适当的统计问题本身的专业知识或以往的经验或适当的统计方法，有时可以判断总体分布的类型。方法，有时可以判断总体分布的类型。总体分布的总体分布的未知参数未知参数的估计的估计总体分布的参数往总体分布的参数往往是未知的，需要通过样本来估计。通过样本来往是未知的，需要通过样本来估计。通过样本来估计总体的参数。称为估计总体的参数。称为参数估计参数估计，它是统计推断，它是统计

2、推断的一种重要形式。的一种重要形式。例如例如 （1）为了研究人们的市场消费行为，我们要）为了研究人们的市场消费行为，我们要先搞清楚人们的收入状况。先搞清楚人们的收入状况。假设某城市人均年收入假设某城市人均年收入X N(,2)。但参数。但参数 和和 2 的具体值并不知道，需要通过样本来估计。的具体值并不知道，需要通过样本来估计。（2）假定某城市在单位时间）假定某城市在单位时间(譬如一个月譬如一个月)内内交通事故发生次数交通事故发生次数 X p()。参数参数 未知，需要从样本来估计。未知，需要从样本来估计。参数估计参数估计点估计点估计区间估计区间估计 例如，例如，X N(,2),若若,2未知未知,

3、通过构造样本的函数，给出它通过构造样本的函数，给出它们的估计值或取值范围就是参数估计的内容。们的估计值或取值范围就是参数估计的内容。点估计点估计区间估计区间估计参数估计的类型参数估计的类型点估计点估计 估计未知参数的值估计未知参数的值区间估计区间估计 估计未知参数的取值范围，估计未知参数的取值范围，并使此范围包含未知参数并使此范围包含未知参数 真值的概率为给定的值。真值的概率为给定的值。7.1 点估计点估计要求：要求：（1）理解参数的点估计、估计量和估计值的概理解参数的点估计、估计量和估计值的概念。念。（2）掌握矩估计法和最大似然估计法。）掌握矩估计法和最大似然估计法。总体的分布函数形式已知，

4、但它的一个或多个参总体的分布函数形式已知，但它的一个或多个参数未知，借助总体数未知，借助总体X的一个样本来估计总体未知的一个样本来估计总体未知参数的值的问题称为参数的参数的值的问题称为参数的点估计问题点估计问题。定义定义 设设X1,Xn是总体是总体X的一个样本的一个样本,其分布函其分布函数为数为F(x;),。其中其中 为未知参数为未知参数,为参数空为参数空间间,x1,x2,xn是相应的样本值。是相应的样本值。点估计问题就是点估计问题就是要构造一个适当的统计量要构造一个适当的统计量。1(,)nXX 一、估计量和估计值一、估计量和估计值用其观察值用其观察值12(,.,)nxxx 来来估计未知参数估

5、计未知参数，称，称为为 的的估计值估计值,为为 的的估计量估计量。1(,)nXX 注：注：在不致引起混淆的情况下在不致引起混淆的情况下,称估计量和估计称估计量和估计值为估计值为估计,并都记为并都记为 ；二、寻求估计量的方法二、寻求估计量的方法1.矩估计法矩估计法2.最大似然法最大似然法3.最小二乘法最小二乘法4.贝叶斯方法贝叶斯方法这里我们主要介绍前面两种方法。这里我们主要介绍前面两种方法。矩法是基于一种简单的矩法是基于一种简单的“替换替换”思思想建立起来的一种估计方法想建立起来的一种估计方法。是英国统计学家是英国统计学家K.皮尔逊皮尔逊最早提出的。最早提出的。依据：依据：(1)样本矩样本矩1

6、1nlliiAXn (2)样本矩的连续函数依概率收敛于相应的总样本矩的连续函数依概率收敛于相应的总体矩的连续函数。体矩的连续函数。,1,2,.,.llk 依概率收敛于相应依概率收敛于相应的总体矩的总体矩1.矩估计法（简称矩估计法（简称“矩法矩法”）矩估计法的具体做法如下矩估计法的具体做法如下(2)从这从这 k 个方程中解出个方程中解出j=1,2,k12(,)jjk 那么用诸那么用诸 的估计量的估计量 Ai 分别代替上式中的诸分别代替上式中的诸 ,iij即可得诸即可得诸 的的矩估计量矩估计量：j=1,2,k12(,)jjkA AA (1)写出总体的前写出总体的前k阶矩阶矩1,2,k,一般是这一般

7、是这 k 个个未知参数的函数未知参数的函数,记为：记为：i=1,2,k12(,)iik 设总体的分布函数中含有设总体的分布函数中含有k个未知参数个未知参数 1,2,k。(3)即即 1112221212(,.,)(,.,)(,.,)kkkkk 1112221212(,.,)(,.,)(,.,)kkkkk 以以Ai分别代替上式的分别代替上式的,1,2,.,iik 可得可得i 的的矩估计量矩估计量12(,.,),1,2,.,.iikA AAik矩估计量的观察值称为矩估计量的观察值称为矩估计值矩估计值。例例7.1 设总体设总体 X 在在 a,b 上服从均匀分布上服从均匀分布,a,b 未知未知。是来自是

8、来自 X 的样本的样本,试求试求 a,b 的矩估计量。的矩估计量。1,nXX解：解：1E X 2ab 22E X 2()12ba 2()()D XE X2()4ab 即即 1221212()abba 可得可得 a,b 的矩估计量为的矩估计量为 212121213()3()ab 22121122121133()(),33()().niiniiaAAAXXXnbAAAXXXn 样本矩样本矩总体矩总体矩以以Ai分别代替上式的分别代替上式的,1,2,ii 解：解：122222()()()()E XE XD XE X 例例7.2 设总体设总体 X 的均值的均值 和方差和方差 都存都存在在,未知未知。是来

9、自是来自 X 的样本的样本,试试求求 的矩估计量的矩估计量。1,nXX2(0)2,2,解得解得12221 于是于是 的矩估计量为的矩估计量为 2,122222211111()nniiiiAXAAXXXXnn 解解:110()(1)E Xxx dx 21)1(110 dxx由矩法由矩法,可得可得的据估计量的据估计量21,1XX 例例7.3 设总体设总体X的概率密度为的概率密度为(1),01()0,xxf x 其其它它是未知参数是未知参数,其中其中1 X1,X2,Xn是取自是取自X的样本的样本,求参数求参数的矩估计。的矩估计。解得解得1121,1 矩法的优点矩法的优点是简单易行是简单易行,并不需要

10、事先知道总体并不需要事先知道总体是什么分布。是什么分布。缺点缺点是，当总体类型已知时，没有充分利用分布是，当总体类型已知时，没有充分利用分布提供的信息。一般场合下提供的信息。一般场合下,矩估计量不具有唯一矩估计量不具有唯一性。性。其主要原因在于建立矩法方程时，选取那些总体其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性。矩用相应样本矩代替带有一定的随意性。它是在总体类型已知条件下使用的一种参数估它是在总体类型已知条件下使用的一种参数估计方法计方法。它首先是由德国数学家它首先是由德国数学家高斯高斯在在1821年提出的。年提出的。GaussFisher 然而然而,这个方

11、这个方法常归功于英国统计学家法常归功于英国统计学家费歇费歇。费歇费歇在在1922年重新发现了这一年重新发现了这一方法，并首先研究了这种方法方法，并首先研究了这种方法的一些性质。的一些性质。2.最大似然法最大似然法最大似然法的基本思想最大似然法的基本思想先看一个简单例子：先看一个简单例子：是谁打中的呢？是谁打中的呢？某位同学与一位猎人一起外出打某位同学与一位猎人一起外出打猎。一只野兔从前方窜过。猎。一只野兔从前方窜过。如果要你推测，如果要你推测，你会如何想呢你会如何想呢?只听一声枪响，野兔应声倒下只听一声枪响，野兔应声倒下 。你就会想，只发一枪便打中，猎人命中的概率一你就会想，只发一枪便打中，猎

12、人命中的概率一般大于这位同学命中的概率。看来这一枪是猎人般大于这位同学命中的概率。看来这一枪是猎人射中的。射中的。这个例子所作的推断已经体现了最大似然法的基这个例子所作的推断已经体现了最大似然法的基本思想本思想：一次试验就出现的事件有较大的概率。一次试验就出现的事件有较大的概率。例例7.4 设总体设总体 X 服从服从0-1分布分布,且且P X=1=p,用最大似然法求用最大似然法求 p 的估计值。的估计值。解：解：总体总体 X 的分布律为的分布律为1(1),0,1xxP Xxppx 设设 x1,x2,xn为总体样本为总体样本X1,X2,Xn的样本值的样本值,则则1122,nnP Xx XxXx

13、11(1)()nniiiixnxppL p 7-18对于不同的对于不同的 p,L(p)不同不同,见右下图见右下图现经过一次试验现经过一次试验,事件事件0.20.40.60.81p0.0020.0040.0060.0080.01Lp1122,nnXx XxXx 发生了，发生了，则则 p 的取值应使这个事件发生的概率最大。的取值应使这个事件发生的概率最大。p 在容许范围内选择在容许范围内选择 p，使，使L(p)最大最大 注意到，注意到，ln L(p)是是 L 的单调增函数的单调增函数,故若故若某个某个p 使使ln L(p)最大最大,则这个则这个p 必使必使L(p)最大最大。11dln0d1nnii

14、iixnxLppp 令令11niipxxn 211222d ln0d(1)nniiiixnxLppp 所以所以 px 为为所求所求 p 的估计值。的估计值。一般一般,设设 X 为为离散型随机变量离散型随机变量，其分布律为，其分布律为12(;),P Xxp xxu u 则则 X1,X2,Xn 取到取到 x1,x2,xn的概率为的概率为7-21即即似然函数与最大似然估计似然函数与最大似然估计PX1=x1,X2=x2,Xn=xn=p(x1;p(x2;p(xn;记为记为L(x1,x2,xn;q)或或 L(q),称为样本的称为样本的似然函数。似然函数。121(,.,;)(;)nniiL x xxp x

15、若若 X 连续连续,且且 Xf(x;),则似然函数为则似然函数为121(,.,;)(;)nniiL x xxf x 注注1 未知参数可以不止一个未知参数可以不止一个,如如 1,k,设设 Xf(x;1,2,k),则定义似然函数为则定义似然函数为,1,2,ixin 1(,)k 1111(,;,)(;,)nnkikiL xxf x 12(,.,),nxxx 定义定义 在一组样本值在一组样本值x1,x2,xn给定的条件下给定的条件下,()max(),LL 使得使得则称则称为为 的的最大似然估计值最大似然估计值。而相应而相应的的统计量统计量称为称为 的的最大似然估计量最大似然估计量。若有若有12(,.,

16、)nxxx 12(,.,)nXXX 几点说明：几点说明：1.求似然函数求似然函数L()的最大值点的最大值点,可以应用微积分中可以应用微积分中的技巧。的技巧。由于由于ln(x)是是 x 的增函数的增函数，lnL()与与L()在在 的同的同一值处达到它的最大值，假定一值处达到它的最大值，假定 是一实数，且是一实数，且lnL()是是 的一个可微函数。通过求解方程：的一个可微函数。通过求解方程：可以得到可以得到 的最大值的最大值。ln()0dLd 2.用上述求导方法求参数的最大值有时行不通，用上述求导方法求参数的最大值有时行不通，这时要用最大似然原则来求。这时要用最大似然原则来求。3.若概率函数中含有

17、多个未知参数若概率函数中含有多个未知参数,则可解方程则可解方程组组ln0,0,1,.jjjLLjk 或或得得出出的的最最大大似似然然估估值值求最大似然估计的步骤求最大似然估计的步骤(1)做似然函数做似然函数111()(,;)(;)(;)nnniiiiLL xxf xp x或或(2)做对数似然函数做对数似然函数111ln()ln(,;)ln(;)(ln(;)nnniiiiLL xxf xp x或或1,(;)(iidnXXf x(;),p x设设或或试求试求的最大似然估计。的最大似然估计。ln()0dLd (3)列出似然方程列出似然方程 若该方程有解，则其解若该方程有解，则其解12(,.,)nxx

18、x 就是就是 的最大似然估计值。而相应的的最大似然估计值。而相应的统计量统计量12(,.,)nXXX 是是 的最大似然估计量。的最大似然估计量。例例7.5 设总体设总体Xb(1,p)，X1,Xn是来自是来自X的一个的一个样本样本，试求参数，试求参数 p 的最大似然估计量。的最大似然估计量。解：解：设设x1,.,xn是对应于样本是对应于样本X1,Xn的一个样本的一个样本值。则总体值。则总体X的分布律为的分布律为(1)(1),0,1,xxP Xxppx 故似然函数为故似然函数为11(1)1()(1)(1)nniiiiiinxnxxxiL ppppp 解似然方程解似然方程ln()0dL pdp 对似

19、然函数求对数对似然函数求对数11ln()ln()ln(1)nniiiiL pxpnxp可得可得p的最大似然估计值为的最大似然估计值为11niipxxn p的最大似然估计量为的最大似然估计量为 pX 例例7.6 设设X1,Xn为取自为取自 总体总体的样本，的样本，求参数求参数 的最大似然估计的最大似然估计。2,2(,)N 解：解：设设x1,.,xn是对应于样本是对应于样本X1,Xn的一个样本值的一个样本值.则总体的概率密度函数为则总体的概率密度函数为似然函数为似然函数为：22211(;,)exp()22f xx 22221111(,)(;,)exp()22nniiiiLf xx 对似然函数求对数对似然函数求对数解似然方程解似然方程2222211(2)()exp()2nnniix 22211lnln(2)ln()()222niinnLx 212222211ln()001ln()0022()niiniiLxnnLx 可得可得122111()niiniixxnxxn 所以所以2,的最大似然估计量为的最大似然估计量为2211()niiXXXn 作业作业P173：2、3