极大似然估计和广义矩估计课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《极大似然估计和广义矩估计课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 极大 估计 广义 课件
- 资源描述:
-
1、第四章第四章 极大似然估计和广义矩极大似然估计和广义矩估计估计 (Maximum Likelihood method and Generalized Method of Moments)第一节 极大似然估计法第二节似然比检验、沃尔德检验和拉格 朗日乘数检验第三节广义矩(GMM)估计小结 除普通最小二乘法(OLS)外,极大似然估计(MLE)和广义矩估计(GMM)也是计量经济学中重要的估计方法。极大似然估计法和广义矩估计法适用于大样本条件下参数的估计,它们在大样本条件下显示了优良的性质。本章主要介绍极大似然法和广义矩方法以及基于极大似然估计的似然比(LR)检验、沃尔德(W)检验和拉格朗日乘数(LM
2、)检验。第一节 极大似然估计法 极大似然估计法(Maximum Likelihood method,ML)的应用虽然没有普通最小二乘法广泛,但它是一个具有更强理论性质的点估计方法,它以极大似然原理为基础,通过概率密度函数或者分布律来估计总体参数。极大似然估计的出发点是已知被观测现象的分布,但不知道其参数。极大似然法用得到观测值(样本)最高概率的那些参数的值来估计该分布的参数,从而提供一种用于估计刻画一个分布的一组参数的方法。一、极大似然法的思路 设有一枚不均衡的硬币,我们关心的是在每次抛掷该硬币出现正面的概率p。抛掷该硬币N次,假设得到 次正面,次反面。由于每次抛硬币都是相互独立的,根据二项分
3、布,得到这样一个样本的概率为:上式中的表达式可看作是未知参数p的函数,被称为似然函数(Likelihood function)。对p的极大似然估计意味着我们选择使似然函数达到最大的p值,从而得到p的极大似然估计量。111)1()(1NNNNNppCNP次正面1N1NN 实际计算中,极大化似然函数的对数往往比较方便,这给出对数似然函数上式达到极大的一阶条件是解之,得到p的极大似然估计量p)-)ln(1N-(N)ln(lnc)(ln111pNpLNN01)(ln11pNNpNpLddpNNp/1 二、极大似然原理极大似然法的思路是,设 是随机变量X的密度函数,其中 是该分布的未知参数,若有一随机样
4、本 ,则 的极大似然估计值是具有产生该观测样本的最高概率的那个 值,或者换句话说,的极大似然估计值是使密度函数 达到最大的值。由于总体有离散型和连续型两种分布,离散型分布通过分布律来构造似然函数,而连续型分布通过概率密度函数来构造似然函数,因此二者有区别,下面分别讨论。(,)f x(,)f x12,.,nXXX(一)离散型随机变量极大似然原理(一)离散型随机变量极大似然原理若总体为离散型分布,容易求得从样本 取到观察值 的概率,亦即事件发生的概率 为:其中,是待估参数向量。这一概率随 的取值而变化,它是 的函数,称为样本的似然函数。极大似然估计法就是在 取值的可能范围内挑选使似然函数 达到最大
5、的参数值 作为参数 的估计值,即求 ,使得12,.nXXX12,.,nx xx1122,.,nnXx XxXx121()(,.,;)(;)nniiLL x xxp x12(,.,)k()L12(x,;)nLxx1212(,.,;)(,.,;)nnL x xxMaxL x xx一般通过微分的方法求得 ,即,令 得到,有时候也可通过迭代法来求 ,具体的计算方法根据随机变量的分布来确定。这样得到的 称为参数 的极大似然估计值,而相应的统计量通常记为 ,称为参数 的极大似然极大似然估计量估计量。()/0L ML(二)连续型随机变量极大似然原理 与离散型的情况一样,我们取 的估计值 使 取到极大值,但
6、不随 而变,故只需考虑函数 的极大值,这里 称为样本的似然函数。若 则 称为 的极大似然估计量,记为 。1(,)niif xdxnidx1121()(,.,;)(;)nniiLL xxxfx1212(,.,;)(,.,;)nnL x xxMaxL x xxML()L通常情况下,关于 可微,这时 可从方程 解得。因为 与 在同一点处取到极值,的极大似然估计值 通常从方程 解得,式中 称为对数似然函数。为了后面内容表述方便起见,我们将对数似然函数的一阶导数向量表示为 ,称为score向量向量或梯度向量梯度向量,的极大似然估计量通过求解得到,因此 称为似然方程似然方程。()L()/0L()Lln()
7、L()/0Lln()LS()lnL()/)(SS()0S()0三、极大似然估计量的性质极大似然估计量(MLE)的优势在于它们的大样本性质(渐近性质)。为介绍这些渐近性质,我们用表示参数向量的极大似然估计量(MLE),表示参数向量的真值。如果极大似然函数被正确设定,可以证明,在弱正则条件下,极大似然估计量具有以下渐近性质:(1)一致性:)一致性:是 的一致估计量,即,(2)渐近有效性:渐近有效性:是渐近有效的且达到所有一致估计量的Cramr-Rao下界,即在所有一致渐近正态估计量(consistent asymptotically normal estimators)中具有最小方差。(3)渐近正
8、态性:渐近正态性:即渐近地服从正态分布,其中V是渐近协方差矩阵ML0limMLpML)(,00VNML协方差矩阵V由对数似然函数的形状决定。为了说明这一点,我们引入信息矩阵信息矩阵(Information Matrix)的概念,信息矩阵定义为在适当的正则条件下,可以证明,极大似然估计量的渐近协方差矩阵等于信息矩阵的逆矩阵,即2lnL()()-1()VI 四、线性回归模型的极大似然估计 线性回归模型是计量经济学应用最为广泛的模型,因 此讨论线性模型的极大似然估计是非常必要的。下面我们在随机扰动项服从正态分布的假设下分别讨 论双变量线性回归模型和多元线性回归模型的极大似 然估计。非线性模型的极大似
9、然估计,将在第五章中 介绍。(一)双变量线性回归模型的极大似然估计双变量线性回归模型:其中,为待估参数,为随机扰动项。对随机扰动项作出如下假设:即随机扰动项具有0均值、同方差、不相关和服从正态分布的性质。ntuxyttt,2,1,tu222()0,(),()0,(0,)ttijtE uE uE u uijuN根据以上假设可知:因此,的概率密度函数为:由于独立同分布,因此,联合概率密度函数,即似然函数为:),(2ttxNytynteyfttxyt.,2121)(22)(21,212()2211(,)()()2ntttyxnnttLf ye 对数似然函数为:令:,得,)17.4(2)()ln(2)
10、2ln(2),(ln12222ntttxynnL0),(ln2L0),(ln2L0),(ln22L222()tMLMLtttMLtMLttMLMLtMLYnXX YXXYXn不难看出,前两式与用普通最小二乘法得出的正规方程相同,故我们有但最后一式表明,的极大似然估计量与最小二乘估计量不同,我们记得,最小二乘估计量 是一个无偏估计量。而,,MLOLSMLOLS2222()22tttOLSeYXnn22222(2)2()()tMLenEEnnn这表明,是一个有偏估计量 不难看出,当样本容量趋向无穷时,因而 是一个渐近无偏估计量。22()tMLMLtMLYXn2222n 2ML(二)多元线性回归模型
11、的极大似然估计下面我们来讨论一般形式的线性回归模型的极大似然估计,并以矩阵形式表示:对随机扰动项作出如下假设:根据以上假设,我们有:因此,的概率密度函数为:YXu22()()(,)nnEEN u0uuIu0I2(,)tyNX2()21()1 2,.,2tfyetnYX)(YX,上面有点问题,把单个标量和整体向量混淆了,看的时候注意点,可以参考多元线性回归讲义PPT.由于独立同分布,因此,联合概率密度函数,即似然函数为:对数似然函数为:注意到(4.17)中右端第二项的分子就是残差平方和,我们有:2()2211(,)()()2nnttLf ye Y X)(Y X222()ln(,)ln(2)22n
12、L YX)(YX2()(4.18)iRSSe e eYX)(YXY YY X XY+XXY Y2Y X+XX这里最后一个等号成立是因为第二行中所有各项都是标量,且中间两项互为转置矩阵,因而相等 RSS对微分,得到:这里用到了矩阵微分的以下两条规则:(1)(2),第二个等号成立的条件是A为对称矩阵。22(4.19)RSS X YX X/a bba()/()2b AbbA+A bAb在(4.19)式中,a是 ,A是 。由(4.19)式的结果,使对数似然函数(4.17)达到极大的一阶条件为 解此二正规方程,得:Y XX X22ln(,)2202LXYXX2242ln(,)()()022LYnXYX(
13、ML-1XX)XY2()/MLRSS nnnYX)(YXe e 因此,在随机扰动项满足标准假设条件的情况下,的极大似然估计量与普通最小二乘估计量相同,方差 的ML估计量与OLS估计量则不同。是无偏的,而 是有偏的,但在大样本下渐近无偏22()()1OLSnkYXYX2OLS2ML 将这些极大似然估计量代入(4.17),就得到的极大值:为了得到 的无偏估计量的Cramr-Rao下界,需要先计算信息矩阵 222ln(,)ln(2)22ln(2)ln()222ln()2MLMLMLMLnLnnnnn e ee ee e常数222222222ln/ln/(,)(4.22)ln/ln/LLIELL 信息
14、矩阵是按 分块对角的,这是扰动项为正态分布的回归模型的一个重要性质,意味着Cramr-Rao下界为:值得注意的是,达到了Cramr-Rao下界。在正态性的假设下,是最小方差无偏估计量(MVU),这表明,在所有无偏估计量而不仅仅是线性无偏估计量中方差最小。假设多一些(CLR模型加上正态性),得到的也多一些(MVU而不仅仅是BLUE)。2和21124()0(,)(4.24)02/En X XIMLOLSOLSOLS 例4.2 以简单的消费函数为例,说明极大似然估计法的估计过程。根据经济理论,消费和收入与价格密切相关,因此建立以国内生产总值gdp和消费价格指数p 为解释变量,国内总消费tc为被解释变
15、量的消费方程。数据区间为19882007年。消费方程设定为:其中 服从正态分布。0121988,1989,.,2007tttttcgdpputtu普通最小二乘估计的结果为:极大似然估计的EViews结果为:可见,对于线性方程,用极大似然估计得到的系数估计值与用最小 二乘法估计得到的结果完全相同。8738.9700.635159.043:(8.94)(2.27)ttttcgdppt8738.9700.635159.043:(4.2)(1.2)ttttcgdppz第二节 似然比检验、沃尔德检验和拉格朗日乘数检验 似然比检验(Likelihood Ratio Test,LR)瓦尔德检验(Wald T
16、est,W)拉格朗日乘数检验(Lagrange Multiplier Test,LM)是三种基于极大似然法的大样本检验方法。我们在第二章中介绍的F检验适用于检验CLR模型的线性约束条件。如果施加于模型的约束是非线性的,模型存在参数非线性,或者扰动项的分布不是正态的,在这些情况下,F检验就不再适用,通常需要采用LR、W和LM这三个检验方法中的一个来检验约束条件是否成立。这三个检验方法是渐近等价的,与这些检验相联系的统计量的小样本分布是未知的,但它们每一个都渐近地服从自由度为约束条件个数的 分布2一、三种检验的基本原理 这三个检验统计量基于三个不同的原理,我们用下图来解释之。图中,对数似然函数()
17、由上面的那条曲线表示,它是要估计的参数 的函数。是使 达到极大的 值。假设要检验的约束条件是,这一条件在 这个值得到满足,从图上看,这个点是函数 与横轴 的交点。下面对这三个检验所依据的原理作出解释。ln LLMEln L0)(gMLER)(g 1.LR检验检验 如果约束条件为真,则在施加约束条件的情况下,的极大值 不应当显著小于 的无约束极大值 。因此,LR检验要检验的是(-)是否显著异于0。2.W检验检验 如果约束条件 为真,则 不应当显著异于0,其中 是 的无约束极大似然估计值。因此,W检验要检验的是 是否显著异于0。lnRLln Lln Lmaxln Lmaxln LlnRL0)(g)
18、(MLEgLME)(MLEg 3.LM检验检验 对数似然函数 在A点达到极大,在这点 关于 的斜率为0。如果约束条件为真,则 在B点的斜率不应当显著异于0。LM检验要检验的是用约束估计值 计算的 的斜率是否显著异于0。ln Lln Lln LMLERln L二、似然比(LR)检验 设 为待估计参数向量,原假设 规定施加于这些参数上的约束,为 的无约束极大似然估计量,为约束极大似然估计量。如果 和 分别是用这两个估计值计算的似然函数值,则似然比(Likelihood Ratio)为:0HURULRLURLL 此函数的值位于0和1之间,因为两个似然都是正的,并且 不会大于 (约束最优不可能超过无约
展开阅读全文