非经典计量经济学模型估计方法第一节最大似然估计课件.ppt

1、 第一节 最大似然估计计量模型估计方法说明计量模型估计方法说明计量经济学模型计量经济学模型(参数模型、均值回归模型、基于样本信参数模型、均值回归模型、基于样本信息）息）的的3类估计方法类估计方法LS、ML、GMM经典模型的估计经典模型的估计LS非经典模型的估计非经典模型的估计ML、GMM综合样本信息和先验信息的贝叶斯估计综合样本信息和先验信息的贝叶斯估计分位数回归模型，分位数回归模型，Quantile Regression,QREG非参数模型的权函数估计、级数估计等非参数模型的权函数估计、级数估计等主要内容主要内容一、最大似然原理一、最大似然原理 二、线性模型的最大似然估计二、线性模型的最大似

2、然估计三、非线性模型的最大似然估计三、非线性模型的最大似然估计 四、异方差和序列相关的最大似然估计四、异方差和序列相关的最大似然估计 五、最大似然估计下的五、最大似然估计下的Wald、LM和和LR检验检验 一、最大似然原理一、最大似然原理内在机理：内在机理：当从模型总体随机抽取当从模型总体随机抽取n组样本观测值后，最合理的组样本观测值后，最合理的参数估计量应该使得从模型中抽取该参数估计量应该使得从模型中抽取该n组样本观测值的概率最大组样本观测值的概率最大。该方法。该方法更本质地揭示了通过样本估计母体参数的内在机理。更本质地揭示了通过样本估计母体参数的内在机理。在微观计量模型尤其适用。在微观计量

3、模型尤其适用。似然函数：似然函数：将样本观测值联合概率函数称为样本观测值的似然将样本观测值联合概率函数称为样本观测值的似然函数。函数。极大似然法：极大似然法：通过似然函数极大化以求得总体参数估计量的方通过似然函数极大化以求得总体参数估计量的方法被称为极大似然法。法被称为极大似然法。工作原理：工作原理：在已经取得样本观测值的情况下，使在已经取得样本观测值的情况下，使似然函数取最似然函数取最大值大值的总体分布参数所代表的总体具有最大的概率取得这些样的总体分布参数所代表的总体具有最大的概率取得这些样本观测值，该总体参数即是所要求的参数。本观测值，该总体参数即是所要求的参数。最小二乘法：最合理的参数估

4、计量是使得模型能最好的拟合样最小二乘法：最合理的参数估计量是使得模型能最好的拟合样本数据；本数据；以正态分布的总体为例，每个总体都有自己的分布参数期望和以正态分布的总体为例，每个总体都有自己的分布参数期望和方差，如果已经得到方差，如果已经得到n n组样本观测值，在可供选择总体中，哪个组样本观测值，在可供选择总体中，哪个最可能产生这组样本数据？取得最可能产生这组样本数据？取得n n组样本观测值的联合概率，然组样本观测值的联合概率，然后选择参数使其最大，和该参数匹配的即为总体。后选择参数使其最大，和该参数匹配的即为总体。二、线性模型的最大似然估计二、线性模型的最大似然估计1、一元线性模型的最大似然

5、估计、一元线性模型的最大似然估计),(210iiXNY2102)(2121)(iiXYieYP),(),(21210nYYYPL 21022)(21)2(1iinXYneYi的分布的分布Y Yi i的概率的概率密度函数密度函数 Y Y的所有样本的所有样本观测值的联合观测值的联合概率概率似然函似然函数数 随机抽取随机抽取n组样本观测值组样本观测值Yi。为什么是为什么是这个形式这个形式?2102*)(21)2ln()ln(iiXYnLL0)(0)(21012100iiiiXYXY2212220)()(iiiiiiiiiiiiiXXnXYXYnXXnXYXYX对数似然对数似然函数函数 对数似然函数对

6、数似然函数极大化的一阶极大化的一阶条件条件结构参数的结构参数的ML估计量估计量判断判断L L*为海塞矩阵负定，所以有极大值，一阶条件为：为海塞矩阵负定，所以有极大值，一阶条件为：0)(210212*222iinXYLneXYniii22102)(1分布参数的分布参数的ML估计量估计量注意：注意：ML估计必须已知估计必须已知Y的分布。的分布。只有在正态分布时，只有在正态分布时，ML和和OLS的结构参数估计的结构参数估计结果相同。结果相同。如果如果Y不服从正态分布，不能采用不服从正态分布，不能采用OLS。例如：。例如：选择性样本模型、计数数据模型等。在微观计量选择性样本模型、计数数据模型等。在微观

7、计量领域有重要应用。领域有重要应用。2、多元线性模型的最大似然估计、多元线性模型的最大似然估计yxxxiiikkii 01122i=1,2,n 2(,)iYNiX 2(0,)iN)()(21)(212122222211022)2(1)2(1),(),(XYXYeeYYYPLnXXXYnnnkikiiin结构参数估计结果与结构参数估计结果与OLS估计相同估计相同*2()1(2)()()2MaxLLn LnLn YXYX()()MinYXYXYXXX1)(分布参数估计结果与分布参数估计结果与OLS不同不同22()()iMLennYXYX2211iOLSenknke e3、最大似然估计量的性质、最大

8、似然估计量的性质 4、信息矩阵、信息矩阵 三、非线性模型的最大似然估计三、非线性模型的最大似然估计 1、简单非线性模型的最大似然估计、简单非线性模型的最大似然估计i=1,2,n2(0,)iN),(2XifNYi222),(21212)2(1),(),(iinXfYnneYYYPLY和和X是分是分离的离的(,)iiiYf X 面临面临NLSNLS（非线性最小二乘估计）同样的过程，得到（非线性最小二乘估计）同样的过程，得到相同的估计结果相同的估计结果。22*),(21)2()(iiXfYnLnLLnMaxL2),(iiXfYMin2.一般非线性模型的一般非线性模型的ML估计估计 以上是一般非线性模

9、型的完整描述。以上是一般非线性模型的完整描述。iiiuxgyh),(),(ni,1),0(),(21INuunkiiiixxxx21随机项满足随机项满足经典假设经典假设 模型参数的一种估计方法是最小二乘法模型参数的一种估计方法是最小二乘法，即最小化，即最小化 2),(),(),(iiixgyhS 模型参数的另一种估计方法是最大似然法。得到广模型参数的另一种估计方法是最大似然法。得到广泛应用。泛应用。最大似然估计最大似然估计222/122),(),(exp)2(iiiixgyhyuiiiiiiJyyhyuyJ),(),(雅可比行列式雅可比行列式第第i个观测点的似然函数个观测点的似然函数=雅可比行

10、列式雅可比行列式密度函数密度函数2假定(0,)N总体的对数似然函数为：总体的对数似然函数为：iiyJnnL),(lnln22ln2ln2iiixgyh22),(),(21样本的对数似然函数为样本的对数似然函数为：2lnln 2lnln(,)22iinnLJ y 221(,)(,)2iiih yg x很明显很明显若没有雅可比行列式项，参数的非线性最小二乘估计将若没有雅可比行列式项，参数的非线性最小二乘估计将是最大似然估计是最大似然估计；但是，如果雅可比行列式包括；但是，如果雅可比行列式包括，最小二乘法，最小二乘法不是最大似然法。不是最大似然法。最大化对数似然函数的一阶条件为：最大化对数似然函数的

11、一阶条件为：2(,)ln10iiig xLu2(,)ln110iiiiiiJh yLuJ2224ln1022iiLnu 2即/n3、说明、说明 非线性模型最大似然估计的性质非线性模型最大似然估计的性质 结构参数结构参数的最大对数似然估计是渐近无偏、一致估计且渐的最大对数似然估计是渐近无偏、一致估计且渐近地服从正态分布；近地服从正态分布；分布参数分布参数的最大对数似然估计是渐近无偏和一致估计。的最大对数似然估计是渐近无偏和一致估计。非线性模型的最大对数似然估计一般不等价于非线性非线性模型的最大对数似然估计一般不等价于非线性最小二乘估计，而是一个加权非线性最小二乘估计最小二乘估计，而是一个加权非线

12、性最小二乘估计。在特殊情况下，雅克比行列式为在特殊情况下，雅克比行列式为1 1，最大对数似然估计才等，最大对数似然估计才等 价于非线性最小二乘估计，条件如下：价于非线性最小二乘估计，条件如下：(,)()iiif YYgiiX,X,四、异方差和序列相关的最大似然估计四、异方差和序列相关的最大似然估计 1、思路、思路 经典模型异方差问题或者序列相关问题的处理方法：经典模型异方差问题或者序列相关问题的处理方法：一类是变换模型，使之成为不再具有异方差性或者序列一类是变换模型，使之成为不再具有异方差性或者序列相关性的模型，然后采用相关性的模型，然后采用OLSOLS进行估计，例如进行估计，例如WLSWLS

13、、GLSGLS等；等；一类是修正一类是修正OLSOLS估计量的标准差，纠正模型具有异方差性估计量的标准差，纠正模型具有异方差性或者序列相关性时或者序列相关性时OLSOLS估计量的非有效性，使得继而进行估计量的非有效性，使得继而进行的统计推断（例如显著性检验、参数的置信区间估计等）的统计推断（例如显著性检验、参数的置信区间估计等）仍然有效，例如仍然有效，例如WhiteWhite修正、修正、Newey-WestNewey-West修正方法等。修正方法等。非线性非线性ML方法方法将异方差问题或者序列相关问题看成一类非线性问题，采用将异方差问题或者序列相关问题看成一类非线性问题，采用MLML估计，比较

14、简单，可以同时得到结构参数估计量和反映异估计，比较简单，可以同时得到结构参数估计量和反映异方差或者序列相关特征的分布参数估计量。方差或者序列相关特征的分布参数估计量。2、异方差的最大似然估计、异方差的最大似然估计 iiiuxyf),(ni,1)(,0(),(21NuuUn2lnln 2lnln(,)22iinnLJ y 221(,)(,)2iiih yg x22ln 2ln+ln(,)222iinnJ y 被解释变量样本的对数似然函数为：被解释变量样本的对数似然函数为：22代替，可得：221ln(,|,)ln(2)ln()2Lyxn 1211ln(|)/ln(|)22niiiunUUy)ln(

15、)2ln(1 21),|,(lnnnxyLc111ln(|)ln()ln(|)22niiiunnUUy对异方差的结构给出假定，可以对模型的参数对异方差的结构给出假定，可以对模型的参数和和的参数的参数进进行最大似然估计。行最大似然估计。2(1)(0,)iiuN22(2)()iih2211ln(,，|,)ln(2)2cnLy xn 22211111ln()ln(|)22nnniiiiiiuy)ln()2ln(1 21),|,(lnnnxyLc1111ln()ln()()ln(|)22nniiiiuhny3、例题、例题州 开支 收入 州 开支 收入 州 开支 收入 AL 275 6247 AK 82

16、1 10851 AZ 339 7374 AR 275 6183 CA 387 8850 CO 452 8001 CT 531 8914 DE 424 8604 DC 428 10022 FL 316 7505 GA 265 6700 HI 403 8380 ID 304 6813 IL 437 8745 IN 345 7696 IA 431 7873 KS 355 8001 KY 260 6615 LA 316 6640 ME 327 6333 MD 427 8306 MA 427 8063 MI 466 8442 MN 477 7847 uXXY2210MS 259 5736 MO 274

17、7342 MT 433 7051 NB 294 7391 NV 359 9032 NH 279 7277 NJ 423 8818 NM 388 6505 NY 447 8267 NC 335 6607 ND 311 7478 OH 322 7812 OK 320 6951 OR 397 7839 PA 412 7733 RI 342 7526 SC 315 6242 SD 321 6841 TN 268 6489 TX 315 7697 UT 417 6622 VT 353 6541 VA 356 7624 WA 415 8450 WV 320 6456 WI NA 7597 WY 500 9

18、096 Coefficient Std.Error z-Statistic Prob.C 832.9144 327.2925 2.544862 0.0109 X-0.183420 0.082899-2.212588 0.0269 X2 1.59E-05 5.19E-06 3.057433 0.0022 Variable Coefficient Std.Error t-Statistic Prob.C 832.9144 327.2925 2.544862 0.0143 X-0.183420 0.082899-2.212588 0.0318 X2 1.59E-05 5.19E-06 3.05743

19、3 0.0037 OLSML22iiX22exp()iiX注：注：线性模型，截面样本，一般存在异方差。线性模型，截面样本，一般存在异方差。时间序列也有可能有异方差，常见金融时间序列。时间序列也有可能有异方差，常见金融时间序列。采用非线性最大似然法估计，可以得到关于异方采用非线性最大似然法估计，可以得到关于异方差结构的估计结果。差结构的估计结果。在某些情况下，得到异方差结构的估计结果比模在某些情况下，得到异方差结构的估计结果比模型参数估计量更重要。这就是异方差性的非线性型参数估计量更重要。这就是异方差性的非线性方法的意义所在。方法的意义所在。4、序列相关的最大似然估计、序列相关的最大似然估计 首

20、先假定模型随机误差项的序列相关结构。一首先假定模型随机误差项的序列相关结构。一般以般以AR(1)、MA(1)、ARMA(1,1)为常见。为常见。求出随机误差项对被解释变量的偏导数表达式，求出随机误差项对被解释变量的偏导数表达式，即得到雅克比式。即得到雅克比式。构造最大似然函数。构造最大似然函数。同时得到模型参数和随机误差项的序列相关结同时得到模型参数和随机误差项的序列相关结构的估计结果。构的估计结果。假定模型随机误差项的序列相关结构为假定模型随机误差项的序列相关结构为AR(1)(,)tttf YXTt,2,11ttt2(0,)NI1|22()(1)()ttVarVar2 1/211(1)1|/

21、|1tttttYYtY221ln(ln 2ln)ln(,)22iiLnJ y 按照非线性模型按照非线性模型ML显示：显示：此时，此时，n变为变为T，且有，且有122111(1),ttt 所以，对数似然函数为：所以，对数似然函数为：221ln(,|)ln(2)ln()2LT Y,X221/ln(1)22n1lnTtttY22()(1)()ttVarVar 中心化对数似然函数：中心化对数似然函数：1ln(,|)1ln(2)ln2cLTT Y,X21ln()ln(1)22nT 1lnTtttY模型随机误差项的序列相关结构为模型随机误差项的序列相关结构为MA(1)、ARMA(1,1)的估计的估计方法步

22、骤相同，见教材。方法步骤相同，见教材。5、例题、例题01122ttttYXX1,2,20t 1ttt 1ttt五、最大似然估计下的五、最大似然估计下的Wald、LM和和LR检验检验 1、说明、说明 在采用最小二乘估计的经典模型的检验中，常用的在采用最小二乘估计的经典模型的检验中，常用的检验统计量是检验统计量是基于残差平方和基于残差平方和构造的，例如构造的，例如F统计统计量、量、t统计量等。统计量等。在采用最大似然估计的非经典模型的检验中，常用在采用最大似然估计的非经典模型的检验中，常用的检验统计量是的检验统计量是基于最大似然函数值基于最大似然函数值构造的，例如构造的，例如Wald统计量、统计量

23、、LR统计量、统计量、LM统计量等。统计量等。三类检三类检验在大样本下渐进等价。验在大样本下渐进等价。1、沃尔德检验（、沃尔德检验（Wald Test）通过研究通过研究 的无约束估计量与有约束的距离来检验，如果的无约束估计量与有约束的距离来检验，如果原假设正确，二者差值不应该很大。原假设正确，二者差值不应该很大。00:H1200()()()()UUUWVarK2、似然比检验（、似然比检验（WLR）通常来说，无约束的似然函数最大值通常来说，无约束的似然函数最大值 比有约束的似比有约束的似然函数最大值然函数最大值 更大，如果原假设正确，差值不应该很大。更大，如果原假设正确，差值不应该很大。00:H

24、()ULn()RLn22(ln()ln()()RULRLLK3、拉格朗日乘子检验（、拉格朗日乘子检验（LM）00:H2ln()ln()()()()()RRRLLLMVarK注：注：1.Wald仅利用无约束估计的信息，仅利用无约束估计的信息，LM检验仅利用有约束估检验仅利用有约束估计的信息，而计的信息，而LR检验同时利用有约束与无约束信息。检验同时利用有约束与无约束信息。2.这三类检验在大样本情况下是等价的，小样本下性质不同。这三类检验在大样本情况下是等价的，小样本下性质不同。3.在正态分布与线性假设的情况下，可以证明统计量在正态分布与线性假设的情况下，可以证明统计量WALDLRLM。4.在不对

25、模型的具体概率分布做出假设的情况下，在不对模型的具体概率分布做出假设的情况下，LR、LM检验无法进行，但是检验无法进行，但是Wald检验仍可以进行。检验仍可以进行。5.LR、LM检验具有不变性，但是检验具有不变性，但是Wald则不具备，即如果对则不具备，即如果对原假设进行参数变换可能得到不同的原假设进行参数变换可能得到不同的Wald。六、对正态分布假设的检验六、对正态分布假设的检验 对非线性模型使用对非线性模型使用ML时，正态分布是推导的前提，所以时，正态分布是推导的前提，所以检验扰动项是否服从状态分布就比较重要。检验扰动项是否服从状态分布就比较重要。常用方法：常用方法：直方图直方图 核密度估

26、计法核密度估计法 QQ图图 雅克雅克贝拉检验（贝拉检验（JB检验）检验）0.02.04.06.08.1Density10203040Mileage(mpg)0.02.04.06.08Density1020304050Mileage(mpg)Kernel density estimateNormal densitykernel=epanechnikov,bandwidth=1.9746Kernel density estimate10203040Mileage(mpg)101520253035Inverse Normal0.511.5Density2.533.54lnmpgKernel density estimateNormal densitykernel=epanechnikov,bandwidth=0.0927Kernel density estimate