计量经济学课件-002.ppt

1、第三章:多元线性回归模型 3.1模型的假定3.2最小二乘估计 3.3最小二乘估计的性质3.4 模型的离差形式和决定系数3.5 参数估计的分布性质 3.6 多重共线性 3.1 模型的假定122tttkkttYXXu模型：YXU矩阵形式：1112112222222111kknknnknYuXXYXXuYXUXXYu其中：3.1 模型的假定12200,nTE uE UE uE UUIXr Xk knUNI模型假设：（1）即对每一个元素取期望（2）协方差矩阵（3）为一确定性变量（4）（5）3.2最小二乘估计 22,-2TTTTtTTTTTTTTTTTX AXa XAXa aXXeYXbbee eYXb

2、YXbY Y Y Xb b X Yb X XbY Yb X Yb X Xb为列向量残差向量，为 的估计，则残差平方和：3.2最小二乘估计 12200TTTTTTTe eX YX XbbkbX XX YX XX X上式为正规方程，包含 个方程式则最小二乘估计由假设条件可以证明是正定的，即3.3最小二乘估计的性质 111111.2.0TTTTTTTTTTbX XX YE bE bEX XX YEX XXXUX XX E XUX XX X线形特性：无偏性：3.3最小二乘估计的性质 1113.TTTTTTTvar bEbbbX XX YX XXXUX XX U有效性：3.3最小二乘估计的性质 1111

3、112212varvarTTTTTTTTTTTTTvar bEX XX UU X X XX XX E UUX X XX XX X X XII X XX XdAYAkndb 假设是 的任意线形无偏估计，是一的常数矩阵。有效性即：-03.3最小二乘估计的性质 221TTTTTTTTTAXIvar d=Avar Y AAI AAAAAX XAAAAAAAAAAAAAA由无偏性则 讨论下面的矩阵是否半正定？3.4模型的离差形式和决定系数0ttttttttttttttttttYXuYabXeYYYYeabXeYYabXeabXb XXe一元模型：离差形式：3.4模型的离差形式和决定系数YXUeYYYXb

4、YYeXbe多元模型：3.4模型的离差形式和决定系数11221110TnnTAIiiinYYYYAYYYAiAeeAAAA 设则3.4模型的离差形式和决定系数1212112,(1)11YXbeXXXXXXkXibbb 对于令其中：为 的第一列，为剩余的列构成的矩阵令：3.4模型的离差形式和决定系数121 122122222222intercept,bslope coefficient0TTTTbYX bX beXiAiAYAX beXX AYX AX bX e其中 为截距（）为斜率（）则而所以（*）（*）为模型的离差形式（*）两端同时乘以则3.4模型的离差形式和决定系数 22222222222

5、22222222200TTTTTTTTTTTTX eX eX AYX AX bX A YX A X bX A AYX A AX bAXAYAXAXb解释变量与残差变量垂直，即作业证明则得到：3.4模型的离差形式和决定系数11221TTkiiiiX X bX YbbYb XXXk2上式称为离差形式的正规方程，和一般形式的正规方程类似。利用b 求：其中为中个列向量每一列的算术平均。3.4模型的离差形式和决定系数1231,TTkki YiXbennbYXXXb这是因为总离差平方和：3.4模型的离差形式和决定系数 22222222220tTTTTTTTTTTSSYYAYAYY AYb X AeAX b

6、eb X AX be eESSRSSAeeX e“上式中交叉项部分=0”利用性质 和3.4模型的离差形式和决定系数 222222222222222ESSTTTTTTTTXYTTAX bAX bb X AX bb X AYRY AYY AYY AYAYAX bebSbX AY定义决定系数在一元模型中有多元模型对应有ESS=3.4模型的离差形式和决定系数122331223344211TTYXXuYXXXue e nkRY AY n 考虑两个模型(I)(II)则有：RSSIRSSII定义 称为调整（修正）后的决定系数。见教材p63-643.4模型的离差形式和决定系数22222222211111tkn

7、RRnknknRnkRReSnkE S 有类似一元模型，多元模型中误差项方差的估计量为：且3.4模型的离差形式和决定系数1110TeYXbYX X XX YIX X XXYMYMIX X XXMMM MMMX证明：由残差定义其中有性质：3.4模型的离差形式和决定系数 2TTtTTTeM XUMUee eMUMUU MUE e eE U MU则上式给出残差和误差的关系。3.4模型的离差形式和决定系数2TTTTTE U MUE tr U MUE tr MUUtrE MUUtrME UUtrMI3.4模型的离差形式和决定系数111MIX X XXtr MtrItr X X XXntrX XX Xnk

8、3.53.5参数估计的分布性质参数估计的分布性质1TTbX XX Y 121,bNX X 又 1TTTeIX X XXUIC UP IP UP IZ 3.5参数估计的分布性质参数估计的分布性质式中C是一等幂矩阵，且存在一正交变换矩阵P使 1100TP CP 3.5参数估计的分布性质参数估计的分布性质令TZP U 对 U 作一正交变换，则Z为正态分布，且 0E Z 2TE ZZI 则 221TTTTkne eZIPP IZZIZZZ 3.5参数估计的分布性质参数估计的分布性质3.5参数估计的分布性质参数估计的分布性质单一系数的显著性检验 122ttkkttYXXu 0:0iH 1:0iH 3.5

9、参数估计的分布性质参数估计的分布性质3.5参数估计的分布性质参数估计的分布性质3.5参数估计的分布性质参数估计的分布性质如果0,01,00R 0r H0为0i 如果 0,1,1,00R 0r H0为230 3.5参数估计的分布性质参数估计的分布性质对于0:HRr检验利用 F 分布 111,TTTRbrR X XRRbrqFF q nke e nk 3.5参数估计的分布性质参数估计的分布性质考虑如下的约束 023:0kH 10 1 000 0 100 00kkR 1k 0r 3.5参数估计的分布性质参数估计的分布性质可以证明 变成 1ESS kFRSS nk=2211RkRnk 3.5参数估计的

10、分布性质参数估计的分布性质上次作业讲评 YXU 要证0TX e 由正规方程 TTTX X bX YXXbe 有 0TX e 3.6多重共线性多重共线性 一、多重共线性存在的后果一、多重共线性存在的后果 二、多重共线性的判别尺度二、多重共线性的判别尺度三、多重共线性的解决方法三、多重共线性的解决方法 3.6多重共线性多重共线性一、多重共线性存在的后果一、多重共线性存在的后果 YXu r Xk 若若r Xk 则称作严格的多重共线关系。则称作严格的多重共线关系。讨论模型讨论模型 12233YXXu 假设假设 23XX 则则 1233YXu 重点讨论不是严格多重共线的情形。3.6多重共线性多重共线性由

11、上机实验数据表1、2 表 1 231.190.4460.00305YXX t 值 （1.54）（2.42）（0.0358）R2=0.81 230.552r 23,0.00868Cov b b DW=2.26 3.6多重共线性多重共线性表 2：231.21 0.4010.0270YXX t 值 （1.62）（1.48）（0.216）R2=0.814 230.829r 23,0.0282Cov b b DW=2.03 3.6多重共线性多重共线性存在产生的后果：多重共线性存在产生的后果：1.估计精度下降。估计精度下降。2.估计结果（包括方差、协方差）对数据估计结果（包括方差、协方差）对数据 的极小变

12、化很敏感。的极小变化很敏感。3.可以得到一个较高的决定系数可以得到一个较高的决定系数R R2 2，但系，但系 数估计在统计上很少显著。数估计在统计上很少显著。3.6多重共线性多重共线性二、多重共线性的判别尺度二、多重共线性的判别尺度 分析在什么样的情况下，多重共线性对估计结果影响太大，以至于不得不考虑它们的存在。讨论 12233YXXu 2222232211()utvar brXX 同理：2322233311()utvar brXX 3.6多重共线性多重共线性3.6多重共线性多重共线性 VIF称为方差扩大因子（Variance Inflation Factor）,利用它来描述变量之间的共线程度

13、3.6多重共线性多重共线性3.6多重共线性多重共线性三、多重共线性的解决方法三、多重共线性的解决方法 1岭回归（岭回归（Ridge Regression）2对模型不作任何调整对模型不作任何调整 3增加样本信息增加样本信息 4对数据作变换对数据作变换 3.6多重共线性多重共线性1岭回归（岭回归（Ridge Regression）解释变量之间共线关系很高，但不是完全共线意味着 0TX X OLS 依然存在 1TTbX XX Y 令岭回归 1TTRbX XIX Y 3.6多重共线性多重共线性可 以 证 明 RE b 为 有 偏 估 计。但是Rb的均方误差小于最小二乘估计的均方误差（MSE：mean

14、square error），即 1kRiiiMSE bMSE b 3.6多重共线性多重共线性 2MSE bE b 式中 b 仅为的估计量。22E bE bE bvar bbias b 其中 bias bE b 3.6多重共线性多重共线性2对模型不作任何调整对模型不作任何调整现有库存调整模型的估计结果：4.167850.5234461 (2.151)(4.412)0.46743520.7029871 (-4.180)(4.483)(-1)1967-1986 IGNPGNPIIGNPGNP 其中：表示投资，表示的滞后一期,估计区间：年t括号内为 值.3.6多重共线性多重共线性2342 284.4

15、255.5 13.4,10,.VIF bVIF bVIF bVIFVIFR 显然虽然很高 但参数估计的符号与大小和经济理论相一致 而且估计量在统计上显著很高这时可以接受模型的估计结果.3.6多重共线性多重共线性3增加样本信息增加样本信息Brown消费函数估计结果如下：7.0370.074420.88921CYC t值（3.766）（0.783）（17.852）20.996R 1.94S 估计区间：1966 年1986 年 3.6多重共线性多重共线性271.9sVIF bVIF b 式中，C 为消费,Y 为收入,C(-1)表示消费的滞后一期,称为 Brown 消费函数。3.6多重共线性多重共线性

16、t 期的消费不仅受到 t 期收入的影响，而且还受到滞后收入的影响，设 01122ttttCYYY 假设 1ii 0,1 0,1,2i 则有012 3.6多重共线性多重共线性212111ttttCYYY 21123111ttttCYYY 111tttCCY 则 111tttCYC 3.6多重共线性多重共线性季度数据的估计结果如下：2342.541 0.13100.836610.030450.036490.04860CYCDDD （-8.132）（5.585）（29.047）（10.487）（12.879）（10.503）20.997R，0.448S 227.78VIF b 322.6VIF b 估计区间：1966 年 2 季度1987 年第 1 季度 3.6多重共线性多重共线性3.6多重共线性多重共线性4对数据作变换对数据作变换常用方法是：取对数或者取差分。模型中变量先取对数再取差分，得到1lnlnlntttYYY，即称为变量的增长率。