多重共线性课件.ppt

1、Copyright 2006 The McGraw-Hill Companies,Inc.All rights reserved.McGraw-Hill/Irwin多重共线性：解释变量多重共线性：解释变量相关会有什么后果？相关会有什么后果？第第8章章2-2问题n多重共线性的性质是什么？n多重共线性是否是一个严重的问题？n多重共线性的理论后果是什么？n多重共线性的实际后果是什么？n实践中如何诊断多重共线性？n消除多重共线性的补救措施有哪些？2-3多重共线性的性质n多重共线性(multicollinearity)原先的含义指一个回归模型中的一些或全部解释变量之间存在一种“完全”或者准确的线性关系。

2、n现在共线性更为广义，既包括上述完全共线性，也包括非完全（高度）共线性的形式。11220kkXXXlll+=L11220kkiXXXlllu+=L2-4为什么CLRM假定无多重共线性？n如果多重共线性是完全的，则X变量的回归系数将是不确定的，并且它们的标准误为无穷大。n如果多重共线性是不完全的，则虽然回归系数可以确定，却有较大的标准误（相对于系数本身来说），也即系数不能以很高的精度或准确度加以估计。2-5多重共线性的来源n数据采集所用的方法。例如，抽样限于总体中诸回归元所取值的一个有限的范围内。n模型或从中取样的总体收到约束。例如，在做电力消费对收入和住房面积回归时，总体中有这样的一个约束，即

3、一般来说，收入较高的家庭比收入较低的家庭有较大的住房。n模型的设定。例如在回归中添加多项式，尤其当X变量的变化范围较小时。2-6n一个过度设定的模型(overdetermined)。这种情况出现在模型的回归元个数大于观测次数时。n模型中的回归元具有相同的时间趋势，即它们同时随着时间而增减。如在消费支出对收入，财富，人口的回归中，收入，财富和人口可能以多少有些一致的速度递增，从而导致这些变量之间的共线性。2-78.1 多重共线性的性质：完全多重共线性的情形多重共线性的性质：完全多重共线性的情形2-88.1 多重共线性的性质：完全多重共线性的情形多重共线性的性质：完全多重共线性的情形2-98.2

4、近似或者不完全多重共线性的情形近似或者不完全多重共线性的情形图图8-2 工资工资 和价格和价格 关系关系2X4X2-10出现完全多重共线性的估计问题n在完全多重共线性的情形中，回归系数是不确定的，并且标准误是无穷大的。n以三变量回归模型为例。n利用离差形式把三个变量都表示为偏离它们各自的样本均值的离差，就能把三变量回归模型写成：2233iiiiyb xb xe=+2-11()()()()()()()22332322222323iiiiiiiiiiiy xxy xx xbxxx x-=-邋邋邋()()()()()()()23222332222323iiiiiiiiiiiy xxy xx xbxx

5、x x-=-邋邋邋2-12n假定32iiXXl=()()()()()()()2222222222222222200iiiiiiiiiy xxy xxbxxxlllll-=-邋邋邋2-13n回想一下b2的意义：它是在保持X3不变的情况下，当X2每改变一个单位Y的平均值的变化率。n但如果X2和X3是完全共线性的，就没有任何方法能保持X3不变：随着X2改变，X3也按一个倍数因子 改变。n这意味着没有任何方法能从所给的样本中把X2和X3的各自影响分解开来。n但在应用计量经济学中，我们的宗旨就是区分每个变量的单独影响。l2-14n把 代入回归方程：n利用OLS公式得：32iiXXl=()()223223

6、22iiiiiiiiyb xbxebbxexella=+=+=+22322iiix ybbxal=+=2-15n因此，虽然 可以唯一地估计出来，却无法唯一的估计出b2和b3。n因为 是一个方程，却有两个未知数。n对给定的alpha和lamda值，有无穷多个解。a23bbal=+2-16出现“高度”但“不完全”多重共线性时的估计问题n仍以上述三变量回归模型为例。n假定 ，其中n回归系数估计：32iiiXXvl=+()()()()()()()2222222222222222222iiiiiiiiiiiiiy xxvy xy vxbxxvxlllll+-+=+-邋邋邋20iiv x=2-17n现在，

7、没有充分理由认为b2不可估计。n当然，当v充分小时，以致非常接近于零，则几乎完全共线性。2-188.3 多重共线性的理论后果多重共线性的理论后果为什么讨论多重共线性？为什么讨论多重共线性？l在近似共线性的情形下，OLS估计量仍然是无偏的。l近似共线性并未破坏OLS估计量的最小方差性。l即使在总体回归方程中变量 之间不是线性相关的，但在某个样本中，变量之间可能线性相关。XX2-198.4 多重共线性的实际后果多重共线性的实际后果n OLS估计量的方差和标准误较大。n 置信区间变宽。n t值不显著。n 值较高，但t值并不都是统计显著的。n OLS估计量及其标准误对数据的微小变化非常敏感，即它们很不

8、稳定。n 回归系数符号有误。n 难以评估各个解释变量对回归平方和（ESS）或者 的贡献。2R2R2-20OLS估计量的大方差与协方差()()2222223var1ibxrs=-()()2322323var1ibxrs=-()()22323222323cov,1iirb brxxs-=-邋23232223iiiix xrxx=邋2-21n随着r23趋于1，即随着共线性增加，两估计量的方差也增加。n当r23=1时，方差为无穷大。n协方差同理。n方差膨胀因子(variance-inflating factor,VIF)n所以22311VIFr=-()2222varibVIFxs=2-228.5 多重

9、共线性的诊断多重共线性的诊断n在任一给定的情况下，特别是在涉及多于两个解释变量的模型中，我们怎么知道有没有共线性？2-23n1.多重共线性是一个程度问题而不是有无问题。有意义的区分不在于有无之间，而在于程度大小。n2.由于多重共线性是对被假定为非随机的解释变量的情况而言，所以它是一种样本特征，而非总体特征。n因此，我们不做“多重共线性的检验”，但如果愿意，可以测度它在任一具体样本中显现的程度。2-24一些经验nR-square值高但解释变量t值统计显著的不多。这是多重共线性的“典型”特征。n解释变量两两高度相关。n检查偏相关系数。n从属回归或辅助回归。n方差膨胀因子。2-252-268.6 多

10、重共线性必定不好吗？多重共线性必定不好吗？取决于研究的目的。n如果是为了利用模型预测应变量的未来均值，则多重共线性未必是一件坏事。n如果研究的目的不仅仅是预测，而且还要可靠地估计出模型的参数，则严重的共线性就是一件“坏事”，因为它导致了估计量的标准误增大。2-278.7 扩展一例：扩展一例：1960-1982年期间美国的鸡肉需求年期间美国的鸡肉需求2-288.7 扩展一例：扩展一例：1960-1982年期间美国的鸡肉需求年期间美国的鸡肉需求鸡肉需求函数鸡肉需求函数方程（方程（8.15）的共线性诊断的共线性诊断1.相关矩阵相关矩阵 2-298.7 扩展一例：扩展一例：1960-1982年期间美国的鸡肉需求年期间美国的鸡肉需求鸡肉需求函数鸡肉需求函数方程（方程（8.15）的共线性诊断的共线性诊断2.辅助回归辅助回归 2-308.8 如何解决多重共线性：补救措施如何解决多重共线性：补救措施n从模型中删掉一个变量从模型中删掉一个变量n获取额外的数据或新的样本获取额外的数据或新的样本n重新考虑模型重新考虑模型n参数的先验信息参数的先验信息n变量变换变量变换n其他补救措施其他补救措施