放宽基本假定的回归模型异方差课件.ppt

1、l 回归分析，是在对线性回归模型提出若干基本回归分析，是在对线性回归模型提出若干基本假设的条件下，应用普通最小二乘法得到了线性假设的条件下，应用普通最小二乘法得到了线性的、无偏的、有效的参数估计量。的、无偏的、有效的参数估计量。 l 但是，在实际的计量经济学问题中，完全满足但是，在实际的计量经济学问题中，完全满足这些基本假设的情况并不多见。这些基本假设的情况并不多见。l 如果违背了某一项基本假设，那么应用普通最如果违背了某一项基本假设，那么应用普通最小二乘法估计模型就不能得到无偏的、有效的参小二乘法估计模型就不能得到无偏的、有效的参数估计量，数估计量，OLSOLS法失效，这就需要发展新的方法估

2、法失效，这就需要发展新的方法估计模型。计模型。l本章就是来学习打破经典假定下的回归模型本章就是来学习打破经典假定下的回归模型说说 明明基本假定违背基本假定违背：不满足基本假定的情况。：不满足基本假定的情况。主要包括：主要包括：（1）随机误差项序列存在）随机误差项序列存在异方差异方差性；性；（2）随机误差项序列存在）随机误差项序列存在序列相关序列相关性；性；（3）解释变量之间存在）解释变量之间存在多重共线多重共线性；性；（4）解释变量是随机变量且与随机误差项相关）解释变量是随机变量且与随机误差项相关 （随机解释变量随机解释变量）；）；本章学习重点是前两个本章学习重点是前两个5.1 异方差性异方差

3、性一、异方差的一、异方差的概念概念二、异方差的类型二、异方差的类型三、异方差产生的原因三、异方差产生的原因四、异方差性的后果四、异方差性的后果五、五、异方差性的检验异方差性的检验六、六、异方差的解决方法异方差的解决方法七、案例七、案例对于模型对于模型如果出现如果出现Varii()2即即对于不同的样本点对于不同的样本点，随机误差项的方差不再随机误差项的方差不再是常数是常数，而互不相同而互不相同出现了出现了异方差性异方差性(Heteroskedasticity)。 一、异方差的概念一、异方差的概念01122+iiikkiiYXXX212 E(UU)=E(UU)= i,j=1,2,n s.t. ij

4、nWWWwwww即其中，是一个已知的实正定对称阵，的主对角线两侧的元素均为零，主对角线上的元素不全相同。，矩阵表示：矩阵表示：(A)概率密度YX01iX简单一元简单一元Y与与X的异方差图形的异方差图形同同方方差差(B)概率密度YX01iX异异方方差差 同方差同方差性假定性假定：i2 = 常数 f(Xi) 异方差异方差时：时： i2 = f(Xi)异方差一般可归结为异方差一般可归结为三种类型三种类型： (1)单调递增型单调递增型： i2随随X的增大而增大的增大而增大 (2)单调递减型单调递减型： i2随随X的增大而减小的增大而减小 (3)复复 杂杂 型型： i2与与X的变化呈复杂形式的变化呈复杂

5、形式 二、异方差的类型二、异方差的类型0123456720406080100 120 140 160 180 200Y01234567050100150200XY1、同方差 2、单调递增型 3、单调递减型 4、集簇型 01000200030004000-10-50510Indexsh1. 模型中缺失了某些解释变量模型中缺失了某些解释变量三、产生异方差的原因三、产生异方差的原因4. 随机因素的影响随机因素的影响2. 模型的设定误差模型的设定误差3. 样本数据的观测误差样本数据的观测误差计量经济学模型一旦出现异方差性，如果仍采计量经济学模型一旦出现异方差性，如果仍采用用OLS估计模型参数，会产生下

6、列不良后果：估计模型参数，会产生下列不良后果： 1 1、参数估计量非有效、参数估计量非有效 OLS估计量仍然估计量仍然具有具有无偏性无偏性，但，但不具有不具有有效性有效性 这是因为在有效性证明中利用了同方差假设 E()=2I四、异方差的后果四、异方差的后果以一元线性回归模型为例进行说明：以一元线性回归模型为例进行说明：（1 1）仍存在无偏性：证明过程与方差无关）仍存在无偏性：证明过程与方差无关由于 iiiXY10 的参数1的 OLS 估计量1为： iiiiiiixxkYk2111故 1211)()()(iiiExxEE（2 2）不具备）不具备最小方差性最小方差性由于 -222222111)()

7、()()()var(iiiiiixxExxEE 2222)()(iiixEx （注：交叉项)(,jjiijijixx的期望为零）在在i 为同方差的假定下，为同方差的假定下， 22)()var(iiE 2222221)()var(iiixxx在在i 存在异方差的情况下存在异方差的情况下 )()()var(222iiiiXfE记异方差情况下1的OLS 估计为1，则 22221)()()var(iiixXfx最小方差性不再保留最小方差性不再保留2 2、变量的显著性检验失去意义、变量的显著性检验失去意义 在变量的显著性检验中，构造了t统计量同样，在高斯-马尔科夫假设下用来做假设检验的其他统计量都失去意

8、义。3 3、模型的预测精度降低、模型的预测精度降低 一方面，由于统计检验失效，回归变量的解释力打上问号； 所以，当模型出现异方差性时，将导致预所以，当模型出现异方差性时，将导致预测区间偏大或偏小，预测功能失效测区间偏大或偏小，预测功能失效。l检验思路：检验思路： 由于异方差性异方差性就是相对于不同的解释变量观测值，随机干扰项具有不同的方差。那么： 检验异方差性，也就是检验随机干扰项的方检验异方差性，也就是检验随机干扰项的方差与解释变量观测值之间的相关性及其相关的差与解释变量观测值之间的相关性及其相关的“形式形式”。 回想，线性回归模型中，残差项回想，线性回归模型中，残差项ei可以视为随可以视为

9、随机干扰项机干扰项i的估计的估计五、异方差的检验五、异方差的检验 一般的处理方法：一般的处理方法： OLSiiiYYe)(- VarEeiii()()22即用ei2来表示随机误差项的方差。几种异方差的检验方法：几种异方差的检验方法： 1 1、图示法、图示法（1）X-Y的散点图的散点图 看看散点图散点图是否存在明显的是否存在明显的扩大扩大、缩小缩小或或复复杂型趋势杂型趋势（即不在一个固定的带型域中）。（即不在一个固定的带型域中）。如果存在，则说明很可能存在异方差。如果存在，则说明很可能存在异方差。图示法只能对异方差有个大概的判断图示法只能对异方差有个大概的判断 ( (2 2) )X X- -ei

10、2的的散散点点图图进进行行判判断断看是否形成一斜率为零斜率为零的直线ei2 ei2 X X 同方差 递增异方差ei2 ei2 X X 递减异方差 复杂型异方差2 2、帕克、帕克( (Park)检验与戈里瑟检验与戈里瑟( (Gleiser)检验检验l 基本思想基本思想: : 尝试建立方程：ijiiXfe)(2（帕克检验）ijiiXfe)(|选择关于变量X的不同的函数形式，包括指数型、多项式型、倒数型等，对方程进行估计和显著性检验，如果存在某一种函数形式，使得方程显著成立，则说明原模型存在异方差性。 如： 帕克检验常用的函数形式：或ijiiXelnln)ln(22或 （戈里瑟检验）22iijieX

11、 el局限性局限性l需要选择多个不同的解释变量需要选择多个不同的解释变量l尝试各种不同的函数形式，反复试验尝试各种不同的函数形式，反复试验l优点优点l探索异方差的具体形式，有助于针对性的消除异方探索异方差的具体形式，有助于针对性的消除异方差的影响差的影响 若若 在统计上是显著的，表明存在异方差性在统计上是显著的，表明存在异方差性。2loglogijiiecX建立形如的回归模型3 3、戈德菲尔德、戈德菲尔德- -匡特匡特(Goldfeld-Quandt)(Goldfeld-Quandt)检验检验 G-Q检验以检验以F检验为基础，适用于样本容量较检验为基础，适用于样本容量较大、异方差递增或递减的情

12、况。大、异方差递增或递减的情况。l G-QG-Q检验的思想检验的思想 先将样本一分为二，对子样先将样本一分为二，对子样和子样和子样分别分别作回归，然后利用两个子样的残差平方和之比构作回归，然后利用两个子样的残差平方和之比构造统计量进行异方差检验。造统计量进行异方差检验。 由于该统计量服从由于该统计量服从F分布，因此假如存在递增分布，因此假如存在递增的异方差，则的异方差，则F远大于远大于1；反之就会等于；反之就会等于1（同方（同方差）、或小于差）、或小于1（递减方差）。（递减方差）。l G-Q G-Q检验的步骤：检验的步骤：将将n对样本观察值对样本观察值(Xi,Yi)按观察值按观察值Xi的大小排

13、队的大小排队将序列中间的将序列中间的c=n/4个观察值除去，并将剩下个观察值除去，并将剩下的观察值划分为较小与较大的相同的两个子样的观察值划分为较小与较大的相同的两个子样本，每个子样样本容量均为本，每个子样样本容量均为(n-c)/2对每个子样分别进行对每个子样分别进行OLS回归，并计算各自的回归，并计算各自的残差平方和残差平方和在同方差性假定下，构造如下满足在同方差性假定下，构造如下满足F分布分布的统计量的统计量) 12, 12() 12() 12(2122-kcnkcnFkcnekcneFii给定显著性水平给定显著性水平 ，确定临界值，确定临界值F (v1,v2)， 若若F F (v1,v2

14、)， 则拒绝同方差性假设，则拒绝同方差性假设，表明表明存在异方差存在异方差。当然，还可根据两个残差平方和对应的子样的当然，还可根据两个残差平方和对应的子样的顺序判断是顺序判断是递增型异方差递增型异方差还是还是递减异型方差递减异型方差。缺点：只能检验单调型异方差。缺点：只能检验单调型异方差。l3、怀特（White）检验基本思想：基本思想：仍然是探索方差和解释变量之间的关系。仍然是探索方差和解释变量之间的关系。用残差平方对这些单变量、平方变量和两两交用残差平方对这些单变量、平方变量和两两交叉乘积变量做回归。叉乘积变量做回归。优点优点：在多变量的情况下能够检验异方差的存在性。：在多变量的情况下能够检

15、验异方差的存在性。l 怀特检验的基本思想与步骤（以二元为例）怀特检验的基本思想与步骤（以二元为例）iiiiXXY22110然后做如下辅助回归iiiiiiiiXXXXXXe215224213221102 可以证明，在 假设下：(*)R2为(*)的可决系数，h为(*)式解释变量的个数，表示渐近服从某分布。如果 或P值很小，则认为存在异方差。22(5)nR123450注意：注意：l 辅助回归的本质作用仍是检验与解释变量可能辅助回归的本质作用仍是检验与解释变量可能的组合的显著性，因此，辅助回归方程中还可引的组合的显著性，因此，辅助回归方程中还可引入解释变量的更高次方。入解释变量的更高次方。l在多元回归

16、中，由于辅助回归方程中可能有太多在多元回归中，由于辅助回归方程中可能有太多解释变量（如解释变量（如k=6时，要有时，要有27个回归元），从而方个回归元），从而方程变得繁琐且消耗自由度，有时可去掉交叉项。程变得繁琐且消耗自由度，有时可去掉交叉项。l 怀特检验不需要排序，适合任何形式的异方差。怀特检验不需要排序，适合任何形式的异方差。l 要求大样本。要求大样本。 当当 已知时，可用已知时，可用加权最小二乘法加权最小二乘法（Weighted Least Squares, WLS）进行估计。）进行估计。WLS是对原模型加权，使之变成一个新的不存在是对原模型加权，使之变成一个新的不存在异方差性的模型，然

17、后采用异方差性的模型，然后采用OLS估计其参数。估计其参数。 在采用在采用WLS方法时方法时: 对较小的残差平方对较小的残差平方ei2赋予较大的权数，赋予较大的权数， 对较大的残差平方对较大的残差平方ei2赋予较小的权数。赋予较小的权数。六、异方差的解决方法六、异方差的解决方法 1. 加权最小二乘法加权最小二乘法21iin 22011()i iiiikkiWeW YXX-l以常用的以常用的为例为例在一元下，运用在一元下，运用“偏导法偏导法”得参数估计式：得参数估计式：21iiW*1*2*01*,=,;,;iiiiiiiiiiiiiiiW y xW xYXW XWYXYWWxXXyYY-其中，特

18、别的，如果特别的，如果，就是，就是OLS，对应着同方差，对应着同方差12nWWW2201122011011*0011*1()1111()11111=+,i iiikkiiiikkiiiiiiikkiiiiiii*iiikkiiWeYXXYXXYXXYXXXYXU- 这是回归模型的残差设这个新模型它是为 或利用矩阵记法 差的故同方 *1*()X XX Y-运用矩阵语言：运用矩阵语言：l 实证常用步骤实证常用步骤 选择普通最小二乘法估计原模型，得到随机误差项的近似估计量ei； 建立|1ie的数据序列； 选 择加 权最 小二 乘法， 以|1ie序列 作为 权， 进行估计得到参数估计量。实际 上 是

19、以|1ie乘原 模 型 的 两 边， 得 到 一 个 新 模型，采用普通最小二乘法估计新模型。例如例如，如果对一元模型，经检验（如通过戈里，如果对一元模型，经检验（如通过戈里瑟检验）知：瑟检验）知：相应这个新模型的方差相应这个新模型的方差 满足同方差性满足同方差性，再用，再用OLS估计。估计。模型变换法实际上是模型变换法实际上是WLS的一种。的一种。2. 模型变换法模型变换法22()()iiiVarf X可以将模型两边同时除以可以将模型两边同时除以()if X01+()()()()iiiiiiiYXf Xf Xf Xf X2()()()()iiiiVarVarf Xf Xl对模型两边的变量同时

20、取对数，由于尺度缩小，可对模型两边的变量同时取对数，由于尺度缩小，可以降低异方差性的影响以降低异方差性的影响3. 模型的对数变换模型的对数变换010101logloglogiiiiiiiiiYXYXuYX将 改变为 或 注意，这不是等价变换！注意，这不是等价变换！这样做，也可以估计出来所谓的这样做，也可以估计出来所谓的“弹性弹性”等应用解释。等应用解释。 对于多元线性回归模型：对于多元线性回归模型： Y=X +UU的方差的方差- -协方差矩阵为协方差矩阵为4*. 广义最小二乘法（广义最小二乘法（GLS）21121212222122211211222122222212()()()()()()()

21、()()()()000000nnnnnnninnnnEEEEEECov UE UUEEE 相互独立l为为n阶实对称正定矩阵；阶实对称正定矩阵；l如果同方差，则如果同方差，则=I1111*()()Y,P P = IPPP PP PUPPYPXPUYPY XPX UPU- X由实对称正定矩阵的性质，存在n阶非奇异矩阵P，使得由此可得， 或 在方程两边同时左乘 ，得令，可得到新模型：*22+-()()() ()()()*YXUUCov UE UEUUEUE U UE PUU PPE UU PP PI- 对应新模型中的方差 协方差矩阵是*1*11+OLS()() () ()() (YXUX XX YP

22、X PXPXPYX P PX- 因此，新模型具有同方差，其余经典假设也是满足的，可以用法对其做估计。另外注意到尽管变量发生转换，但感兴趣的参数仍然是 ，因此新模型的参数估计量正是原模型的一个估计。1111)() ()X P PYP PXXXY- 将代入，得到这叫做原模型这叫做原模型的的GLS估计估计 例例: : 中国农村居民人均消费支出主要由人均纯收入来决定。 农村人均纯收入包括(1)从事农业经营的收入，(2)包括从事其他产业的经营性收入(3)工资性收入、(4)财产收入(4)转移支付收入。 考察从事农业经营的收入从事农业经营的收入( (X1 1) )和其他收入其他收入( (X2 2) )对中国

23、农村居民消费支出农村居民消费支出( (Y) )增长的影响:22110lnlnlnXXY七、案例：中国农村居民人均消费函数七、案例：中国农村居民人均消费函数表表 4.1.1 中中国国 2001年年各各地地区区农农村村居居民民家家庭庭人人均均纯纯收收入入与与消消费费支支出出相相关关数数据据（单单位位：元元） 地区 人均消费 支出 Y 从事农业经营 的收入 1X 其他收入 2X 地区 人均消费 支出 Y 从事农业经营 的收入 1X 其他收入 2X 北 京 3552.1 579.1 4446.4 湖 北 2703.36 1242.9 2526.9 天 津 2050.9 1314.6 2633.1 湖

24、南 1550.62 1068.8 875.6 河 北 1429.8 928.8 1674.8 广 东 1357.43 1386.7 839.8 山 西 1221.6 609.8 1346.2 广 西 1475.16 883.2 1088.0 内蒙古 1554.6 1492.8 480.5 海 南 1497.52 919.3 1067.7 辽 宁 1786.3 1254.3 1303.6 重 庆 1098.39 764.0 647.8 吉 林 1661.7 1634.6 547.6 四 川 1336.25 889.4 644.3 黑龙江 1604.5 1684.1 596.2 贵 州 1123.

25、71 589.6 814.4 上 海 4753.2 652.5 5218.4 云 南 1331.03 614.8 876.0 江 苏 2374.7 1177.6 2607.2 西 藏 1127.37 621.6 887.0 浙 江 3479.2 985.8 3596.6 陕 西 1330.45 803.8 753.5 安 徽 1412.4 1013.1 1006.9 甘 肃 1388.79 859.6 963.4 福 建 2503.1 1053.0 2327.7 青 海 1350.23 1300.1 410.3 江 西 1720.0 1027.8 1203.8 宁 夏 2703.36 1242

26、.9 2526.9 山 东 1905.0 1293.0 1511.6 新 疆 1550.62 1068.8 875.6 河 南 1375.6 1083.8 1014.1 普通最小二乘法的估计结果： 21ln5084.0ln3166.0655.1lnXXY (1.87) (3.02) （10.04） 2R=0.7831 2R=0.7676 DW=1.89 F=50.53 RSS=0.8232 异方差检验 进一步的统计检验进一步的统计检验 (1)G-Q检验检验 将原始数据按X2排成升序，去掉中间的7个数据，得两个容量为12的子样本。 对两个子样本分别作OLS回归，求各自的残差平方和RSS1和RSS

27、2： 子样本1：21ln119. 0ln343. 0061. 4lnXXY (3.18) (4.13) (0.94) R2=0.7068， RSS1=0.0648子样本2：21ln776. 0ln138. 0791. 0lnXXY (0.43) (0.73) (6.53) R2=0.8339， RSS2=0.2729计算计算F F统计量：统计量： F= RSS2/RSS1=0.2792/0.0648=4.31 查表查表 给定=5%，查得临界值 F0.05(9,9)=2.97判断判断 F F0.05(9,9) 否定两组子样方差相同的假设，从而该总体随机项存在递增异方差性存在递增异方差性。（2 2

28、）怀特检验）怀特检验 作辅助回归: 2222112)(ln026. 0ln055. 0)(ln015. 0ln102. 017. 0XXXXe- （-0.04）(0.10) (0.21) (-0.12) (1.47)21lnln043. 0XX- (-1.11)R2 =0.4638似乎没有哪个参数的t检验是显著的 。但 n R2 =31*0.4638=14.38=5%下，临界值 20.05(5)=11.07，拒绝拒绝同方差性同方差性 去掉交叉项后的辅助回归结果 2222112)(ln039. 0ln539. 0)(ln042. 0ln570. 0842. 3XXXXe- (1.36) (-0.64) (064) (-2.76) (2.90) R2 =0.4374X2项与X2的平方项的参数的t检验是显著的，且 n R2 =31 0.4374=13.56 =5%下，临界值 20.05(4)=9.49 仍然拒绝仍然拒绝同方差同方差的原假设的原假设