存在测量误差的回归估计王璐璐课件.ppt

1、不完不完备数备数据的回据的回归归估估计计 存在存在测测量量误误差的回差的回归归估估计计主讲人：王璐璐主讲人：王璐璐不完不完备数备数据的回据的回归归估估计计 在样本数据有某些不完备情况下在样本数据有某些不完备情况下的回归估计问题：的回归估计问题：u存在测量误差的回归估计存在测量误差的回归估计u分组数据的回归估计分组数据的回归估计u缺失数据的回归估计缺失数据的回归估计存在存在测测量量误误差的回差的回归归估估计计u模型及基本假定模型及基本假定u工具变量估计工具变量估计u方程误差模型方程误差模型u组平均法组平均法u变量误差模型变量误差模型 u加权回归加权回归u总结总结模型及基本假定模型及基本假定经典正

2、态线性回归的测量误差问题经典正态线性回归的测量误差问题u回归方程：回归方程：u基本假设：基本假设： （1） （2） （3）对于任何非随机的解释变量来说）对于任何非随机的解释变量来说 是个不为零的有限数是个不为零的有限数 iiiyx2(0,)1,2,iNin(,)0ijEij211()niixxn模型及基本假定模型及基本假定u 现在假设观测值现在假设观测值x和和y含有测量误差（用含有测量误差（用 代替代替 ，且测量误差被假定是随机的而且具，且测量误差被假定是随机的而且具有特定的概率）有特定的概率） u 假设测量误差具有下列行为特性：假设测量误差具有下列行为特性：（1） （2）,iixy,iixy

3、iiiyyviiixxiiiivyxi和分别表示对 和 观测第 组值时的测量误差22()0,( ,),()0,( ,),ijivijiE v vijvN oEijN o 模型及基本假定模型及基本假定（3）以上三式可以表明：测量误差是相互独立的，以上三式可以表明：测量误差是相互独立的，是独立于回归方程的扰动的，并且对于非随机是独立于回归方程的扰动的，并且对于非随机的的x，是独立于，是独立于x和和y的真值的。的真值的。()0 ,()0 ,()0 .iiiiiiEvEvE 模型及基本假定模型及基本假定u从数据从数据 和和 估计回归方程的系数估计回归方程的系数u在上面的回归模型中，相关变量和解释变量是

4、在上面的回归模型中，相关变量和解释变量是可观测的，解释变量可观测的，解释变量 是同期与扰动是同期与扰动 相关的，相关的，即：即：yx,iiiiiiyyvxx,iiiiiv 回归方程为(y - )= + (x -)+,(1)iiiiiiixv或者y其中ixiCompany Logo模型及基本假定模型及基本假定u意味着意味着 的最小二乘估计式不是一致的，的最小二乘估计式不是一致的，同理同理 的最小二乘估计式也如此。的最小二乘估计式也如此。u（1）式称为变量误差和方程误差模型）式称为变量误差和方程误差模型cov(,)()iiiiixE xE x()iiiiEv 2 工具变量估计工具变量估计 u由于当

5、由于当x,y存在测量误差时，回归方程的系存在测量误差时，回归方程的系数的最小二乘估计式不是一致的。在此情况数的最小二乘估计式不是一致的。在此情况下我们得到一致估计量的方法：下我们得到一致估计量的方法：工具变量工具变量u工具变量的含义工具变量的含义 工具变量是在模型估计过程中被作为工具使工具变量是在模型估计过程中被作为工具使用，以替代与随机干扰项相关的随机解释变量。用，以替代与随机干扰项相关的随机解释变量。工具变量估计工具变量估计u工具变量的选取工具变量的选取被选择作为工具变量必须满足以下条件：被选择作为工具变量必须满足以下条件： 1、与所替代的随机解释变量高度相关；、与所替代的随机解释变量高度

6、相关； 2、与随机干扰项不相关；、与随机干扰项不相关； 3，与模型中其他解释变量不相关，避免出现多重共，与模型中其他解释变量不相关，避免出现多重共线性。线性。u工具变量的应用工具变量的应用 工具变量法是克服解释变量与随机干扰项相关影响工具变量法是克服解释变量与随机干扰项相关影响的一种参数估计方法。的一种参数估计方法。工具变量估计工具变量估计 以一元回归模型为例说明如下：以一元回归模型为例说明如下：用用OLS估计模型，相当于用估计模型，相当于用 去乘模型两边、对去乘模型两边、对i求和、再略去求和、再略去 项后得到正规方程：项后得到正规方程： ix解得解得:iiixyii ixiiynx2iiii

7、x yxx2,()iiixyyxxiiiixxx yyy其中，工具变量估计工具变量估计 由于由于 ，意味着大样本下，意味着大样本下:表明大样本下表明大样本下:成立，即成立，即OLS估计量具有一致性。估计量具有一致性。 然而，如果然而，如果 与与 相关，即使在大样本下，也不相关，即使在大样本下，也不存在存在 ，则，则在大样本下也不成立，在大样本下也不成立，OLS估计量不具有一致性。估计量不具有一致性。iiii iE( )=0,cov(x, )=E(x )=0110,0iiixnniix10iixn2,()iiixyyxx2,()iiixyyxx工具变量估计工具变量估计这种求模型参数估计量的方法称

8、为这种求模型参数估计量的方法称为工具变量法工具变量法，相应的估计量称为相应的估计量称为工具变量法估计量工具变量法估计量。u如果按照工具变量的选择条件选择如果按照工具变量的选择条件选择z作为作为x的工具变量，的工具变量，那么在上述过程中不用那么在上述过程中不用x而用而用z乘以模型的两边，并对乘以模型的两边，并对i求和。利用工具变量与随机干扰项不相关的性质，在大求和。利用工具变量与随机干扰项不相关的性质，在大样本下可以略去样本下可以略去 与与 ，得到如下的正规方程组：，得到如下的正规方程组：iiiziiynxiiiiiz yzz y/,iiiiiiz yyxzzzz x于是，其中,工具变量估计工具

9、变量估计 u工具变量法估计量是工具变量法估计量是有偏估计量有偏估计量 用工具变量法所求的参数估计量用工具变量法所求的参数估计量 与总体参数真值与总体参数真值 之间的关系之间的关系()iiiiiiiiiiiiiz yzxzz xz xz x于是于是,()()iiiizEEz x因为因为z和和x都是随机变量，所以在一般情况下都是随机变量，所以在一般情况下 故故()0iiiizEz x()E上式说明工具变量法估计量一般不具有无偏性。上式说明工具变量法估计量一般不具有无偏性。工具变量估计工具变量估计u工具变量法估计量是工具变量法估计量是一致估计量一致估计量 一元回归中，工具变量法估计量为一元回归中，工

10、具变量法估计量为:()iiiiiiiiiiiiiz yzxzz xz xz x 两边取概率极限得：两边取概率极限得： 1limlim()1limiiiiPznPPz xn工具变量估计工具变量估计因此因此1limlim()1limiiiiPznPPz xn这说明工具变量法估计量具一致性。这说明工具变量法估计量具一致性。1lim(,)01lim(,)0iiiiiiiiPz xCov ZXnPzCov Zn如果工具变量如果工具变量Z选取恰当，即有选取恰当，即有 工具变量估计工具变量估计u工具变量的渐近方差可由下列公式导出：工具变量的渐近方差可由下列公式导出：由于由于 是未知的，所以必须进行估计。是未

11、知的，所以必须进行估计。 的的一致估计式由下式给出：一致估计式由下式给出：*22*2*222*222222()lim,()1( )lim,()iiiiiivZAsymptVarpx ZxZAsymptVarpnx Z 其中*2*222*1()2iiiSyxn工具变量估计工具变量估计这样我们就可得到这样我们就可得到 的渐近方差估计的渐近方差估计虽然它们是渐近方差，但是作为近似，已被用于虽然它们是渐近方差，但是作为近似，已被用于有限样本中。有限样本中。当当“真真”解释变量解释变量 是随机且独立于是随机且独立于 时，以上时，以上那些估计式都是可以用的。那些估计式都是可以用的。和222*22*2*22

12、*2,()1()iiiiiiSZSxZxZSSnxZx*工具变量估计工具变量估计u注意：注意：（1 1）工具变量并没有替代模型中的解释变量，工具变量并没有替代模型中的解释变量，只是在估计过程中作为只是在估计过程中作为“工具工具”被使用被使用。 上述工具变量法估计过程可等价地分解成下面的两步上述工具变量法估计过程可等价地分解成下面的两步OLSOLS回归：回归：第一步，用第一步，用OLSOLS法进行法进行X X关于工具变量关于工具变量Z Z的回归：的回归： iiZX10iX 第二步，以第一步得到的第二步，以第一步得到的 为解释变量，进行如下为解释变量，进行如下OLSOLS回归；回归；iiYX因此，

13、工具变量法仍是因此，工具变量法仍是Y Y对对X X的回归，而不是对的回归，而不是对Z Z的回归。的回归。工具变量估计工具变量估计（2 2）如果一个随机解释变量可以找到多个相互独立的工）如果一个随机解释变量可以找到多个相互独立的工具变量，人们希望充分利用这些工具变量的信息，这就形具变量，人们希望充分利用这些工具变量的信息，这就形成了广义矩方法成了广义矩方法(GMM)(GMM)。 在在GMMGMM中，如何求解成为它的核心问题。中，如何求解成为它的核心问题。 GMM GMM是近是近2020年计量经济学理论方法发展的重要方向之一。年计量经济学理论方法发展的重要方向之一。 工具变量法是工具变量法是GMM

14、GMM的一个特例。的一个特例。 OLS OLS法也可看成是工具变量法的特例。法也可看成是工具变量法的特例。 （3 3）考虑到随机解释变量与随机干扰项相关的主要来源）考虑到随机解释变量与随机干扰项相关的主要来源是由于同期测量误差引起的，就可以用滞后一期的随机解是由于同期测量误差引起的，就可以用滞后一期的随机解释变量作为原解释变量的工具变量，即用释变量作为原解释变量的工具变量，即用Xt-1Xt-1作为原解释作为原解释变量变量XtXt的工具变量。的工具变量。方程误差模型方程误差模型 u方程（方程（1）称为）称为“变量误差和方程误差模型变量误差和方程误差模型”，若，若考虑其测量误差仅仅发生于相关变量考

15、虑其测量误差仅仅发生于相关变量y上，即对所上，即对所有的有的i， 由于由于 和和 被假设是正态的和独立的，则我们有，被假设是正态的和独立的，则我们有，方程方程(2)即称为即称为“方程误差模型方程误差模型”。0iiiiyy于是，将代入回归方程，得,(2)iiiiiiyx其中，ii2222(0,),iNu方程（方程（2）形式上等于经典正态线性回归方程，）形式上等于经典正态线性回归方程，回归系数的最小二乘估计式具有符合要求的性质。回归系数的最小二乘估计式具有符合要求的性质。方程误差模型方程误差模型u注意注意ii和的 区 别（1）、）、 的方差不仅反映了解释变量的系统影响的方差不仅反映了解释变量的系统

16、影响外，还影响到相关变量。通常，这个方差不能外，还影响到相关变量。通常，这个方差不能为观测者所改变。另一方面，通过改进测量方为观测者所改变。另一方面，通过改进测量方法可以使得测量误差的方差减小，进而法可以使得测量误差的方差减小，进而 的方的方差也减小。差也减小。（2）、由于对经济变量测量方法的不断改进，）、由于对经济变量测量方法的不断改进， 的方差减小，从而的方差减小，从而 的方差也减小。的方差也减小。iiii方程误差模型方程误差模型u方程误差模型还有另一种模式，相对应的考虑解释方程误差模型还有另一种模式，相对应的考虑解释变量变量x具有测量误差，而相关变量具有测量误差，而相关变量y无测量误差，

17、即对无测量误差，即对所有所有i， 。于是。于是 ，此时回归方程变为，此时回归方程变为 其中其中这里这里 与与 是同时期相关的。事实上，是同时期相关的。事实上，所以（所以（3）式中的）式中的 和和 的最小二乘估计式不是一致的，的最小二乘估计式不是一致的，应用前面的工具变量法可以得到一致的估计式。应用前面的工具变量法可以得到一致的估计式。0iv *iiixx*,(3)iiiyxiii*ixi*2(,)()()()0iiiiiiiiCov xE xE xEE 组平均法组平均法u组平均法要求根据组平均法要求根据 的大小来排列观测值的数的大小来排列观测值的数据据 ，使得，使得，u然后将这些数对划分为容量

18、大约相等的然后将这些数对划分为容量大约相等的3个组。个组。u回归系数的组平均估计式为回归系数的组平均估计式为 ix,iixy（）12nxxx3131,yyyxxx1313yyyxxx其中， 和分别是第一组和第三组的 的计算平均值；和是 相应的平均值.组平均法组平均法u注意到组平均法可以看成工具变量法的特殊情况，注意到组平均法可以看成工具变量法的特殊情况，如果如果3个组具有相等的容量，并取工具变量个组具有相等的容量，并取工具变量u与利用工具变量法进行回归估计比较，两种方法估计与利用工具变量法进行回归估计比较，两种方法估计的关系式是近似的。的关系式是近似的。1,0,1,iiiZiZiZi 当 属

19、于 第 一 组 ；当 属 于 第 二 组 ；当 属 于 第 三 组 ；变量误差模型变量误差模型u这一模型假设相关变量与解释变量之间的关系这一模型假设相关变量与解释变量之间的关系式确定的，而我们对式确定的，而我们对x和和y的测量是不精确的，的测量是不精确的，即模型本身应假设为对任何即模型本身应假设为对任何i ， 。于是。于是x和和y的关系应为：的关系应为： 其中其中 可以是随机的或非随机的。可以是随机的或非随机的。0iiiyxixu如果如果 是随机的，假定它独立于是随机的，假定它独立于 。 由于我们的观测值不是由于我们的观测值不是 和和 ，而是，而是 所以必须做代换，所以必须做代换，由于由于 和

20、和 明显相关，所以明显相关，所以 和和 的估计式不一致。的估计式不一致。还需要工具变量法得到一致估计量。还需要工具变量法得到一致估计量。ix,iiixiyiixy和,iiiiiiyyxx,iiiiiiyx得到 其中，ixi加权回归加权回归u加权回归：加权回归：如果可以作出关于误差方差比率的先如果可以作出关于误差方差比率的先验假设，即使得测量验假设，即使得测量x和测量和测量y的误差方差存在一的误差方差存在一个比例关系，而采用的方法。个比例关系，而采用的方法。u令令 ，例如要求测量，例如要求测量x和测量和测量y的误差方的误差方差相同，即使得差相同，即使得 。u对于给定的对于给定的 建立建立 一致估

21、计式，通常称它一致估计式，通常称它们为们为”加权回归估计式加权回归估计式”。 221和加权回归加权回归u因为因为 的最小二乘估计式为的最小二乘估计式为而且而且 所以可以把所以可以把 写成写成 的概率极限是的概率极限是由（由（4）式可以看出，）式可以看出， 不一致的原因是由于分母中不一致的原因是由于分母中存在存在 这一项所致。这一项所致。* 2iiixyx*,iiiiiiiiyyvxvxx2222()()()2iiiiiiiiiiiiiiiiixvxxx vxvxxx 222lim(4)xxp2加权回归加权回归这就暗示我们这就暗示我们 的一致估计式应该是的一致估计式应该是其中其中 是是 的一致估

22、计式。的一致估计式。 这样，问题就可以简化为寻找用这样，问题就可以简化为寻找用 表示表示 的一致估计式。的一致估计式。 再将这个估计式带入（再将这个估计式带入（5）式中，我们就可以求）式中，我们就可以求解出解出 ，从而得到了，从而得到了 的一致估计式。的一致估计式。 如果如果 是已知的，我们就有是已知的，我们就有 按照上述按照上述思路可以求解思路可以求解 的一致估计式的一致估计式.（书（书p207）* 22() /() /iiixynxn（ 5）22*,xy和222v和加权回归加权回归u注：注： 的值根据下式所确定的值根据下式所确定 其中其中 即根据所拟合回归直线的离差平方和来确定的。即根据所

23、拟合回归直线的离差平方和来确定的。 相应的一致估计式是相应的一致估计式是可以证明可以证明 代表各自参数的极大似然估计，因而代表各自参数的极大似然估计，因而它们是渐近有效的。它们是渐近有效的。2*2*2*01min()2xyxxyyxyiiyyxyxxmmmmyxmmmn （）-（6）（7）* 2* 2*111,.yyixxixyiimymxmx ynnn*yx 和Company Logo加权回归加权回归u若假设解释变量若假设解释变量x的测量是没有误差的，最小二乘的测量是没有误差的，最小二乘估计是基于使观测到的估计是基于使观测到的y与回归直线的离差平方和极与回归直线的离差平方和极小这一思想上的，

24、这个程序称为小这一思想上的，这个程序称为“y方向上的极小方向上的极小”。此时此时 ，将其代入（，将其代入（6）式中得到）式中得到 。u另一个极端，若假设测量另一个极端，若假设测量y时没有误差，则成为时没有误差，则成为“x方向上的极小方向上的极小”也就是极小化了观测点与回归直线的也就是极小化了观测点与回归直线的水平距离的平方和。此时水平距离的平方和。此时 ，得到，得到0*xyxxmm *yyxymmx加权回归加权回归u说明说明 的大小是怎样决定着极小化方向的，的大小是怎样决定着极小化方向的，当当 位于位于0到到 之间时，它充当了一个置换之间时，它充当了一个置换x与与y之间的极小化方向的之间的极小

25、化方向的“权重权重”因素。因素。注：以上的模型建立在变量误差模型的基础上注：以上的模型建立在变量误差模型的基础上存在测量误差的回归估计存在测量误差的回归估计u总结：总结：（1）测量误差可能存在于大多数经济中，处理不仅）测量误差可能存在于大多数经济中，处理不仅有随机扰动，同时还有误差的估计问题。有随机扰动，同时还有误差的估计问题。（2）一般只关注）一般只关注“方程误差模型方程误差模型”而忽略测量误差而忽略测量误差，并不是认为观测数据是完美的，而只是认为与变，并不是认为观测数据是完美的，而只是认为与变量关系中的随机扰动相比，测量误差是次要的。量关系中的随机扰动相比，测量误差是次要的。Company Logo存在测量误差的回归估计存在测量误差的回归估计