第二章两变量线性回归分析课件.ppt

1、1第二章 两变量线性回归分析 两变量线性回归模型 参数估计和最小二乘法 最小二乘估计量的性质 回归拟合度评价和决定系数 统计推断 预测2两变量线性回归模型 两变量线性回归模型的核心是两个变量之间，存在着用线性函数表示的因果关系 如果用Y表示因果关系中被影响或决定的变量，用X表示影响或决定Y的变量，那么两变量线性回归模型的核心就是线性函数Y=+X，这个线性函数的截距和斜率是两个待定参数，是决定这个特定因果关系（或经济规律）的关健变数 由于计量分析是的问题导向的，Y应该是与所考察问题最紧密相关的指标；解释变量应该根据所研究问题的具体情况和特征，以及相关的经济理论和研究经验等进行判断选择；两个变量关

2、系是否直接用线性函数反映，则需要利用相关的经济理论和经验，以及根据变量数据的分布情况进行判断3 教材20页图4经济变量关系中的随机性（一）线性回归分析是以经济变量之间存在线性的因果关系为基础的，但这种因果关系不是严格意义上的函数关系，一个变量通常不可能被另一个经济变量完全精确地决定 人类经济行为本身有随机性 一个经济变量总是受众多因素的影响，虽然众多因素的单独影响可能较小，甚至可以忽略不计，但这些因素的总体影响是存在的，会对所考察的变量产生明显的影响或扰动，从而使只考虑两 个变量之间的函数难以严格成立 任何函数反映经济变量之间的关系都只是一种简化反映，常常忽略一些高阶项的次要部分，这种简化也会

3、导致变量之间的函数关系不能严格成立 经济数据来源于调查统计而非控制条件下的严格实验和测度，因而难免有一定的偏差5经济变量关系中的随机性（二）影响经济变量严格函数关系因素的存在，使得我们所研究的两变量线性关系，实际上都是有一定随机性的随机函数关系，应该表示为Y=+X+两个变量的随机线性函数由两部分组成 一部分由严格的线性函数E（Y）=+X构成，我们称之为两变量关系的趋势部分，也称为总体回归直线，是两变量关系的主要方面，也是我们研究的主要目标和对象 另一部分是随机误差项，代表了影响Y的各种较小因素的综合影响，是两变量关系中的次要方面6模型的假设 变量X和Y之间的函数关系Y=+X+，对两变量的所有观

4、察数据组 （i=1,n）都成立，其中 为随机误差项 对应每组变量观测数据的误差项 ，都为零均值的随机变量，即 对 i=1,n 都成立 误差项 的方差为常数，即 对i=1,n 都成立 对应不同观测值数据组的误差项不相关，即 对任意的i j都成立 解释变量X是确定性变量，而非随机变量 误差项 服从正态分布222)(iiiEEE0)()()(jijjiiEEEE),(iiYXii0)(iEii7零均值 零均值是线性回归模型最基本的假设，它是两变量线性随机函数的本质特征，是识别这种关系的根本标准 识别变量之间的随机函数关系，只能根据平均情况或概率分布来进行 如果两个变量的关系中确实线性函数是主导的，误

5、差项只是次要的随机扰动因素，那么Y的个别观测会因为随机扰动偏离线性函数规定的基本趋势，但如果对同样的X多次重复观测对应的Y值，则Y值的概率均值应该能消除随机扰动的影响，符合线性函数的基本趋势 该标准可等价地表示为 对 i=1,n 都成立，也就是被解释变量的期望值始终落在总体回归直线上，是参数估计方法有有效性和良好性质的必要保证iiXYE8 26页图2-39同方差 误差项的方差反映误差项作为随机函数的分布分散程度 同方差假设的意义是对于不同观测数据组，误差项的发散趋势相同，或有相同形状的概率密度函数 如果 的方差随i变化而变化，就意味着这部分因素对被解释变量的影响力度会随着i而变化，因此就不能再

6、理解为一些微小的可以忽略的随机扰动因素的影响 同方差假设排除模型误差项对被解释变量影响程度的变化，对保证线性回归分析的性质和价值，有非常重要的作用i10 26页图2-411无自相关 无自相关假设的意义是对应不同观测值的误差项之间没有相关性。如果这一点不成立，则意味着调养项的取值变化存在某种规律性，这与模型认为误差项只是没有规律的微小随机因素的综合影响的思想不符 当误差项之间存在相关性时，会对线性回归分析的效果产生不利的影响 同时满足零均值、同方差、无自相关三条假设的随机误差项，有时也称为“球形扰动项12解释变量是确定性变量 解释变量X是确定性变量而不是随机变量的假设，在于方便线性回归分析的讨论

7、和证明；这个假设不成立时，虽然多数情况下参数估计和相关的统计分析仍然有效，但证明比较困难 当X既是随机变量又与误差项有强相关性时，回归分析的有效性和价值会受到严重影响 这条假设有很大的人为性，因为X作为一个经济变量，也是不可重复的调查统计数据，而且也必然有观测误差。由于我们研究的是X决定Y的因果关系，可以认为X是可以任意选择的确定性变量，只有Y是随机的 可以证明，只要X与误差项没有多在的相关性，X是否是随机变量一般并不会影响参数估计的性质和相关的统计分析13误差项服从正态分布 误差项 服从正态分布是参数估计量分布性质和相关统计推断的基础 实际上只要变量关系确定满足线性回归分析的基本思想，其误差

8、项代表许多微小扰动因素的综合，那么根据中心极限定理，误差项服从正态分布是很自然的 误差项服从正态分布在进行参数估计时并一定需要，除了会对统计检验和推断造成一定影响外，也不会影响最小二乘估计量的基本性质，因此有时误差项服从正态分布并不作为线性回归分析模型的基本假设，线性回归分析中的“古典假设”中也不包括它 回归模型假设目的是为了明确回归分析的对象，方便分析，以及保证回归分析的性质和价值i14参数估计的基本思路（一）虽然设定两变量线性回归模型的前提是相信两变量之间确实存在特定的线性因果关系，模型两个参数和的“真实值”是客观存在的 因为我们无法观察到变量关系本身，我们能观察到的只是这种变量关系所产生

9、的结果，即有关的经济现象或经济数据，因而我们不可能知道这些真实值 由于存在随机扰动因素的影响，我们所观察到的结果，不可能精确地反映变量关系中趋势部分的确实情况，也就是参数和的“真实值”，随机扰动项给两变量的真实关系提供了一种“掩护”，便我们无法发现它的庐山真面目。由于扰动项影响始终存在，因此即使增加观测数据也并不能解决问题15参数估计的基本思路（二）由于我们无法知道参数的真实值，因此我们的目标定在找出它的某种近似值或估计值，并且希望估计值与真实值之间的近似程度能够比较高；更进一步的问题是，既然参数的真实值无法知道，那么我们找到一个估计值后，如何认定它是真实值的较好近似，或在两个估计值中，如何判

10、断哪个更好？解决这些问题的基本思路是，利用样本数据反映出来的趋势性设法确定参数估计值，以与样本趋势的拟合程度作为选择回归直线、判断参数估计好坏的标准 用拟合样本趋势的回归直线，或者称“样本回归直线”，近似模型的总体回归直线，从而得到模型参数的估计值，这利方法是线性回归分析的基本方法16样本趋势的拟合和回归残差（一）29页图17样本趋势的拟合和回归残差（二）建立判断回归直线对样本趋势拟合程度的标准，关健是要利用样本点与回归直线之间的纵向偏差，我们把这种偏差称为“回归残差”或者简称“残差”如果样本回归直线为Y=a+bX，那么由于Y和X之间真实关系是随机线性函数关系，因此通常多数样本点 不会落在这条

11、回归直线上，它们与回归直线之间有一段 纵向距离，也就是残差 (i=1,2,n)。残差越小，说明回归直线离样本点越近，如果对所有样本点的回归都较小，那么回归直线离所有样本点都较近，对样本趋势的拟合当然就是较好，因此残差是判断回归直线拟合程度的重要指标)(iiibXaYe),(iiYX18最小二乘法 最小二乘法的思想是用残差序列的平方和 作为衡量回归直线与样本趋势总体拟合程度的指标 残差平方和可以避免残差正负抵消问题，反映了所有样本点与回归直线偏差的总体水平，在计算估计值的数学运算上比较方便 在两变量线性回归模型的基本假设满足的情况下，最小二乘法得到的参数估计具有许多好的性质，是对参数真实值的良好

12、近似iiiibXaYe22)(19最小二乘法iiiiiiiiiiiiiiiiiiXXXXYYbXbYa：，YXY、X，XbXaYbebXaYae，babXaYe222222)()(”“0)(2)(0)(2)()(很容易得到两个变量的样本均值和表示并分别用解此方程组正规方程组组称为这两个方程组成的方程得并令其为零求偏导和对20最小二乘直线的性质 回归直线通过Y和X的样本均值 估计的Y（即 ）的均值等于Y实现观测值的均值 残差均值为零 残差与解释变量不相关 残差与估计的 不相关YYYyii21最小二乘估计量的性质线性性iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii

13、iiiiiXVVXXnVYVYXnYXYnXbYaXXXXYYXXXXXXXXYXXXXYYb0,1,1,01)1(1)()()()()()(2222很容易证明其中其中22最小二乘估计量的性质无偏性00)()(00)()(iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiEVXVVVEXVEVEXVEYVEaEEXEXEEXEYEbE23最小二乘估计量的性质有效性 证明最小二乘估计具有最小方差性的思路是，先假设a和b是和的任意其它线性无偏估计，然后设法证明a和b的方差Vara、Varb，与a和b的方差Vara、Varb之间，满足VaraVara和Var

14、bVarb两个不等式 b是的线性无偏估计，设b是的线性无偏估计，则有iiiiiiiiiiiiiiiiiiiiiiiiiiEEbEbEbEbVarEXXYb2222222)(24最小二乘估计量的性质有效性iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiivEvvEbEbEbEbVarvvXvvYvb，Xv，v，X，bXvvEvXvvvXvvEXvEbEYvb2222222 10)(因此两式同时成立这就要求上式都必须等于的取值如何因此不论的无偏估计是由于25最小二乘估计量的性质有效性)(0)(1)(1)(1)()(1)()()()(2)

15、()(2)()(222222222222222222222bVarvbVarb，VarXXXXXXXXXXXXXXXXvv，vvvbVarvvvvbVariiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii因此有的性质有定义和根据26一致估计 最小二乘估计具有重要的大样本性质：当样本容量不断增大时，最小二乘估计量以参数真实值为极限00)()(22222的方差趋向于当样本容量越来越大时也就是说时因此当时由于当，b，b，Varn，XX，nXXbVariiiiii27一致估计0lim0lim”“”“0lim0011222aP，a，a，bP，

16、bbbP，bPn，bVarnbVarbEbEbP，nnn即的一致估计是及的方差趋向于我们可以证明类似地也可以记为是概率极限的或于依概率收敛这时我们称或者说时因此当时由于有对于任意小的正数夫不等式根据概率论中的切比雪28一致估计 最小二乘估计的一致性，说明在大样本的情况下，最小二乘估计与参数真实值的近似程度会很高 一致性提供了如何逼近参数真实值的思路，那就是增加样本容量，从更多的样本中得到更多的信息 虽然在对现实问题的实证研究中，增加样本容量不是很容易的事，但至少存在随着信息增加而不断提高估计精确度的可能性29回归拟合度评价和决定系数 回归拟合度或拟合度，是回归直线与样本数据趋势的吻合程度。拟合

17、度取决于回归分析的方法和样本数据的分布 决定样本数据分布情况的，一方面是生成它们的变量关系，另一方面是随机扰动因素的情况。如果随机扰动项比较正常，也就是基本满足模型的假设，那么样本数据分布情况的变化和差异，则主要是由变量之间的关系决定 变化关系是否符合模型所假设的情况，必然会在样本数据的分布中反映出来，并进而会影响回归直线的拟合程度。因此回归拟合度实际上也是反映模型假设的变量关系真实性的指标，可以作为检验模型变量关系真实性的重要手段30回归拟合度评价和决定系数 既然根据模型的基本假设，Y和X之间的线性关系是主要关系，X是以线性方式决定Y的最主要因素，那么Y的离差就应该主要被回归值的离差，或X的

18、离差决定，因此我们可以在回归分析的基础上，用Y的离差被回归值或X的离差决定的程度，作为评价拟合程度的标准 根据最小二乘估计和回归残差的相关公式，Y的离差可以分解为解释的程度越高由回归直线或解释变量个观测值处说明在第后一部分越小大两个部分。前一部分越以及回归残差的离差决定的部分的离差可以分解为由即XY，i，e，XXbXYeXXbeYYYYiiiiii)()(31回归拟合度评价和决定系数称为残差平方和称为回归平方和称为总离差平方和从而容易证明22222222222222)()()()(0)()()(2)()(2)()(iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiieSSEXX

19、b，SSRYYSSTSSESSReXXbYY，SSTeXXeYY，eXXbeXXbeYYeYYYYSST32回归拟合度评价和决定系数性的回归分析中具有可比在不同模型和不同样本因此本值的影响可以避免样本数量和样相对比重指标是一个之间到的数值在决定系数并称之为决定系数记,10)(1)()(12222222，R，YYeYYXXbSSTSSESSTSSRRiiiiiiii33统计推断 根据最小二乘估计量的分布性质，对两变量线性回归模型的参数及它们对应的变量关系，作统计推断分析 统计推断分析，对于进一步判断模型假设的变量关系的真实性，以及如何进一步修改模型的思路，具有非常重要的意义 当我们所分析的线性回

20、归模型与特定的经济理论有内在联系时，本节所提出的一些假设检验，实际上也是检验这些经济理论正确性的重要方法34最小二乘估计量的分布性质和标准化 根据最小二乘估计量的性质，在模型假设条件下，模型参数的最小二乘估计量，服从以参数真实值为中心，以误差项方差的一个比例（或倍数）为方差的正态分布)(1/(,()(1/()(/,()(/22222222iiiiiiiiXXXnNb，XXXn，a，XXNb，XX，b可写成的正态分布方差为服从均值为的最小二乘估计量同样的可写成的正态分布方差为服从均值为的最小二乘估计量如35最小二乘估计量的分布性质和标准化 正是因为最小二乘估计量具有以参数真实值为均值的分布性质，

21、使得参数估计量与真实值通过概率分布联系在一起，使我们可以通过参数估计量的分布性质推断参数真实值的情况，并进行相关的统计检验和分析，以进一步确定变量关系或检验相关的理论 我们可以通过变换将b转化为服从标准正态分布的随机变量Zb，a也可以作类似的变换)1,0()(22NXXbZiib36误差项方差的估计 误差项的方差2的真实值我们是无法知道的，因此我们只能设法得到它的较好的估计值 i有一个自然的近似，即最小二乘估计的回归残差ei，因此不难想到用残差平方和的均值，作为2的估计量 如果考虑到一个好的估计量应该具有无偏估计的性质，就应该对初步考虑的估计量作进一步的考察。事实上可以证明，在模型假设成立的条

22、件下，最小二乘残差平方和的数学期望E（ei2）=(n-2)2 把S2=ei2/（n-2）作为2的估计量，就是具有无偏性的较好的估计量 37误差项方差的估计222222222222222)2(2)1()()(2)()(1)()(2)()()()()()()(nnXXXXXXXXnnXXEXXEEeEXXbXXbXXbYXXYbXaXYYeiiiiiiijjjiijjjiiiiijjjiiiiiiiiiiiii因此因为38误差项方差的估计)2()(1)2(2/)(/222222222222222ntXXXnSa，tntt，tnt，SZXXSbtZS，）（ne，ZSiiabbbiibbiiib同理记

23、分布的服务自由度为这个统计量根据统计学的定义方分布平方根之商与一个除以自由度的卡布的统计量相当于一个服从正态分得到的统计量中的代替因此用的随机变量分布卡方分布的服从自由度为因此变量是服从正态分布的随机由于但需要注意未知的问题解决了中的代统计量用39参数的置信区间和假设检验 有了最小二乘估计量的分布性质，我们便可以对模型的情况和真实性作进一步的推断分析 推断分析包括两方面内容：一是参数真实值的可能范围，即所谓的“置信敬意”或敬意估计问题 二是对参数的显著性（对应变量关系的存在等），以及参数取特定值的可能性等进行检验和分析40参数的置信区间41参数的置信区间 以置信度为95%，即显著性水平=0.0

24、5为例 根据样本容量n和显著性水平=0.05，查t分布临界值表，得到自由度为n-2，显著性水平=0.05的双侧t分布临界值t/2=t0.025（如n=10，=0.05，t/2=t0.025=2.306）根据双侧t分布临界值的意义，有iiiiiiiiiibXXStbXXStbXXStbttXXSbXXSbt22025.022025.022025.0025.02/2222)()()()()(或整理该式可得到42模型参数的假设检验 根据最小二乘估计量的分布性质构造的t统计量可以用来进行区间估计，并且可对模型参数（实质上就是变量关系）进行各种假设检验 构造原假设H0：=0.3，备择假设H1：0.3 如

25、根据样本数据计算结果，已知b=0.5091，SE(b)=0.0357，n=10，=0.05，t/2=t0.025=2.306，则 P0.2177b0.3823=0.95 由于估计值b=0.5091不在区间0.2177，0.3823内，而落在临界域内，因此可以拒绝原假设H0：=0.343模型参数的假设检验44模型参数的假设检验 我们也可直接计算t统计量并与临界值去比较t=(b-)/SE(b)45模型参数的假设检验 两变量线性回归模型认为解释变量是影响被解释变量变化的主要因素，而这种关系是否存在或者是否明显，都会在参数中反映出来。如果的数值很小，甚至无法排除它等于零的可能性，那么说明这两个变量之间的关系不明显，模型的基本设定不成立，因此检验是否显著地异于0，对于确定变量关系和模型的真实性非常重要。这种检验称为参数的显著性检验)2()(2/22ntXXSbtiib46模型参数的假设检验47模型参数的假设检验48预测iiiiiiXXXXnStbXaYXXXXnStbXaYXXXXn，YY，bXaY22*22/*22*22/*22*2*)()(11)()(111)()(11的置信区间为的置信度为的正态分布方差为服从均值为下在模型假设成立的前提49预测