第2章-线性回归的基本思想：双变量模型课件.ppt

1、第第2 2章章 线性回归的基本思想：双变量线性回归的基本思想：双变量模型模型 Simple regression modely=b0+b1 x+u2目录目录Introduction to Regression Analysis2.1变量间的关系及回归分析的基本概念变量间的关系及回归分析的基本概念2.2总体回归函数总体回归函数2.3随机扰动项随机扰动项2.4样本回归函数样本回归函数2.5“线性线性”回归的含义回归的含义2.6从双变量回归到多元线性回归从双变量回归到多元线性回归2.7参数估计：参数估计：OLS32.1变量间的关系及回归分析的变量间的关系及回归分析的基本概念基本概念41 1、变量间的

2、关系、变量间的关系 确定性关系或函数关系：确定性关系或函数关系：研究的是确定现象非随研究的是确定现象非随机变量间的关系。机变量间的关系。统计依赖或相关关系：统计依赖或相关关系：研究的是非确定现象随机研究的是非确定现象随机变量间的关系。变量间的关系。经济变量之间的关系，大体可分为两类：经济变量之间的关系，大体可分为两类：5对变量间对变量间统计依赖关系统计依赖关系的考察主要是通过的考察主要是通过相关分析相关分析(correlation analysis)或或回归分析回归分析(regression analysis)来完成的：来完成的：正相关 线性相关 不相关 相关系数：统计依赖关系 负相关 11-

3、XYr 有因果关系 回归分析回归分析 正相关 无因果关系 相关分析相关分析 非线性相关 不相关 负相关6几点注意几点注意 不线性相关并不意味着不相关；不线性相关并不意味着不相关；有相关关系并不意味着一定有因果关系；有相关关系并不意味着一定有因果关系；回归分析回归分析/相关分析相关分析研究一个变量对另一个（些）研究一个变量对另一个（些）变量的统计依赖关系，但它们并不意味着一定有因变量的统计依赖关系，但它们并不意味着一定有因果关系；果关系；相关分析相关分析对称地对待任何（两个）变量，两个变对称地对待任何（两个）变量，两个变量都被看作是随机的。量都被看作是随机的。回归分析回归分析对变量的处理方法对变

4、量的处理方法存在不对称性，即区分应变量（被解释变量）和自存在不对称性，即区分应变量（被解释变量）和自变量（解释变量）。变量（解释变量）。7 回归分析是研究一个变量关于另一个（些）变量的回归分析是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。具体依赖关系的计算方法和理论。这里前一个变量被称为这里前一个变量被称为被解释变量被解释变量（Explained Explained VariableVariable）或）或应变量应变量（Dependent VariableDependent Variable），后一），后一个（些）变量被称为个（些）变量被称为解释变量解释变量（Explana

5、tory Explanatory VariableVariable）或）或自变量自变量（Independent VariableIndependent Variable）。）。2 2、回归分析的基本概念、回归分析的基本概念8 由于变量间关系的随机性，由于变量间关系的随机性，回归分析关心的是根据回归分析关心的是根据解释变量的已知或给定值，考察被解释变量的总体解释变量的已知或给定值，考察被解释变量的总体均值均值，即当解释变量取某个确定值时，与之统计相，即当解释变量取某个确定值时，与之统计相关的被解释变量所有可能出现的对应值的平均值。关的被解释变量所有可能出现的对应值的平均值。回归分析构成计量经济学

6、的方法论基础，其主要内回归分析构成计量经济学的方法论基础，其主要内容包括：容包括：（1）根据样本观察值对计量经济模型参数进行估计，）根据样本观察值对计量经济模型参数进行估计，求得回归方程；求得回归方程；（2）对回归方程、参数估计值进行检验；）对回归方程、参数估计值进行检验；（3）利用回归方程进行分析、评价及预测。）利用回归方程进行分析、评价及预测。92.2总体回归函数总体回归函数Population Regression Function10例子例子例例2.12.1：一个假想的社区有60户家庭组成，要研究该社区每月家庭消费支出Y与每月家庭可支配收入X的关系。即如果知道了家庭的月收入，能否预测该

7、社区家庭的平均月消费支出水平。为达到此目的，将该60户家庭划分为组内收入差不多的10组，以分析每一收入组的家庭消费支出（表2.1）。11表表2.1 某社区每月家庭收入与消费支出查统计表某社区每月家庭收入与消费支出查统计表每月家庭收入 X（元）80010001200140016001800200022002400260055065079080010201100120013501370150060070084093010701150136013701450152065074090095011001200140014001550175070080094010301160130014401520165

8、017807508509801080118013501450157017501800088001130125014000160018901850每月家庭消费支出Y（元）0001150000162001910共计325046204450707067807500685010430966012110条件概率1/51/61/51/71/61/61/51/71/61/7条件均值6507708901010113012501370149016101730E（Y|X=800）=65012 由于不确定因素的影响，对同一收入水平X，不同家庭的消费支出不完全相同；(见表2.1)但由于调查的完备性，给定收入水平X的消

9、费支出Y的分布是确定的，即以X的给定值为条件的Y的条件分布（Conditional distribution）是已知的，如：P(Y=550|X=800）=1/5。因此，给定收入X的值Xi，可得消费支出Y的条件均值（conditional mean）或条件期望（conditional expectation）：)|(iXXYE该例中：该例中：E（Y|X=800）=650 分析分析13 从散点图发现：随着收入的增加，消费从散点图发现：随着收入的增加，消费“平均平均地说地说”也在增加，且也在增加，且Y的条件均值均落在一根正的条件均值均落在一根正斜率的直线上。这条直线称为斜率的直线上。这条直线称为总体

10、回归线总体回归线。X500100015002000consumption/Fitted values50010001500200025003000incomeconsumptionFitted valuesY14 概念概念 在给定解释变量iX条件下被解释变量iY的期望轨迹称为总体回归线总体回归线（population regression line），或更一般地称为总总体回归曲线体回归曲线（population regression curve）。相应的函数（方程）：)()|(iiXfXYE （2.1）称为（双变量）总体回归函数总体回归函数（方程）（方程）（PRF）（populationreg

11、ression function）。15 总体回归函数（总体回归函数（PRFPRF）说明被解释变量）说明被解释变量Y Y的平均的平均状态（总体条件期望）随解释变量状态（总体条件期望）随解释变量X X变化的规律。变化的规律。函数形式可以是线性或非线性的。函数形式可以是线性或非线性的。例例2.1中中：iiXXYE10)|(bb+为一线性函数。其中，1b与2b为未知,然而固定的参数，称为回归系数回归系数（regression coefficients）。162.3 随机扰动项随机扰动项17随机扰动项的引入随机扰动项的引入 总体回归函数说明在给定的收入水平Xi下，该社区家庭平均的消费支出水平。但对某一

12、个别的家庭，其消费支出可能与该平均水平有偏差。记 )|(iiiXYEY-u )(10iiXYbb+-（2.2）称iu为观察值iY围绕它的期望值)|(iXYE的离差离差（deviation），它是一个不可观测的随机变量，又称为随机干扰项随机干扰项（stochastic disturbance）或随机误差项随机误差项（stochastic error）。18由（2.2）式，个别家庭的消费支出为：Yi=E(Y|Xi)+ui =b0+b1 Xi+ui (2.3)即，给定收入水平Xi,个别家庭的支出可表示为两部分之和：1.该收入水平下所有家庭的平均消费支出E(Y|Xi),称为系统性系统性(systema

13、tic)或确定性确定性(deterministic)部分。2.其他随机随机或非确定性非确定性（nonsystematic)部分ui。19（2.32.3）式称为）式称为总体回归函数总体回归函数（方程）（方程）PRFPRF的随机的随机设定形式。表明被解释变量除了受解释变量的系设定形式。表明被解释变量除了受解释变量的系统性影响外，还受其他因素的随机性影响。统性影响外，还受其他因素的随机性影响。由于方程中引入了随机项，成为计量经济学模型，由于方程中引入了随机项，成为计量经济学模型，因此也称为因此也称为总体回归模型总体回归模型。20 随机误差项的影响因素随机误差项的影响因素 在解释变量中被忽略的因素的影

14、响；在解释变量中被忽略的因素的影响；变量观测值的观测误差的影响；变量观测值的观测误差的影响；模型关系的设定误差的影响；模型关系的设定误差的影响；其它随机因素的影响。其它随机因素的影响。212.4 2.4 样本回归函数（样本回归函数（SRFSRF）22问题的提出问题的提出 由于总体的信息往往无法掌握，现实的情况只能是在一次由于总体的信息往往无法掌握，现实的情况只能是在一次观测中得到总体的一组样本。观测中得到总体的一组样本。问题是能从一次抽样中获得总体的近似的信息吗？如果可问题是能从一次抽样中获得总体的近似的信息吗？如果可以，如何从抽样中获得总体的近似信息？以，如何从抽样中获得总体的近似信息？例例

15、2.2：在例2.1的总体中有如下一个样本，问：能否从该样本估计总体回归函数PRF？Y700650900950 1100 11501200140015501500X800 1000 12001400 1600 1800200022002400260023该样本的散点图散点图（scatter diagram)：样本散点图近似于一条直线，画一条直线以尽可能好地拟合该散点图，由于样本取自总体，可以该线近似地代表总体回归线。该线称为样本回归线样本回归线（sample regression lines），），其函数形式记为：iiiXXfY10)(bb+（2.4）称为样本回归函数样本回归函数（sample

16、regression function）SRF。6008001000120014001600y/Fitted values1000150020002500 xyFitted values24 注意：注意：这里将（2.4）看成（2.1）的近似替代。iY 就为)|(iXYE的估计量；ib 为 ib的估计量，)1,0(i25 样本回归函数的随机形式样本回归函数的随机形式/样本回归模型样本回归模型 (2.5)称为称为样本回归模型样本回归模型。同样地，对某一个体iY，有 iiiiieXYY+10bb （2.5）式中，ie称为（样本）残差（样本）残差 或 剩余项剩余项(Residual),代表了其他影响i

17、Y的随机因素的集合体，可看成为iu的估计量。26 回归分析的主要目的回归分析的主要目的根据样本回归函数根据样本回归函数SRF，估计总体回归函数，估计总体回归函数PRF。即，根据 iiiiieXeYY+10bb估计 iiiiiXXYEYubbu+10)|(27 Y iY iiXY10bb+ie iY iiXXYE10)|(bb+)|(iXYE Xi X 样本与总体回归线样本与总体回归线i这这就就要要求求：设计一“方法”构造SRF，以使SRF尽可能“接近”PRF，或者说使)1,0(iib尽可能接近)1,0(iib。注注：这里真实的PRF可能永远无从知道282.5“线性”回归的含义n解释变量线性lE

18、(Y|X)=b0+b1 Xn参数线性lE(Y|X)=b0+b1 log(X)lE(Y|X)=b0+b1 X2n非线性回归lE(Y|X)=b0+exp(b1X)292.6从双变量回归到多元线性回归 很容易将双变量回归推广到多元线性回归，即解释变量包含多个，共同影响因被解释变量，基本形式为 E(Y|X1,X2,X3)=b0+b1 X1+b2X2+b3X3 多元线性回归模型可以写成 Y=b0+b1 X1+b2X2+b3X3+u 更为一般的形式为 Y=b0+b1 X1+b2X2+bkXk+u302.7 参数估计：OLS 对于双变量总体回归方程：Y=b0+b1 X+u 我们用样本回归方程来估计总体回归方

19、程=b0+b1 X或写成 Y=b0+b1 X+e 那么，残差项可以写成 ei=Yi i=Yi-b0-b1 Xi OLS Min:Sei2=S(Yi-b0-b1 Xi)2 (RSS)31OLS22ii01iii01i01i0i01ii1i01iii01iQ=e=Y-X,X,Y,QQ 2Y-X10Q 2Y-XX0 Y-X0 XY-X=0normal eqb bbbb bbb bbb bb b-令如果我们有样本那么，我们通过最小化，即可估计出回归参数和。整理，得称为正规方程组uation32OLS ii12i01011nX-XY-Y=X-X=Y-XOLS1OLSXYY+X2 e=e03040iiii

20、ie XeYbbbbb利用正规方程组，我们可以很容易的求得估计量的性质运用得到的样本回归线经过点，即33例2.26008001000120014001600y/Fitted values1000150020002500 xyFitted values例2.2的样本回归方程34YXybarxbar(X-xbar)(Y-ybar)(X-xbar)21700800111017003690008100002650100011101700322000490000390012001110170010500025000049501400111017004800090000511001600111017001

21、00010000611501800111017004000100007120020001110170027000900008140022001110170014500025000091550240011101700308000490000101500260011101700351000810000平均值11101700求和16800003300000b1Sxy/Sx20.509091b0=ybar-b1*xbar244.545535OLS估计量的性质eexeyhat48.18 38542.45 31405.79-103.64-103636.36-78104.13 44.55 53454.55

22、38106.61-7.27-10181.82-6961.98 40.91 65454.55 43326.45-10.91-19636.36-12664.46-62.73-125454.55-79207.44 35.45 78000.00 48379.34 83.64 201927.27 122641.32-68.18-177272.73-106921.49 0.00 0.00 0.00 YX17008002650100039001200495014005110016006115018007120020008140022009155024001015002600求和36总结 总体回归函数(PRF)E(Y|X)=b0+b1 X Y=b0+b1 X+u 样本回归函数(SRF)“线性”回归 参数线性 OLS估计及性质01YXbb+01YXebb+