多元线性回归模型课件.pptx

1、 模型的建立及其假定条件 最小二乘估计 最小二乘估计量的统计特性 可决系数（R2）估计量的检验与置信区间 预测l 基本概念基本概念 1、多元线性多元线性总体回归模型总体回归模型 2、多元线性多元线性总体回归直线总体回归直线 3、多元线性多元线性样本回归模型样本回归模型 4、多元线性多元线性样本回归直线样本回归直线l 假定条件假定条件 14、随机误差项独立同分布随机误差项独立同分布 ui N(0,2)；Cov(ui,uj)=0;5、解释变量与随机误差项彼此不相关解释变量与随机误差项彼此不相关 Cov(uj,Xij)=0；6、解释变量直接不存在完全共线性解释变量直接不存在完全共线性 rank（X）

2、=k1n。yt=0+1xt1+2xt2 +kxtk+ut 设（设（xt1,xt2,xtk），），t1,2T是对总体（是对总体（X1,X2,X k）的）的T次独立样本的观测次独立样本的观测值，则值，则样本结构形式的多元线性回归模型为样本结构形式的多元线性回归模型为T个方程、个方程、k1个未知数构个未知数构成的方程组：成的方程组：y1=0+1x11+2x12 +kx1k+u1 y2=0+1x21+2x22 +kx2k+u2 .yT=0+1xT1+2xT2+kxTk+uT 11121310112122232122123(1)(1)(1)(1)1111kkTTTTkkTTTTTkkxxxxyuxxxx

3、yuxxxxyu 2 2、总体回归方程、总体回归方程 E(y|x1,xk)=0+1x1+kxk 矩阵形式为：E(Y)=X 3 3、样本回归模型、样本回归模型 矩阵形式为：4 4、样本回归方程、样本回归方程 矩阵形式为：01122+tttktkty=+x+x xe01122k=+ttttkyxxx12(1)TTyyyYeXYXY11121312122232123(1)111kkTTTTkTkxxxxxxxxxxxxX1110)k(k12(1)TTuuuu其中：其中：表示被解释变量样本观测值的拟合值的列向量；表示被解释变量样本观测值的拟合值的列向量；表示未知参数估计值的列向量；表示未知参数估计值的

4、列向量；表示残差（随机误差项估计值）的列向量。表示残差（随机误差项估计值）的列向量。121TTyyyYk)k(k110011TTeeee假定假定1：E(ut)=0 t1,2T1122()0()0()()0TTuE uuE uEEuE uu0 这样，被解释变量这样，被解释变量yt的期望值的期望值 为为：E(yt)=0+1xt1+2xt2 +kxtk假定假定2：Var(ut)=Eut-E(ut)2=E(ut)2=2 t1,2T 这样这样yt的方差也相同，且等于的方差也相同，且等于 2，即：，即：Var(yt)=2 t1,2T假定假定3 3：随机误差项服从正态分布，即：随机误差项服从正态分布，即u

5、ut tN(0N(0,2 2)同时，被解释变量也服从正态分布：同时，被解释变量也服从正态分布：ytN(0+1xt1+2xt2+kxtk,2)假定假定4：Cov(ui,uj)=E(ui-E(ui)(uj-E(uj)=E(ui,uj)=0 (i j)i，j1,2T即：随机误差项无序列相关。即：随机误差项无序列相关。假定假定2和假定和假定4可以由下列矩阵表示：可以由下列矩阵表示：上式称为随机误差向量上式称为随机误差向量u的的方差方差协方差矩阵协方差矩阵。)uEuuEuEVar(u)()(1212(,)TTuuEu uuu12212122112112 TTTTuu uu uu uuu uEu uu u

6、u1221212212212()()()()()()()()()TTTTTE uE u uE u uE u uE uE u uE u uE u uE uI2222000000假定假定5：Cov(uj,xij)=0 i1,2k；i，j1,2n 即 ui 与与xi 彼此不相关彼此不相关。假定假定6：解释变量：解释变量x1,x2,xk之间不存在完全的线性关系，之间不存在完全的线性关系，一、参数的最小二乘估计一、参数的最小二乘估计二、随机误差项方差二、随机误差项方差2 2的估计量的估计量 根据最小二乘准则：根据最小二乘准则：012(,kQ）21Ttte21()Ttttyy2011221()Ttttkt

7、ktyxxx 根据多元函数求极值的必要条件，根据多元函数求极值的必要条件，应满足下列线应满足下列线 性方程组：性方程组：k,21000,1,2,iQik，0112200112211011222()(1)02()()02()()0tttktktttktkttttktktkkQyxxxQyxxxxQyxxxx 011222011121211201122ttktktttttkttktttkttkttkktktktTxxxy xxx xx xx yxx xx xxx y012121111212212ttttkttttttttktkttkttkttktkkyTxxxx yxxx xx xx yxx xx

8、 xx整理得：整理得：矩阵矩阵形式：形式：12211121212tttkttttttktkttkttktkTxxxxxx xx xxx xx xx111211121222212111tTttTtktTkkTkyyxxxx yyxxxX Yx yyxxx于是有：于是有：YXXX的最小二乘（的最小二乘（OLS）估计量为：）估计量为：YXX)(X1111211121121222122221212111111kTkTTTTkkkTkxxxxxxxxxxxxxxxxxxX X首先，残差的表示形式：首先，残差的表示形式：MuuXXXXIuXXXXu11)()()()()()()(uXXXXXuXYXXXX

9、uXXYYY11e 其中：其中：为一幂等矩阵。即为一幂等矩阵。即:M=M M=M2=M3=MnXX)X(XIM1MuuMuMuMuMuee)(那么残差的平方和为：那么残差的平方和为：uXXXXIu1)()1(2knEee)1()()()(kXXXtrXtrIXXXXItruXXXXIuEe)E(e212121n注：符号注：符号 tr 表示矩阵的表示矩阵的 迹，它等于矩阵主迹，它等于矩阵主 对角线上元素之和对角线上元素之和所以，随机误差项方差所以，随机误差项方差2的无偏估计为：的无偏估计为：)1(222kneSe Se 回归标准差回归标准差 或残差标准差或残差标准差YX YYYXXXXX YX

10、2YYXX YX XYYYXYX YXYXYeee12)()()()(多元回归系数的含义多元回归系数的含义：其他解释变量保持不变，仅某个解释：其他解释变量保持不变，仅某个解释变量发生单位变动时，被解释变量的平均变化量（偏回归系变量发生单位变动时，被解释变量的平均变化量（偏回归系数）。数）。偏相关系数偏相关系数：剔除共同因素影响之后，两变量的简单相关系：剔除共同因素影响之后，两变量的简单相关系数称为偏相关系数。数称为偏相关系数。偏回归系数偏回归系数：剔除共同因素影响之后，两变量的简单回归系：剔除共同因素影响之后，两变量的简单回归系数称为偏回归系数。数称为偏回归系数。多元回归的优势：回归系数即为偏

11、回归系数。多元回归的优势：回归系数即为偏回归系数。线性特性线性特性 无偏性无偏性 最小方差性（有效性）最小方差性（有效性）高斯高斯-马尔可夫（马尔可夫（Gauss-Markov）定理）定理线性特性：是指最小二乘估计量线性特性：是指最小二乘估计量 是被解释变量观测值是被解释变量观测值y1,y2,yT 的线性函数。的线性函数。YXXX1)(XXXA1)(A为一个非随机（确定为一个非随机（确定的）（的）（k1）T阶常阶常数矩阵。数矩阵。设：设：则：则：AYYXX)(X1 如果估计量是无偏估计，则其期望等于真值。如果估计量是无偏估计，则其期望等于真值。证明：证明：注：证明过程中利用了随机误差项的基本注

12、：证明过程中利用了随机误差项的基本假定假定1和解释变量与随机误差项和解释变量与随机误差项 彼此不相关的彼此不相关的假定假定5。-1()()E =E XXXY)()(1uXXXXE)()(1uEXXX)(uXXXE1 最小方差估计量最小方差估计量：指该估计量的方差在所有无偏估计量中方差是最小的。：指该估计量的方差在所有无偏估计量中方差是最小的。这里，我们只对估计量的方差协方差矩阵的矩阵表示形式予以解证，这里，我们只对估计量的方差协方差矩阵的矩阵表示形式予以解证，关于有效性的证明从略。关于有效性的证明从略。)()()(EEEVar E)(11001100kkkk,E)(),(),(),()(),(

13、),(),()(1001010100kkkkkVarCovCovCovVarCovCovCovVar（0，1，k）估计量的估计量的方差协方差矩阵方差协方差矩阵.21100112110011001100200)(.)()(.)(.)()()(.)()(kkkkkkkkkkE)(EVar YXXXYXXXE11)()()()()()(uXXXXuXXXXE11uXXXuXXXE11)()(11XXXuuEXXX)()()(11)()(XXXIXXX21)(XX2记：这里，这里，(C(Cijij)是一个（是一个（k k1 1）阶矩阵，而）阶矩阵，而C Cijij表示位于矩表示位于矩阵阵C C(X(X

14、X)X)-1-1的第的第i+1i+1行行,第第j+1j+1列处的元素，例如，列处的元素，例如，C11C11表表示矩阵内第示矩阵内第2 2行、第行、第2 2列的元素。列的元素。kkkkkkkijccccccccccccc210112111000201001)()(XXCiiiiic)()(Var212XX因此：ijijjic)(),(Cov212XX其中其中，i,j=0,1,2,k 如果基本假定如果基本假定15成立，则最小二乘成立，则最小二乘估计量是估计量是的的最优线性无偏估计量最优线性无偏估计量（Best Linear Unbiased Estimate,简记简记BLUE）。）。iiiiicX

15、XVar212)()(由于在由于在的最小二乘估计量的方差（的最小二乘估计量的方差（）中，中，2是未知的，因此可以用是未知的，因此可以用2无偏估计量无偏估计量S2来代替，这样，有：来代替，这样，有：iiics)(总离差平方和的分解总离差平方和的分解 多元样本可决系数（多元样本可决系数（R R2 2）调整的样本可决系数调整的样本可决系数 对于多元线性回归模型的情形，一元线性回归模型的总离差平方和的对于多元线性回归模型的情形，一元线性回归模型的总离差平方和的分解公式依然成立。即：分解公式依然成立。即：SST=SSR+SSE 其中：其中：22()tSSTyyYYTy2()ttSSRyyu u 22()

16、tSSEyyYYTy YYYYu u 总离差平方和 残差平方和 回归平方和即：()()2YYYuYuYYu uYu证明：220YuX u与一元线性回归模型相同与一元线性回归模型相同：R2 22()()ttyyyy1SSRSSTSSESST22 Y YTyY YTy 样本可决系数是对样本观测值拟合优度的检验，其取值区间为样本可决系数是对样本观测值拟合优度的检验，其取值区间为0,1,R0,1,R2 2的值越趋近于的值越趋近于1 1，被解释变量由解释变量的解释部分越多。，被解释变量由解释变量的解释部分越多。表明估计的样本回归方程对样本观测值的拟合程度越好。表明估计的样本回归方程对样本观测值的拟合程度

17、越好。R2的一个重要性质是：随着样本解释变量个数的增加，的一个重要性质是：随着样本解释变量个数的增加，R2的值越来越高，的值越来越高，（即（即R2是解释变量个数的增函数）。也就是说，在样本容量不变的情况，在模型是解释变量个数的增函数）。也就是说，在样本容量不变的情况，在模型中增加新的解释变量不会改变总离差平方和（中增加新的解释变量不会改变总离差平方和（SST），但可能增加回归平方和），但可能增加回归平方和（SSE），减少残差平方和（），减少残差平方和（SSR）,从而可能改变模型的解释功能。从而可能改变模型的解释功能。2/(1)1/(1)SSR TkRSSTT 其中：其中：211tuSSRTkT

18、k2()11tyySSTTT随机误差项随机误差项u的样本方差的样本方差Su被解释变量的被解释变量的Y的样本方差的样本方差这样，容易形成一种误解，即要想得到较好的拟合程度，只要增加解释变量即可，这样，容易形成一种误解，即要想得到较好的拟合程度，只要增加解释变量即可，因此，因此，R2并不能真实反映回归模型对观测数据的拟合程度。并不能真实反映回归模型对观测数据的拟合程度。据此得到调整的据此得到调整的R2：样本容量（样本容量（T）一定时，调整的）一定时，调整的R2具有如下性质：具有如下性质：1、若、若k1，则，则2、调整的、调整的R2可能出现负值。在这种情况下，我们取其可能出现负值。在这种情况下，我们

19、取其值为值为0。注：在实际应用中，不能仅仅根据注：在实际应用中，不能仅仅根据R2的大小来选择模型。的大小来选择模型。2211(1)1TRRTk 22RR 回归方程的限制条件检验回归方程的限制条件检验F F检验检验 （若干回归系数为若干回归系数为0 0、ChowChow检验、回归系数线性检验、回归系数线性约束的检验约束的检验）回归方程的显著性检验（回归方程的显著性检验（F F检验检验）回归系数的显著性检验（回归系数的显著性检验（t t检验检验）回归系数的置信区间回归系数的置信区间含义：含义：是指在一定的显著性水平下，对总体参数之间是否满足一定的约束条件是指在一定的显著性水平下，对总体参数之间是否

20、满足一定的约束条件进行检验，进行检验，例如若干回归系数为例如若干回归系数为0 0的检验，不同样本回归系数是否相等的检验，的检验，不同样本回归系数是否相等的检验，回归系数线性约束的检验等回归系数线性约束的检验等。给定总体回归模型：给定总体回归模型：y=0+1x1+2x2 +kxk+u 提出假设：提出假设：H H0 0:参数满足某个约束条件参数满足某个约束条件 H H1 1:参数不满足该约束条件参数不满足该约束条件 估计两个回归模型，首先，对不加约束条件估计两个回归模型，首先，对不加约束条件(unrestricted)的回归模型进行估的回归模型进行估计，得到无约束的残差平方和计，得到无约束的残差平

21、方和SSRu；然后，对施加了约束的模型进行估计，；然后，对施加了约束的模型进行估计，得到有约束（得到有约束（restricted）的残差平方和）的残差平方和SSRr。在此基础上，计算。在此基础上，计算F F统计量：统计量：()/(,1)/(1)ruuSSRSSRqFF q TkSSRTk其中，其中，q表示模型中约束条件的个数。表示模型中约束条件的个数。给定显著性水平给定显著性水平，查找临界值进行判断：，查找临界值进行判断：若：若：FF,拒绝原假设拒绝原假设H0，认为约束条件不成立。，认为约束条件不成立。：不同的约束条件，其有约束模型与无约束模型的形式是不同的，在检验：不同的约束条件，其有约束模

22、型与无约束模型的形式是不同的，在检验 时一定要合理的设定模型形式。时一定要合理的设定模型形式。（1）关于若干个回归系数是否为）关于若干个回归系数是否为0的检验的检验H0:1=2=q=0（共有（共有kq）H1:至少有一个至少有一个j (j=1,2,q)不等于不等于0无约束回归模型：无约束回归模型：有约束回归模型：有约束回归模型：01122tttktktyxxxu*011tqtktktyxxv（2）利用不同样本得到的回归系数是否相同（）利用不同样本得到的回归系数是否相同（chow检验）检验）H0:0=0 1=1 k=k H1:至少有一个组至少有一个组jj (j=1,2,k)根据第一个样本（容量为根

23、据第一个样本（容量为T1）估计下面的回归模型，得残差平方和）估计下面的回归模型，得残差平方和SSR1:01122tttktktyxxxv根据第二个样本（容量为根据第二个样本（容量为T2）估计下面的回归模型，得残差平方和）估计下面的回归模型，得残差平方和SSR2:根据全部样本（容量为根据全部样本（容量为T1T2）估计下面的回归模型，得残差平方和）估计下面的回归模型，得残差平方和SSR合合：01122tttktktyxxxw1212()/(1(1,2(1)()/2(1)SSRSSRSSRkFF kTkSSRSSRTk合）01122tttktktyxxxuF分布：如果分布：如果X和和Z是相互独立的，

24、分别服从分布自由度为是相互独立的，分别服从分布自由度为n1、n2的的2分布分布 那那么：么：根据根据F分布的含义，我们可以推导出：分布的含义，我们可以推导出：其中：其中：11212)(11niiXXXnS21222)(11niizZZnS F分布可用于检验两个方差是否相等：分布可用于检验两个方差是否相等：(1)H0:H1:(2)假设接受假设接受H0，计算，计算F统计量得：统计量得：(3)给定显著性水平给定显著性水平，比较临界值，进行判断：，比较临界值，进行判断：FFFFFF,拒绝原假设拒绝原假设H H0 0，认为，认为X X、Z Z来自方差不同的总体。来自方差不同的总体。22ZX22ZX22/

25、ZXSSF),(/2121nnFnZnX)1,1(/212222nnFSSZZXX含义：是指在一定的显著性水平下，从总体上对模型中解释变量与被解释变量之间含义：是指在一定的显著性水平下，从总体上对模型中解释变量与被解释变量之间的线性关系是否显著成立进行的一种统计检验。的线性关系是否显著成立进行的一种统计检验。给定总体回归模型：给定总体回归模型：y=0+1x1+2x2 +kx k+u (1)(1)提出假设：提出假设：H H0 0:1 1=2 2=k k=0 H=0 H1 1:至少有一个至少有一个j j(j=1,2,(j=1,2,k),k)不等于不等于0 0 (2)(2)在在H H0 0成立的条件

26、下，计算成立的条件下，计算F F统计量：统计量：F F(k.T-k-k.T-k-1)1)(3)(3)给定显著性水平给定显著性水平，查找临界值进行判断：，查找临界值进行判断：若：若：FFFFFF,拒绝原假设拒绝原假设H H0 0,认为总体回归方程之间存在显著的线性关系认为总体回归方程之间存在显著的线性关系 分子分子SSE/kSSE/k表示被解释变表示被解释变量量Y Y拟合值的样本方差；拟合值的样本方差；分母分母SSR/(T-k-1)SSR/(T-k-1)表示残表示残差的样本方差即回归方差。差的样本方差即回归方差。/(1)SSE kFSSR Tk在上述在上述F检验中，若结果拒绝检验中，若结果拒绝H

27、 H0 0，并不代表所有的解释变量，并不代表所有的解释变量X X1 1,X,X2 2,X,Xk k 都对解释都对解释变量变量Y有显著影响，因此需要对每一个解释变量进行显著性检验。有显著影响，因此需要对每一个解释变量进行显著性检验。t 检验的步骤：检验的步骤：(1)提出假设：提出假设：H0:j0 H1:j0 j=1,2,k (2)在接受在接受H0的情况下，计算的情况下，计算 t 统计量：统计量：其中其中 是是 标准差的估计量。标准差的估计量。(3)给定显著性水平给定显著性水平，比较临界值，进行判断：，比较临界值，进行判断：不能拒绝原假设不能拒绝原假设H H0 0，认为解释变量对被解释变量，认为解

28、释变量对被解释变量Y Y无显著影响；无显著影响；拒绝原假设拒绝原假设H H0 0，认为解释变量对被解释变量，认为解释变量对被解释变量Y Y有显著影响。有显著影响。(1)()()jjjjtt TkSS2(1)ttT2(1)ttT)(jSj211()(1)iiiiiiieScTk(XX)(XX)根据：根据：(1)()()jjjjjtt TkSS 对于显著性水平对于显著性水平，可以从自由度表中查出相应的自由度为（，可以从自由度表中查出相应的自由度为（T k 1）的双侧分位数的双侧分位数t/2(T T-k k-1-1)，则可求得，则可求得 的置信区间为：的置信区间为：/2(1)1()jjPtTkS有：

29、有：v,/jv,/jtS,tSjj22 点预测点预测 区间预测区间预测 1、E(Y/X)的区间预测的区间预测 2、Y的区间预测的区间预测点预测：就是将解释变量点预测：就是将解释变量x1,x2,xk的一组特定值：的一组特定值：x0=(1,x10,x20,xk0)带入估计的回归方程中，计算出被解释变量带入估计的回归方程中，计算出被解释变量y0 的点预测值：的点预测值：即：即：001 10220k0=+kyxxx与一元情形一样，对与一元情形一样，对 有两种解释：有两种解释：0Y（1）看作）看作Y的条件期望的条件期望E(Y0/X0)的点估计的点估计（2）看作）看作Y的个别值（真值）的个别值（真值）Y0

30、的点估计的点估计1、E(y0/x0)的区间预测的区间预测P89 2、真值、真值y0的区间预测的区间预测P91000/2,0/2,yvyvyS tyS t000/2,0/2,evevyS tyS t2、估计结果：系数、估计结果：系数、标准差、标准差、t、t对应的概率对应的概率.1、回归基本信息、回归基本信息3、检验统计量、检验统计量w因变量：因变量：w方法：方法：w日期：日期：时间：时间：w样本区间：样本区间：1988 1998w包括的观察值个数：包括的观察值个数：11t 统计量统计量(2)：检验单个回归系数是否显著CXX221)()(Cov=（XX）-1XYP(|t|t-Statistic)回

31、归系数 估计值 的 标准差(1)kT(tSStiiiii11221iiiii)(knecSiXXiiic)(Var2系数估计值系数估计值 的方差协方差矩阵：的方差协方差矩阵：(2)第第i个系数估计值个系数估计值 的的t统计量：统计量：i(1)第第i个系数估计值个系数估计值 的样本标准差：的样本标准差：i第第i个系数估计值个系数估计值 的方差：的方差：i22()11ttteeyyTkTks22/(,1)/(1)()/()/(1)tttSSE kFF k TkSSR TkyykyyTk 拟合优度拟合优度R2=RSS/TSS残差平方和残差平方和RSSF统计量统计量被解释变量被解释变量Y标准差标准差SY被解释变量被解释变量Y的均值的均值P(FF-statistic)回归标准差回归标准差Se11)1(122kTTRR真实值真实值拟合值拟合值残差残差坐标为坐标为0S.E(20.26)-S.E.(-20.26)-30-20-1001020301001502002503003508889909192939495969798ResidualActualFitted