《数学多元回归》课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《《数学多元回归》课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数学多元回归 数学 多元 回归 课件
- 资源描述:
-
1、第三章第三章 经典单方程计量经济学模型:经典单方程计量经济学模型:多元回归多元回归 第三章第三章 经典单方程计量经济学模型:多元回归经典单方程计量经济学模型:多元回归 n多元线性回归模型多元线性回归模型n多元线性回归模型的参数估计多元线性回归模型的参数估计n多元线性回归模型的统计检验多元线性回归模型的统计检验n多元线性回归模型的预测多元线性回归模型的预测n非线性模型的线性化非线性模型的线性化n回归模型的参数约束回归模型的参数约束3.1 多元线性回归模型多元线性回归模型 一、多元线性回归模型的形式一、多元线性回归模型的形式二、多元线性回归模型的基本假定二、多元线性回归模型的基本假定 一、多元线性
2、回归模型的形式一、多元线性回归模型的形式 多元线性回归模型多元线性回归模型:表现在线性回归模型中的表现在线性回归模型中的解释变量有多个。解释变量有多个。一般表现形式:一般表现形式:其中其中:k为解释变量的数目,为解释变量的数目,j j称为称为回归参数回归参数(regression coefficient)。)。习惯上:把习惯上:把常数项常数项看成为一看成为一虚变量虚变量的系数,的系数,该虚变量的样本观测值始终取该虚变量的样本观测值始终取1。这样:。这样:模型中解释变量的数目为(模型中解释变量的数目为(k+1+1)kkXXXY22110也被称为也被称为总体回归函数总体回归函数的的随机表达形式随机
3、表达形式。它。它 的的非随机表达式非随机表达式为为:方程表示:方程表示:各变量各变量X X值固定时值固定时Y Y的平均响应的平均响应。j也被称为也被称为偏回归系数偏回归系数,表示在其他解释变,表示在其他解释变量保持不变的情况下,量保持不变的情况下,Xj每变化每变化1个单位时,个单位时,Y的均值的均值E(Y)的变化的变化;或者说或者说j给出了给出了Xj的单位变化对的单位变化对Y均值的均值的“直直接接”或或“净净”(不含其他变量)影响。(不含其他变量)影响。kkXXXY22110kkkXXXXXXYE2211021),|(样本回归函数样本回归函数:用来估计总体回归函数:用来估计总体回归函数其其随机
4、表示式随机表示式:e 称为称为残差残差或或剩余项剩余项(residuals),可看成,可看成是总体回归函数中随机扰动项是总体回归函数中随机扰动项 的近似替代。的近似替代。eXXXYkk22110kkXXXY22110二、多元线性回归模型的基本假定二、多元线性回归模型的基本假定 假设假设1 1,回归模型正确设定。,回归模型正确设定。假设假设2 2,解释变量是非随机的或固定的,且解释变量是非随机的或固定的,且假设假设3 3,各解释变量,各解释变量X X在所抽取的样本中具有变异性,且在所抽取的样本中具有变异性,且样本容量趋于无穷时,各解释变量的方差趋于有界常数,样本容量趋于无穷时,各解释变量的方差趋
5、于有界常数,即即n时时假设假设4 4,随机误差项具有零均值、同方差及不序列相关性,随机误差项具有零均值、同方差及不序列相关性0)(iE22)()(iiEVar0)(),(jijiECovnjiji,2,1,假设假设5,解释变量与随机项不相关,解释变量与随机项不相关 0),(ijiXCov假设假设6,随机项满足正态分布,随机项满足正态分布),0(2Nikj,2,1 jjjijiQXXnxn22)(11各各X之间互不之间互不相关(无多重共线性)。相关(无多重共线性)。3.2 多元线性回归模型的估计多元线性回归模型的估计 估计方法:估计方法:OLS、ML或者或者MM一、普通最小二乘估计一、普通最小二
6、乘估计 *二、最大或然估计二、最大或然估计 *三、矩估计三、矩估计 四、参数估计量的性质四、参数估计量的性质 五、样本容量问题五、样本容量问题 六、估计实例六、估计实例 一、普通最小二乘估计一、普通最小二乘估计对于随机抽取的对于随机抽取的n组观测值组观测值如果如果样本函数样本函数的参数估计值已经得到,则有:的参数估计值已经得到,则有:i=1,2n根据根据最小二乘原理最小二乘原理,参数估计值应该是下列方程组的解,参数估计值应该是下列方程组的解 0000210QQQQk其中2112)(niiiniiYYeQ2122110)(nikikiiiXXXYikkiiiXXXY22110,.,2,1;,.2
7、,1),(kjniYXiij于是得到关于待估参数估计值的于是得到关于待估参数估计值的正规方程组正规方程组:kiikikikiiiiikikiiiiiikikiiikikiiXYXXXXXYXXXXXYXXXXYXXX)()()()(221102222110112211022110 解该(k+1)个方程组成的线性代数方程组,即可得到(k+1)个待估参数的估计值,jjk 012。随机误差项随机误差项 的方差的方差 的无偏估计的无偏估计 可以证明,随机误差项可以证明,随机误差项 的方差的无偏估计量为的方差的无偏估计量为 1122knkneiee 四、参数估计量的性质四、参数估计量的性质 在满足基本假
8、设的情况下,其结构参数在满足基本假设的情况下,其结构参数 的的普通普通最小二乘估计最小二乘估计仍具有:仍具有:线性性线性性、无偏性无偏性、有效性有效性。同时,随着样本容量增加,参数估计量具有:同时,随着样本容量增加,参数估计量具有:渐近无偏性、渐近有效性、一致性渐近无偏性、渐近有效性、一致性。1、线性性、线性性 CYYXXX1)(其中其中,C=(XX)-1 X 为一仅与固定的为一仅与固定的X有关的行向量有关的行向量 2、无偏性、无偏性 XXXXXXXYXXX11)()()()()()(1EEEE这里利用了假设:E(X)=0 3、有效性(最小方差性)、有效性(最小方差性)其中利用了 YXXX1)
9、(XXXXXXX11)()()(和I2)(E 五、样本容量问题五、样本容量问题 所谓所谓“最小样本容量最小样本容量”,即从最小二乘原理,即从最小二乘原理和最大或然原理出发,欲得到参数估计量,不管和最大或然原理出发,欲得到参数估计量,不管其质量如何,所要求的样本容量的下限。其质量如何,所要求的样本容量的下限。最小样本容量最小样本容量 样本最小容量必须不少于模型中解释变量样本最小容量必须不少于模型中解释变量的数目(包括常数项)的数目(包括常数项),即 n k+1因为,因为,无多重共线性要求:秩无多重共线性要求:秩(X)=)=k+1+1 2 2、满足基本要求的样本容量、满足基本要求的样本容量 从统计
10、检验的角度:从统计检验的角度:n 30 时,时,Z检验才能应用;检验才能应用;n-k 8 8时时,t分布较为稳定分布较为稳定 一般经验认为一般经验认为:当当n 30或者至少或者至少n 3(k+1)时,才能说满足时,才能说满足模型估计的基本要求。模型估计的基本要求。模型的良好性质只有在大样本下才能模型的良好性质只有在大样本下才能得到理论上的证明得到理论上的证明 六、多元线性回归模型的参数估计实例六、多元线性回归模型的参数估计实例 例例3.2.2 在例在例2.5.1中,已建立了中,已建立了中国中国居民人均消费居民人均消费一元线性模型。这里我们再一元线性模型。这里我们再考虑建立多元线性模型。考虑建立
11、多元线性模型。解释变量:人均解释变量:人均GDP:GDPP 前期消费:前期消费:CONSP(-1)估计区间估计区间:19792000年Eviews软件估计结果软件估计结果 LS/Dependent Variable is CONS Sample(adjusted):1979 2000 Included observations:22 after adjusting endpoints Variable Coefficient Std.Error t-Statistic Prob.C 120.7000 36.51036 3.305912 0.0037 GDPP 0.221327 0.060969
12、 3.630145 0.0018 CONSP(-1)0.451507 0.170308 2.651125 0.0158 R-squared 0.995403 Mean dependent var 928.4946 Adjusted R-squared 0.994920 S.D.dependent var 372.6424 S.E.of regression 26.56078 Akaike info criterion 6.684995 Sum squared resid 13404.02 Schwarz criterion 6.833774 Log likelihood -101.7516 F
13、-statistic 2057.271 Durbin-Watson stat 1.278500 Prob(F-statistic)0.000000 3.3 多元线性回归模型的统计检验多元线性回归模型的统计检验 一、拟合优度检验一、拟合优度检验 二、方程的显著性检验二、方程的显著性检验(F(F检验检验)三、变量的显著性检验(三、变量的显著性检验(t t检验)检验)四、参数的置信区间四、参数的置信区间 一、拟合优度检验一、拟合优度检验 1、可决系数与调整的可决系数、可决系数与调整的可决系数则2222)()(2)()()()(YYYYYYYYYYYYYYTSSiiiiiiiiii 总离差平方和的分解
14、总离差平方和的分解由于)()(YYeYYYYiiiiikiikiiieYXeXee110=0所以有:ESSRSSYYYYTSSiii22)()(注意:注意:一个有趣的现象一个有趣的现象 222222YYYYYYYYYYYYYYYYYYiiiiiiiiiiii 可决系数可决系数TSSRSSTSSESSR12该统计量越接近于该统计量越接近于1,模型的拟合优度越高。,模型的拟合优度越高。问题:问题:在应用过程中发现,如果在模型中增加一个解在应用过程中发现,如果在模型中增加一个解释变量,释变量,R2往往增大(往往增大(Why?Why?)这就给人这就给人一个错觉一个错觉:要使得模型拟合得好,要使得模型拟
15、合得好,只要增加解释变量即可只要增加解释变量即可。但是,现实情况往往是,由增加解释变量个但是,现实情况往往是,由增加解释变量个数引起的数引起的R2的增大与拟合好坏无关的增大与拟合好坏无关,R2需调整需调整。调整的可决系数调整的可决系数(adjusted coefficient of determination)在样本容量一定的情况下,增加解释变量必在样本容量一定的情况下,增加解释变量必定使得自由度减少,所以定使得自由度减少,所以调整的思路是调整的思路是:将残差平将残差平方和与总离差平方和分别除以各自的自由度,以方和与总离差平方和分别除以各自的自由度,以剔除变量个数对拟合优度的影响剔除变量个数对
16、拟合优度的影响:)1/()1/(12nTSSknRSSR其中:其中:n-k-1为残差平方和的自由度,为残差平方和的自由度,n-1为总体平为总体平方和的自由度。方和的自由度。11)1(122knnRR问题:问题:多大才算通过拟合优度检验?多大才算通过拟合优度检验?2REVIEWS软件中,直接给出可决系数和调整后的软件中,直接给出可决系数和调整后的可决系数:可决系数:*2、赤池信息准则和施瓦茨准则、赤池信息准则和施瓦茨准则 为了比较所含解释变量个数不同的多元回归模型为了比较所含解释变量个数不同的多元回归模型的拟合优度,常用的标准还有的拟合优度,常用的标准还有:赤池信息准则赤池信息准则(Akaike
17、 information criterion,AIC)nknAIC)1(2lnee施瓦茨准则施瓦茨准则(Schwarz criterion,SC)nnknAClnlnee 这两准则均要求这两准则均要求仅当所增加的解释变量能够减少仅当所增加的解释变量能够减少AICAIC值或值或ACAC值时才在原模型中增加该解释变量值时才在原模型中增加该解释变量。Eviews的估计结果显示:中国居民消费一元例中:AIC=6.68 AC=6.83 中国居民消费二元例中:AIC=7.09 AC=7.19从这点看,可以说前期人均居民消费CONSP(-1)应包括在模型中。二、方程的显著性检验二、方程的显著性检验(F检验检
18、验)方程的显著性检验,旨在对模型中被解释变方程的显著性检验,旨在对模型中被解释变量与解释变量之间的线性关系量与解释变量之间的线性关系在总体上在总体上是否显著是否显著成立作出推断。成立作出推断。1、方程显著性的、方程显著性的F检验检验 即检验模型即检验模型 Yi=0+1X1i+2X2i+kXki+i i=1,2,n中的参数中的参数 j是否显著不为是否显著不为0。可提出如下原假设与备择假设:可提出如下原假设与备择假设:H0:0=1=2=k=0 H1:j不全为不全为0 F F检验的思想检验的思想来自于总离差平方和的分解式:来自于总离差平方和的分解式:TSS=ESS+RSS由于回归平方和2iyESS是
19、解释变量X的联合体对被解释变量 Y 的线性作用的结果,考虑比值 22/iieyRSSESS 如果这个比值较大,则如果这个比值较大,则X的联合体对的联合体对Y的解释程的解释程度高,可认为总体存在线性关系,反之总体上可能不度高,可认为总体存在线性关系,反之总体上可能不存在线性关系。存在线性关系。因此因此,可通过该比值的大小对总体线性关系进行可通过该比值的大小对总体线性关系进行推断推断。根据数理统计学中的知识,在原假设根据数理统计学中的知识,在原假设H0成成立的条件下,统计量立的条件下,统计量)1/(/knRSSkESSF服从自由度为服从自由度为(k,n-k-1)1)的的F分布分布 给定显著性水平给
20、定显著性水平,可得到临界值,可得到临界值F(k,n-k-1),由样本求出统计量由样本求出统计量F的数值,通过的数值,通过 F F F(k,n-k-1)或或 F F F(k,n-k-1)来拒绝或接受原假设来拒绝或接受原假设H0,以判定原方程,以判定原方程总体上总体上的的线性关系是否显著成立。线性关系是否显著成立。对于中国居民人均消费支出的例子:对于中国居民人均消费支出的例子:一元模型:一元模型:F=285.92 二元模型:二元模型:F=2057.3给定显著性水平给定显著性水平 =0.05,查分布表,得到临界,查分布表,得到临界值:值:一元例:一元例:F(1(1,21)=)=4.32 二元例二元例
21、:F(2(2,19)=)=3.52显然有显然有 F F F(k,n-k-1)即二个模型的线性关系在即二个模型的线性关系在95%的水平下显著成立。的水平下显著成立。2、关于拟合优度检验与方程显著性检验关关于拟合优度检验与方程显著性检验关系的讨论系的讨论 由由)1/()1/(12nTSSknRSSR)1/(/knRSSkESSF可推出:kFknnR1112与或)1/()1(/22knRkRF在在中国居民人均收入中国居民人均收入-消费消费一元模型一元模型中,中,在在中国居民人均收入中国居民人均收入-消费消费二元模型二元模型中中,三、变量的显著性检验(三、变量的显著性检验(t检验)检验)方程的方程的总
22、体线性总体线性关系显著关系显著 每个解释变量每个解释变量对对被解释变量的影响都是显著的被解释变量的影响都是显著的 因此,必须对每个解释变量进行显著性检验,因此,必须对每个解释变量进行显著性检验,以决定是否作为解释变量被保留在模型中。以决定是否作为解释变量被保留在模型中。这一检验是由对变量的这一检验是由对变量的 t t 检验完成的。检验完成的。1、t统计量统计量 由于12)()(XXCov 以以cii表示矩阵表示矩阵(XX)-1 主对角线上的第主对角线上的第i个元素,个元素,于是参数估计量的方差为:于是参数估计量的方差为:iiicVar2)(其中其中 2为随机误差项的方差,在实际计算为随机误差项
23、的方差,在实际计算时,用它的估计量代替时,用它的估计量代替:1122knkneiee),(2iiiicN因此,可构造如下t统计量)1(1kntkncStiiiiiiiee 2、t检验检验 设计原假设与备择假设:设计原假设与备择假设:H1:i0 给定显著性水平给定显著性水平,可得到临界值,可得到临界值t/2(n-k-1),由样本求出统计量由样本求出统计量t的数值,通过的数值,通过|t|t/2(n-k-1)或|t|t/2(n-k-1)来拒绝或接受原假设来拒绝或接受原假设H0,从而,从而判定对应的解释变判定对应的解释变量是否应包括在模型中。量是否应包括在模型中。H0:i=0 (i=1,2k)注意:注
展开阅读全文