3多元线性回归模型课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《3多元线性回归模型课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 线性 回归 模型 课件
- 资源描述:
-
1、 模型的建立及其假定条件 最小二乘估计 最小二乘估计量的统计特性 样本可决系数(R2)模型参数的检验与置信区间 预测 案例分析iiXY7241.00144.0受教育年限与每小时工资:实际中影响每小时工资的可能还有工作经验、性别、种族和个人能力等。综合考虑这些因素,可以建立下面的多元回归模型:iuworkabilityracesexeduwage543210其中,0为截距,1、2、3、4和5称为偏回归系数,表示其他因素不变的情况下,对应解释变量的变化对被解释变量的影响。例如,1反映了在性别、种族、工作经验和个人能力不变的情况下,受教育年限每增加1年,每小时收入增加1美元。l 基本概念基本概念 1
2、、多元线性多元线性总体回归模型总体回归模型 2、多元线性多元线性总体回归直线总体回归直线 3、多元线性多元线性样本回归模型样本回归模型 4、多元线性多元线性样本回归直线样本回归直线l 假定条件假定条件 14、随机误差项无序列相关且随机误差项无序列相关且 同分布同分布 ui N(0,2);Cov(ui,uj)=0;5、解释变量与随机误差项彼此不相关解释变量与随机误差项彼此不相关 Cov(uj,Xij)=0;6、解释变量之间不存在完全共线性解释变量之间不存在完全共线性 rank(X)=k1n。Y=0+1X1+2X2 +kX k+u 设(设(X1i,X2i,X ki),),i1,2n是对总体(是对总
3、体(X1,X2,X k)的)的n次独立样本的观测次独立样本的观测值,则值,则样本结构形式的多元线性回归模型为样本结构形式的多元线性回归模型为n个方程、个方程、k1个未知数构个未知数构成的方程组:成的方程组:Y1=0+1X11+2X21 +kXk1+u1 Y2=0+1X12+2X22 +kXk2+u2 .Yn=0+1X1n+2X2n+kXkn+un 11121311012122232212123(1)(1)(1)1(1)111kknnnnknknnnkknYXXXXuYXXXXuYXXXXu 2 2、总体回归方程、总体回归方程 E(Y|X1,Xk)=0+1X1+kX k 矩阵形式为:E(Y)=X
4、 X 3 3、样本回归模型、样本回归模型 矩阵形式为:4 4、样本回归方程、样本回归方程 矩阵形式为:ikikiii+eX X+X+=Y +22110 +=k22110kiiiiXXXY)n(nYYY121YeXYXY)k(nknnnnkkXXXXXXXXXXXX132123222121312111111X1110)k(k)n(nuuu121u其中:其中:表示被解释变量样本观测值的拟合值的列向量;表示被解释变量样本观测值的拟合值的列向量;表示未知参数估计值的列向量;表示未知参数估计值的列向量;表示残差(随机误差项估计值)的列向量。表示残差(随机误差项估计值)的列向量。121nnYYYY1)1(
5、10kk121nneeee假定假定1:E(ui)=0 i1,2n1122()0()0()()0nnuE uuE uEEuE uu0 这样,被解释变量这样,被解释变量Yi的期望值的期望值 为为:E(Yi)=0+1X1 i+2X2i +kX ki 假定假定2:Var(ui)=Eui-E(ui)2=E(ui)2=2 i1,2n 这样这样Yi的方差也相同,且等于的方差也相同,且等于 2,即:,即:Var(Yi)=2 i1,2n假定假定3:Cov(ui,uj)=E(ui-E(ui)(uj-E(uj)=E(ui,uj)=0 (i j)i,j1,2n即:随机误差项无序列相关。即:随机误差项无序列相关。假定假
6、定2和假定和假定3可以由下列矩阵表示:可以由下列矩阵表示:上式称为随机误差向量上式称为随机误差向量u的的方差方差协方差矩阵协方差矩阵。)uEuuEuEVar(u)()(),(2121nnuuuuuuE22112212121221 nnnnuuuuuuuuuuuuuuuE)()()()()()()()()(2212212121221nnnnnuEuuEuuEuuEuEuuEuuEuuEuEI2222000000假定假定4 4:随机误差项服从正态分布,即:随机误差项服从正态分布,即u ui iN N(0,0,2 2)同时,被解释变量也服从正态分布:同时,被解释变量也服从正态分布:YiN(0+1X1
7、 i+2X2i +kX ki,2)假定假定5:Cov(uj,Xij)=0 i1,2k;i,j1,2n 即 ui 与与Xi 彼此不相关彼此不相关。假定假定6:解释变量:解释变量X1,X2,X k之间不存在完全的线性关系,之间不存在完全的线性关系,一、参数的最小二乘估计一、参数的最小二乘估计二、离差形式参数的最小二乘估计二、离差形式参数的最小二乘估计三、随机误差项方差三、随机误差项方差2 2的估计量的估计量 根据最小二乘准则:根据最小二乘准则:),kQ,(210niie12niiiYY12)(nikikiii)XXX(Y1222110 根据多元函数求极值的必要条件,根据多元函数求极值的必要条件,应
8、满足下列线应满足下列线 性方程组:性方程组:k,210kiQi,2,1,00,0)()(20)(20)1()(2221101221101221100kikikiiikikikiiikikiiiXXXXYQX(XXXYQXXXYQikikikkiikiikiiiikikiiiiikikiiYXXXXXXXYXXXXXXX YXXXn222110111222111022110ikiiiikkikiikiikiikiiiiikiiiYXYXYXXXXXXXXXXXXXXXn121022111221121整理得:整理得:矩阵矩阵形式:形式:12211211212iikiiiiikiikiikiikik
9、inXXXXXXXX XXX XXXXYXnknkknnikiiiiYYYXXXXXXXXXYXYXY212122221112111111于是有:于是有:YXXX的最小二乘(的最小二乘(OLS)估计量为:)估计量为:YXX)(X1112111112112222212221212111111knknnnknkkknXXXXXXXXXXXXXXXXXXX X首先,残差的表示形式:首先,残差的表示形式:MuuXXXXIuXXXXu11)()()()()()()(uXXXXXuXYXXXXuXXYYY11e 其中:其中:为一幂等矩阵。即为一幂等矩阵。即:M=M M=M2=M3=MnXX)X(XIM1M
10、uuMuMuMuMuee)(那么残差的平方和为:那么残差的平方和为:uXXXXIu1)()1(2knEee)1()()()(kXXXtrXtrIXXXXItruXXXXIuEe)E(e212121n注:符号注:符号 tr 表示矩阵的表示矩阵的 迹,它等于矩阵主迹,它等于矩阵主 对角线上元素之和对角线上元素之和所以,随机误差项方差所以,随机误差项方差2的无偏估计为:的无偏估计为:)1(222kneSe Se 回归标准差回归标准差 或残差标准差或残差标准差YX YYYXXXXX YX 2YYXX YX XYYYXYX YXYXYeee12)()()()(线性特性线性特性无偏性无偏性最小方差性(有效
11、性)最小方差性(有效性)高斯马尔可夫(高斯马尔可夫(Gauss-Markov)定理)定理线性特性:是指最小二乘估计量线性特性:是指最小二乘估计量 是被解释变量观测值是被解释变量观测值Y1,Y2,Yn 的线性函数。的线性函数。YXXX1)(XXXA1)(A为一个非随机(确定的)为一个非随机(确定的)(k1)n阶常数矩阵。阶常数矩阵。设:设:则:则:AYYXX)(X1 如果估计量是无偏估计量,则其期望等于真值。如果估计量是无偏估计量,则其期望等于真值。证明:证明:注:证明过程中利用了随机误差项的基本假定注:证明过程中利用了随机误差项的基本假定1和解释变量与随机误差项和解释变量与随机误差项 彼此不相
12、关的假定彼此不相关的假定5。-1()()E=EXXXY)()(1uXXXXE)()(1uEXXX)(uXXXE1 最小方差估计量最小方差估计量:指该估计量的方差在所有无偏估计量中方差是最小的。:指该估计量的方差在所有无偏估计量中方差是最小的。这里,我们只对估计量的方差协方差矩阵的矩阵表示形式予以解证,这里,我们只对估计量的方差协方差矩阵的矩阵表示形式予以解证,关于有效性的证明从略。关于有效性的证明从略。)()()(EEEVar E),(11001100kkkkE)(),(),(),()(),(),(),()(1001010100kkkkkVarCovCovCovVarCovCovCovVar(
13、0,1,k)估计量的估计量的方差协方差矩阵方差协方差矩阵.21100112110011001100200)(.)()(.)(.)()()(.)()(kkkkkkkkkkE)(EVar YXXXYXXXE11)()()()()()(uXXXXuXXXXE11uXXXuXXXE11)()(11XXXuuEXXX)()()(11)()(XXXIXXX21)(XX2记:这里,这里,(Cij)是一个(是一个(k1)阶矩阵,而)阶矩阵,而Cij表示位于矩阵表示位于矩阵C(XX)-1的第的第i+1行行,第第j+1列处的元素,例如,列处的元素,例如,C11表示矩表示矩阵内第阵内第2行、第行、第2列的元素。列的
14、元素。kkkkkkkijccccccccccccc210112111000201001)()(XXCiiiiic)()(Var212XX因此:ijijjic)(),(Cov212XX其中其中,i,j=0,1,2,k 如果基本假定如果基本假定15成立,则最小二乘成立,则最小二乘估计量是估计量是的的最优线性无偏估计量最优线性无偏估计量(Best Linear Unbiased Estimate,简记简记BLUE)。)。iiiiicXXVar212)()(由于在由于在的最小二乘估计量的方差(的最小二乘估计量的方差()中,中,2是未知的,因此可以用是未知的,因此可以用2无偏估计量无偏估计量S2来代替,
展开阅读全文