多元回归与相关课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《多元回归与相关课件.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 回归 相关 课件
- 资源描述:
-
1、第十一章第十一章 多元回归与相关多元回归与相关 多元线性回归多元线性回归多元相关与偏相关多元相关与偏相关 一元回归是依变量一元回归是依变量y在一个自变量在一个自变量x上的回归,它仅仅涉及到两个变量的关上的回归,它仅仅涉及到两个变量的关系问题。但在许多实际问题中,影响依系问题。但在许多实际问题中,影响依变量的因素常常不止一个。因此,为了变量的因素常常不止一个。因此,为了研究依变量研究依变量y与多个自变量与多个自变量x之间的关系,之间的关系,必须在一元回归的基础上做相应的补充,必须在一元回归的基础上做相应的补充,进一步研究多元回归的问题。进一步研究多元回归的问题。多元回归与相关分析主要解决的问题:
2、多元回归与相关分析主要解决的问题:1、建立由多个自变量描述和预测依变量的建立由多个自变量描述和预测依变量的 多元回多元回 归方程归方程。2、在多个自变量中,选择对依变量有显著在多个自变量中,选择对依变量有显著 效应的自变量,剔除不显著的自变量,效应的自变量,剔除不显著的自变量,建立建立最优回归方程最优回归方程。3、计算某个自变量在其它自变量固定不变计算某个自变量在其它自变量固定不变 时对依变量的效应,这个效应称为时对依变量的效应,这个效应称为偏回偏回 归系数归系数。5、计算各个自变量的、计算各个自变量的标准偏回归系数(通径标准偏回归系数(通径 系数)系数),评定各自变量对依变量影响的相,评定各
3、自变量对依变量影响的相 对重要程度。对重要程度。4、计算多个自变量综合起来对依变量的、计算多个自变量综合起来对依变量的多元多元 相关系数相关系数,也可计算两变量间在其它变量,也可计算两变量间在其它变量 保持不变时的保持不变时的偏相关系数偏相关系数。11.1 多元回归方程多元回归方程 多元回归是研究一个依变量在两个或两多元回归是研究一个依变量在两个或两个以上自变量上的回归,也称为个以上自变量上的回归,也称为复回归复回归。在多元线性回归分析中,当其他自变量在多元线性回归分析中,当其他自变量都保持一定数量水平时,各自变量对依变都保持一定数量水平时,各自变量对依变量的效应(影响),称为量的效应(影响)
4、,称为偏回归系数偏回归系数。一、多元线性回归方程一、多元线性回归方程 假定在假定在M个随机变数中,有一个为依变数个随机变数中,有一个为依变数Y,另外另外m个(个(m=M-1)为自变数)为自变数x1,x2,xm,且且m个自变数皆与依变数成线性关系,则其回归方个自变数皆与依变数成线性关系,则其回归方程可表示为:程可表示为:.)1(21)1(12mmmmymbyxxxxb系数,记作的偏回归对都保持不变时,、叫做在mmymmymymmmymmymyxbxbxbaxxbxxbxxbyy)1(1221321231)1(122213211231)()()(其中:mmymmymyxbxbxbya)1(1221
5、321231.1132231byxxxxbmmy记作的偏回归系数,对都保持不变时,、叫做在.2231132byxxxxbmmy记作的偏回归系数,对都保持不变时,、叫做在因此,因此,y对对x1,x2,xm 的多元回的多元回归方程可简写为:归方程可简写为:1112221 12 2()()()mmmm myy b xxb xxb xxa bxbxb x 二、正规方程组的解及其实例二、正规方程组的解及其实例 要使多元回归方程能够最好地代表要使多元回归方程能够最好地代表y与与x1、x2、xm 在数量上的互变关系,根在数量上的互变关系,根据最小平方法原理,应使据最小平方法原理,应使2121112221()
6、()()()nnmmmQyyyyb xxb xxbxx最小最小则有,令nmmmmmXbXbXbYQxxXxxXxxXyyY122211222111)(YXXbXXbXXbYXXXbXbXXbYXXXbXXbXbmmmmmmmmm222112222221111212121 根据求极值的原理,分别对根据求极值的原理,分别对b1,b2,bm求偏导,求偏导,并令之为并令之为0,即可整理得,即可整理得m元线性回归方程的正规方程组元线性回归方程的正规方程组:2221122121211221122,.;,.,.;,.,mmmmmmyymymSSXSSXSSXSPX XSPX XSPX XSPX Y SPX
7、YSPX Y由于可得如下方程组:mymmmmymmymmSPSSbSPbSPbSPSPbSSbSPbSPSPbSPbSSb22112222121111221111112121222212ymymmmmmmySPbSSSPSPSPSPSSSPbSPSPSSbSP这个正规方程组可用矩阵(matrix)表示为 A b K Ab=K b=A-1K若要求解若要求解b,则需先求出系数矩阵则需先求出系数矩阵A的逆矩阵的逆矩阵A-1 ,AA-1=I1112121222112mmijmmmmc ccc ccAcccc假 定11,100010001ijjiccAAA AIIIA1m上式中,是阶的对称矩阵,既有由于
8、是 的逆矩阵,故有:其中 为单位矩阵,即:111111121222122212,ymymmymmmmmAbA KSPbcccSPbcccSPbccc两边同乘以可得:即:【例例11.1】测得小麦每株穗数(测得小麦每株穗数(x1)、每)、每穗粒数(穗粒数(x2)、千粒重()、千粒重(x3,)和单株产量)和单株产量(y,克)如下表,试建立其多元回归方程。,克)如下表,试建立其多元回归方程。样样 本本 x1 x2 x3 y 1 10.5 33.2 36.3 14.7 2 9.2 30.1 36.2 13.5 3 10.7 32.6 37.7 16.5 4 13.9 31.8 37.2 21.5 5 1
9、0.2 32.4 36.4 14.5 6 10.8 33.1 35.0 15.9 7 8.1 33.5 33.4 7.6 8 10.6 34.6 34.5 16.0 9 10.1 30.7 34.1 12.7 10 10.4 31.6 34.9 12.4 11 10.7 33.8 39.2 19.3 12 8.4 31.4 35.1 9.2 13 6.3 33.5 32.0 6.4 14 8.2 31.9 37.2 10.6 15 9.8 32.4 36.5 11.3 2112222332121323123147.9,1499.43486.6,15806.1535.7,19178.59202.
10、1,2962.854796.71,5306.1717375.31,2083.736561.89,7291.1815xxxxxxyyx xx xx xx yx yx yn解:根据表中的资料算得解:根据表中的资料算得14个一级数据:个一级数据:由一级数据算得由一级数据算得14个二级数据个二级数据:1231231213231239.86,32.44,35.7113.47,41.14,20.8046.96,239.89,1.1724.17,2.80,91.025.77,73.52yyyyxxxyssssssssspspspspspsp 于是得正规方程组于是得正规方程组52.7396.4680.217.
11、2477.580.280.2017.102.9117.2417.114.41321321321bbbbbbbbb上述方程组的系数矩阵上述方程组的系数矩阵A、常数项矩阵、常数项矩阵K、未知数未知数矩阵矩阵b分别分别为:为:12341.41.1724.171.1720.802.8024.172.8046.9691.025.7773.52AKbbbb 111213112132122231222331323313233100010001cccSSSPSPcccSPSSSPcccSPSPSS1.A 0 0348470 00045790 0179630 00045790 0484720 00312580
12、0179630 00312580 0307266123.bbbb 0 0348470 00045790 01796391 021 84850 00045790 0484720 00312585 770 46780 0179630 00312580 030726673 520 64218610.4271.356421.044.324678.086.98485.147.13332211axbxbxbya得根据3213216421.04678.08485.18610.42xxxyxxxy:的三元线性回归方程为、依故所求 此方程的意义为:此方程的意义为:当穗粒数当穗粒数x2和千粒重和千粒重x3保持不变
13、时,每株穗保持不变时,每株穗数数x1每增加每增加1个,则单株产量增加个,则单株产量增加1.8485g;当每株穗数当每株穗数x1和千粒重和千粒重x3保持不变时,穗粒保持不变时,穗粒数数x2每增加每增加1粒,单株产量增加粒,单株产量增加0.4678g;当每株穗数当每株穗数x1和穗粒数和穗粒数x2保持不变时,千粒保持不变时,千粒重重x3每增加每增加1g,单株产量增加,单株产量增加0.6421g。根据以上回归方程,就可以估计根据以上回归方程,就可以估计 的值。的值。如当第一个样本的观测值如当第一个样本的观测值x1=10.5,x2=33.2,x3=36.3时,时,y的估计值为:的估计值为:)(39.15
14、3.366421.02.334678.05.108485.18610.42克y 而而y的实际观察值为的实际观察值为14.7克,二者的差值即为克,二者的差值即为离回归部分。离回归部分。y 离回归的存在,有以下可能原因离回归的存在,有以下可能原因:1、除除x1、x2、x3三个变量外,还有其它变量三个变量外,还有其它变量 对对y 产产 生作用;生作用;2、有随机误差的影响;、有随机误差的影响;注意:注意:在利用回归方程进行预测时,应限定自在利用回归方程进行预测时,应限定自变量的范围:变量的范围:x1的区间的区间6.3,13.9,x2的区间的区间30.1,34.6,x3的区间的区间32.0,39.0,
15、不可随,不可随意外延。如果扩展预测范围,需补充观测资料,重意外延。如果扩展预测范围,需补充观测资料,重新建立回归方程新建立回归方程。既然应用多元回归方程进行回归估既然应用多元回归方程进行回归估计时,实际值与估计值有偏差,因此,计时,实际值与估计值有偏差,因此,当建立起一个多元线性回归方程之后,当建立起一个多元线性回归方程之后,应了解它的的估计标准误。应了解它的的估计标准误。三、多元线性回归方程的估计标准误三、多元线性回归方程的估计标准误 多元线性回归方程的建立只是保证了离回归平多元线性回归方程的建立只是保证了离回归平方和最小,但在给定的方和最小,但在给定的x1、x2、xm下,多元下,多元回归方
16、程的点估计值和实测值仍然是有差异的。回归方程的点估计值和实测值仍然是有差异的。度度量这种差异大小的统计量就是回归方程的估计标准量这种差异大小的统计量就是回归方程的估计标准误。误。其计算公式如下其计算公式如下:12/12(1)ymymQsnm/12/1222/12/12/122/121122()();()ymymymyymymymyymmysQQyyyySSUmUmUyybSPb SPb SP其中:称为多元回归方程的估计标准误或离回归标准误;称为多元离回归平方和,且为自变量的个数为 元回归平方和;【例例11.2】试计算表试计算表11.1资料三元线性回归方程资料三元线性回归方程 =-42.8610
17、+1.8485x1+0.4678x2+0.6421x3的的估计标准误。估计标准误。在在例例11.1中已算出中已算出SSy=239.89,SP1y=91.02,SP2y=5.77,SP3y=73.52由由式式(11.10)得得 Uy123=b1SP1y+b2SP2y+bmSPmy =1.848591.02+0.46785.77+0.642173.52=218.16由由式式(11.9)得:得:Qy.123=SSy-Uy.12m=239.89-218.16=21.73 y/12321.731.4055153 1yS 这个这个1.4055g就是由表就是由表11.1所建所建立的三元回归方程的估计标准误。
18、立的三元回归方程的估计标准误。再由式再由式(11.8)得:得:四、多元线性回归的假设测验四、多元线性回归的假设测验(一)多元回归关系的假设测验(一)多元回归关系的假设测验 在多元回归分析中,可将依变量的总变异分解在多元回归分析中,可将依变量的总变异分解为为多元回归和离回归多元回归和离回归两个部分,各项变异来源的平两个部分,各项变异来源的平方和、自由度见下表。方和、自由度见下表。多元线性回归的方差分析表多元线性回归的方差分析表变异原变异原因因DFSSMSF多元回多元回归归mUy/12mMS回回MS回回/MS离离离回归离回归n-m-1Qy/12mMS离离总和总和n-1SSy令令b1,b2,bm所代
19、表的总体回归系数为所代表的总体回归系数为 1、2、m,则有,则有H0:1=2=m=0HA:1、2、m不全等于零。不全等于零。如果如果F F0.05,(m,n-m-1),称该回归在称该回归在0.05 水平上显著;水平上显著;如果如果F F0.01,(m,n-m-1),则称该回归在则称该回归在0.01水平上显著水平上显著;如果如果F F0.05,(m,n-m-1),称该回归不显著称该回归不显著。【例例11.3】试对例试对例11.1资料做多元回归关系的假资料做多元回归关系的假设测验。设测验。解:由例解:由例11.1已已算得算得Uy/123=218.16,Qy/123=21.73,SSy=239.89
20、 和和 n=15。变异原因变异原因 DF SS MS F F0.01三元回归三元回归 3 218.16 72.72 36.72 6.22离回归离回归 11 21.73 1.98 总和总和 14 239.89 表表11.3 表表11.1资料三元回归的假设测验资料三元回归的假设测验F=36.72F0.01=6.22,为极显著,为极显著,故否定故否定H0:1=2=3=0,推断小麦单株产量依每株穗数、穗粒推断小麦单株产量依每株穗数、穗粒数和千粒重的三元线性回归为极显著。数和千粒重的三元线性回归为极显著。注意:注意:1、多元线性回归显著并不排除有多元非、多元线性回归显著并不排除有多元非线性回归关系的存在
21、;线性回归关系的存在;2、多元线性回归显著,并不排除其中存、多元线性回归显著,并不排除其中存在着与在着与y无线性回归关系的自变量的可能性。无线性回归关系的自变量的可能性。正如方差分析中正如方差分析中F F测验显著,并不代表所测验显著,并不代表所有处理平均数的差异都显著。有处理平均数的差异都显著。多元线性回归关系的假设测验实质上是测多元线性回归关系的假设测验实质上是测定各个自变量对定各个自变量对y的综合作用是否有真实的回归的综合作用是否有真实的回归关系。关系。如果某些自变量和如果某些自变量和y有极显著的回归关系,有极显著的回归关系,而另一些自变量和而另一些自变量和 y没有回归关系,在测验综合没有
展开阅读全文