第4章-回归与相关分析[114页]课件.ppt

1、()E yxx=x1时时y的的分布分布x=x1时的时的E(y)一、回归分析一、回归分析二、相关分析二、相关分析图4-1 变量间的关系示意图三、回归与相关的关系三、回归与相关的关系iiixy2 YXiiixy ixyx 观察值观察值观察值观察值iiixy yxbxay最小二乘估计法最小二乘估计法a，xy e1e2e3e4yyiiiniine1221y 22)()(bxayyyQ最小最小a020211niiiiniiixbxaybQbxayaQxxySSSPxxyyxxnxxnyxxyb 222)()(/)(/)(xbyaniiiniiniiniiniiyxbxxayxbna112111)(yyx

2、xxySP2)(xxxxySSSPxxyyxxb2)()(xbya为为回归估计值回归估计值，是当是当 在其研究范围内取某一个值时，在其研究范围内取某一个值时，值平均数值平均数 的估计值。的估计值。y x yay yEEx（）=（）yabx)(yy)()()(yyyyyy2)(yy2)()(yyyy)(2)()(22yyyyyyyy)()(xxbyyxxb)(xxbybxay)(xxbyy)()(yyxxbyyyy)()()(xxbxxbyyxxbxxySSbSPb202xxxyxyxxySSSSSPSPSSSP2)(yy22)()(yyyy2)(yy2)(yyrRySSSSSSrRydfdfd

3、f2)(yyRdfm1 ndfy1rdfnm rrrdfSSMS/RRRdfSSMS/11df22 ndf)2/(/nSSSSdfSSdfSSMSMSFrRrrRRrR22)()(xxbyySSRxyxbSPSSbxxb222)(xxyxyxxySSSPSPSSSP2xxyyRyrSSSPSSSSSSSS2(1,2)anF(1,2)anFF (1,2)anFF bbtS0:0H0:0H:0AH2dfnxyxbSSSSrrryxMSdfSSSy /48.06/104.806xx n/61.03/106.103yy n222/235.713648.06/104.73724xSSxxn()()48.

4、06 61.03296.8823.5718210 xyxySPxyn222/375.239561.03/102.77341ySSyyn 3.571820.7544.73724xyxSPbSS6.1030.754 4.8062.479aybx2.4790.754yx 2.772.69 0.08ryRSSSSSS223.572.6934.73xyRxSPSSSS2.693/1269.30.080/(2)(102)RRRRrrrrMSSSdfSSFMSSSdfSSn变异来源自由度平方和均方F显著性回归12.6932.693269.3*剩余80.0800.010总和92.7730.05(1.8)0.0

5、1(1.8)5.32,11.26FF0.01(1,8)269.311.26FF0.01P 2.4790.754yx/0.080 8/4.730.046rbyxxxrSSSSSSSSdf构造t统计量，计算0.75416.3910.046bbtS2 10 2 8dfn 0.05(8)2.306t0.01(8)3.355t0.01(8)16.391ttxyExcel数据分析库数据分析库-回归分析回归分析Excel回归分析结果回归分析结果复相关系数复相关系数R决定系数决定系数R2校正决定系数校正决定系数回归方程显回归方程显著性检验著性检验回归系数显著项检验y=13.958+1.255x，方程显著。方程

6、显著。buayxuxbay得到令,1buavyvxuxbay得到1,11令方法：变量替换方法：变量替换1ba+yxbxaey 令令v=lny，得到：，得到：bxav lnbxaeyxbaey 令令y=lny，x1/x，得到：，得到：bxnaylxbaeyxbaey 0 xaxybbuav lnbaxyxbaylg令令u=lgx，得到：，得到：buaylgya+bxxbeay1令：令：yveux1得到：得到：buavxbea1y根据散点图选择合适的模型！根据散点图选择合适的模型！2)(yy22)()(yyyy2)(yy2)(yy2)(yy/)(2 yy2)(yy222)()(yyyyrxyyxy

7、xyxxyyxxybbSSSPSSSPSSSSSPyyyyr2222)()(yxxySSSSSPr nyynxxnyxxy2222)()()(r=0(h)r 0(f)r-1(d)r1(b)0r1(a)-1r0时，表示两个变量正相关；（2）r 0时，表示两个变量为负相关；（3）当|r|=1时，表示两个变量为完全线性相关；（4）当r=0时，表示两个变量间无线性相关关系；(5)当0|r|1时，表示两个变量存在一定程度的线性相关，且|r|越接近1，两个变量间线性关系越密切；(6)|r|越接近于0，表示两个变量的线性相关程度越弱。1630.847564 578xyxySPrSSSS222720()/51

8、9046410 xSSxxn 222680()/4681857810ySSyyn 720680()()/4912316310 xySPxyxyn rrtS)2()1(2nrSr22(1)(2)rFrn)2(01.0nr)2(05.0nr)2(05.0nr)2(01.0nr)2(01.0nr)2(05.0nr0.05(8)0.632r0.01(8)0.765r0.01(8)r 第五节第五节 多元线性回归分析（选学内容）多元线性回归分析（选学内容）设因变量设因变量 y 与与 m 个自变量个自变量 x1,x2,xm 共有共有 n 组实组实际观测数据，数据模式见表际观测数据，数据模式见表4-6。表表4

9、-6 因变量因变量y与与m个自变量个自变量x1、x2、xm对应的对应的n组观测数据组观测数据 一、多元线性回归方程的建立一、多元线性回归方程的建立试验号试验号 1,2,in01 122iiimmiiyxxx),0(2Nj若假设若假设y对对的的m元线性回归方程为：元线性回归方程为：01 122mmybb xb xb x 01 122mmybb xb xb xm、.210 y220112211()()nnjjjjjmmjjjQyyybb xb xb x21()njjjQyy201 12201 12200201 12201 122()2()0()2()0mmmmmmmmjjjybb xb xb xQ

10、ybb xb xb xbbybb xb xb xQybb xb xb xxbb 即 01122210111 22112201 212222201122()()()()()()()()()()()()()()()mmmmmmmpmmmmnbx bx bx byx bx bx x bx x bx yx bx x bx bx x bx yx bx x bx x bx bx y 称为正规方程组，称为正规方程组，对正规方程组求解，获得对正规方程组求解，获得b0,，bj.经整理可得到关于偏回归系数经整理可得到关于偏回归系数b1、b2、bm的正规方程组的正规方程组（normal equations）为：）为

11、：,)(12njiijixxSSnjjyyySS12)(njkikkjiijikSPxxxxSP1)(1()()niyijijjSPxxyy11 niijjxxn11 njjyyn1 11221121 12222m1 122 SPmmymmymmmmySS bSP bSP bSPSP bSS bSP bSPbSP bSS bSPmmxbxbxbby2211001122210111 22112201 212222201122()()()()()()()()()()()()()()()mmmmmmmpmmmmnbx bx bx byx bx bxx bxx bxyx bxx bx bxx bxyx

12、 bxx bxx bx bx y 如果令如果令A为正规方程组的系数矩阵，即为正规方程组的系数矩阵，即：12211121221222212mmmmmmmnxxxxxx xx xAxx xxx xxx xx xx 112111112112222212221323312121111111mnmnmmmmnnnmnxxxxxxxxxxxxxxxX Xxxxxxx(m+1)(m+1)方阵 (m+1)nn(m+1)X为X的转置阵12myx yBx yx y 111121221222312111nnmmmnnyxxxyxxxyXYxxxy(p+1)NN 1令令B B为正规方程组右端的常数项矩阵，即：为正规方

13、程组右端的常数项矩阵，即：令 则正规方程组则正规方程组YXBbXXAb)(对上式求解，得：对上式求解，得：012(,)mbb b bb 01112()mbbbbA BX XX Yb可以写成矩阵形式：可以写成矩阵形式：0112221011122112201212222201122()()()()()()()()()()()()()()()mmmmmmmpmmmmn bxbxbxbyxbxbx xbx xbx yxbx xbxbx xbx yxbx xbx xbxbxy 例例欲建立欲建立的二元线性回归方程为：二元线性回归方程为：试建立试建立x1、x2与与y之间的二元线性回归方程。之间的二元线性回归

14、方程。22110y xbxbb表表6-2 试验数据试验数据YXXXBAbbbb11210)(01112()mbbbbA BX XX Yb123ymyyyy常数项矩阵常数项矩阵y 矩阵矩阵结构矩阵结构矩阵1121112222132331211X11mmmnnmnxxxxxxxxxxxx12myx yBX Yx yx y 1 16291 16321 14321 12391 1826X1 14371 16311 14381 14401 1628 134169161147160143142133150139y1124449143324914227615033215010222122121121xxxx

15、xxxxxxNXXA结构矩阵结构矩阵y 矩阵矩阵49450221201478YXB1124449143324914227615033215010222122121121xxxxxxxxxxNXXA常数项矩阵常数项矩阵对对 求解得：求解得：A-1 是方程系数矩阵的逆矩阵是方程系数矩阵的逆矩阵,称相关矩阵。称相关矩阵。BAb BAbbb1210b12 y157.54809.97904.6887xx 0112157.5480b9.97904.6887bbA Bb自变量自变量x1、x2与因变量与因变量y之间的二元线性回归方程为之间的二元线性回归方程为 二、二、多元线性回归方程的显著性检验多元线性回归方

16、程的显著性检验 与一元线性回归分析一样，将因变量与一元线性回归分析一样，将因变量y的总平方和的总平方和SSy分解为分解为回归平方和回归平方和SSR与剩余平方和与剩余平方和SSr两部分两部分（一）（一）回归方程的显著性检验回归方程的显著性检验()()()222ySSy-yy-yy-y yRrSSSSSS1.平方和与自由度的分解平方和与自由度的分解SSy =SSr+SSR2()rSSy-y 2()RSSy-y 2()ySSy-y 平方和的计算平方和的计算222()()yyS Syyyn 11221.mRyymm yjijiS Sb S Pb S PbS Pb S PryRSSSSSS自由度的分解自

17、由度的分解2.计算回归均方与离回归均方计算回归均方与离回归均方总自由度：总自由度：dfy =n 1 回归自由度：回归自由度：df回回=m 剩余自由度剩余自由度:df剩剩=dfy-df回回=n 1 mRRRSSMSdfrrrSSMSdfRrMSFMS3.构造构造F统计量，进行显著性检验统计量，进行显著性检验(1,2,)iim012:0mH12:AmH、由F统计量进行F检验即可推断多元线性回归关系的显著性。1）偏回归平方和偏回归平方和各偏回归系数的平方和，称为偏各偏回归系数的平方和，称为偏 回归平方和。记作回归平方和。记作 PjCjj为正规方程组系数矩阵为正规方程组系数矩阵 A 的逆矩阵的逆矩阵

18、A-1 主对角线上元素。主对角线上元素。bj为为 y 对对 xj 的偏回归系数。的偏回归系数。(二二)偏回归系数的显著性检验偏回归系数的显著性检验F检验、检验、t检验检验jjjjCbP2F检验检验2）自由度的计算自由度的计算 偏回归平方和的自由度为偏回归系数的自由度，即为偏回归平方和的自由度为偏回归系数的自由度，即为1。3）F值的计算值的计算4）统计推断统计推断F F 否定否定H0 ，接受，接受 HA。j1PFSSdf剩剩t 检验检验1）构造构造t 统计量统计量各偏回归系数的各偏回归系数的t 统计量统计量记作记作 tjCjj为正规方程组系数矩阵为正规方程组系数矩阵 A 的逆矩阵的逆矩阵 A-1

19、 主对角线上元素。主对角线上元素。bj为为 y 对对 xj 的偏回归系数。的偏回归系数。1,(1,2,)jjjbbtdfnmjmS，式中式中,1,2,jbymjjSSC,1,2,ymrSMS2）计算各偏回归系数的计算各偏回归系数的t 统计量值，进行显著性检验统计量值，进行显著性检验1dfnm 由于自由度为由于自由度为查查t 临界值，做出统计推断。临界值，做出统计推断。y对自变量对自变量x 的偏回归系数的偏回归系数b影响如何？影响如何？三、三、自变量的重要性和取舍自变量的重要性和取舍 对于偏回归系数不显著的自变量，应按照对于偏回归系数不显著的自变量，应按照其偏回归平方和的大小，从小到大逐步舍去，

20、其偏回归平方和的大小，从小到大逐步舍去，并重新进行回归及检验，直到所保留自变量的并重新进行回归及检验，直到所保留自变量的偏回归系数均显著为止。此称为逐步回归。偏回归系数均显著为止。此称为逐步回归。Excel多多元回归分元回归分析析Excel多元多元线性线性回归回归分析分析结果结果多元回归变量多元回归变量回归方程显回归方程显著性检验著性检验回归方程显著性检验回归方程显著性检验12 y157.548 9.9794.689xx y与与x1、x2之间具有极显著性线之间具有极显著性线性关系，性关系，x2的影响大于的影响大于x1。某种水泥在凝固时放出的热量某种水泥在凝固时放出的热量y（卡（卡/g）与水泥中

21、）与水泥中4种化学成分的含量种化学成分的含量有关：有关：x1：3CaOAl2O3的成分（）的成分（）x2：3 CaOSiO2的成分（）的成分（）x3：4CaOAl2O3。FeO3的成分（）的成分（）x4：2CaOSiO2的成分（）的成分（）试作试作y对对x1，x2，x3，x4的线性回归分析。试验数据见下表。的线性回归分析。试验数据见下表。试验数据试验数据多元回归分析结果（第多元回归分析结果（第1次回归）次回归）回归系数显著性检验回归系数显著性检验表明表明x2、x3、x4均对均对y的影响不显著（的影响不显著（P分别等于分别等于0.514042、0.911407、0.832929，均大于，均大于0

22、.05），应逐个），应逐个剔除不显著自变量，重新建立回归模型。剔除不显著自变量，重新建立回归模型。多元回归分析结果（剔除多元回归分析结果（剔除x3，第，第2次回归）次回归）首先剔除首先剔除x3（因（因x3的显著性检验概率值的显著性检验概率值最大，为最大，为0.911407），再回归，再检验，），再回归，再检验，直到模型中的所有回归系数检验达到显直到模型中的所有回归系数检验达到显著为止。著为止。多元回归分析结果（剔除多元回归分析结果（剔除x4，第，第3次回归）次回归）经过经过3次回归，逐步剔除次回归，逐步剔除x3、x4，最终，最终y与自变量与自变量x1、x2间有极显著线性关系（间有极显著线性关系（p4.65E-090.01），），x1、x2对对y的影响达到极显著水平，的影响达到极显著水平，x3、x4对对y的影响不显著，的影响不显著，线性回归方程为：线性回归方程为：y52.6642+1.4659x1+0.6611x2。