《回归分析的基本思想及其初步应用》选修收藏-精品文档.ppt

1、回归分析的基本思想及其初步应用选修收藏-精品文档教学目标教学目标v通过典型案例的探究，进一步了解回归分析的基本思想、方法及初步应用.v教学重点教学重点：通过探究使学生体会有些非线性模型通过变换可以转化为线性回归模型，了解在解决实际问题的过程中寻找更好的模型的方法，了解可用残差分析的方法，比较两种模型的拟合效果.v教学难点教学难点：了解常用函数的图象特点，选择不同的模型建模，并通过比较相关指数对不同的模型进行比较.,3.)analysisregression(.,行行预预报报并并用用回回归归直直线线方方程程进进直直线线方方程程求求回回归归点点图图其其步步骤骤为为画画散散进进行行了了研研究究的的方

2、方法法系系的的变变量量利利用用回回归归分分析析性性相相关关关关我我们们对对两两个个具具有有线线中中数数学学在在方方法法析析的的一一种种常常用用分分系系的的两两个个变变量量进进行行统统计计是是对对具具有有相相关关关关析析回回归归分分定定性性关关系系而而相相关关关关系系是是一一种种非非确确性性关关系系函函数数关关系系是是一一种种确确定定我我们们知知道道:,y,x,y,x,y,xnn2211二乘估计公式分别为二乘估计公式分别为截距和斜率的最小截距和斜率的最小我们知道其回归方程的我们知道其回归方程的关系的数据关系的数据对于一组具有线性相关对于一组具有线性相关探究探究 1xbya 2,xxyyxxbn1

3、i2in1iii?.y,x.yy,xn1xn1iin1ii公公式式吗吗你你能能推推导导出出这这两两个个计计算算称称为为其其中中样样本本点点的的中中心心.心心回回归归直直线线过过样样本本点点的的中中.,xy,Qba,n1i2ii的值取最小值时分别是使和斜率截距从已经学过的知识知道 n1i2iixyxyxy,Q由于2n1iii2iixyxyxyxy2xyxy,xynxyxyxy2xyxy2n1iiin1i2iixyxyxyn1iii注意到n1iiixyxyxyn1in1iiixynxyxy,0 xynxnynxy2n1i2iixynxyxy,Q所以2n1i2iin1in1ii2i2xynyyyyx

4、x2xx2n1i2in1iiin1i2i2xxyyxxxxxyn.yyxxyyxxn1i2in1i2i2n1iii即有均为当且仅当前两项的值取最小值因此要使数而前两项为非负无关后两项和在上式中,0,Q,.xy,xxyyxxn1i2in1iii.公式这正是我们所要推导的.,基基本本思思想想及及其其应应用用进进一一步步学学习习回回归归分分析析的的下下面面我我们们通通过过案案例例.13,81所所示示重重数数据据如如表表其其身身高高和和体体名名女女大大学学生生从从某某大大学学中中随随机机选选取取例例5943616454505748kg/170155165175170157165165cm/876543

5、21体体重重身身高高编编号号.cm172,的的女女大大学学生生的的体体重重并并预预报报一一名名身身高高为为归归方方程程身身高高预预报报她她的的体体重重的的回回求求根根据据一一名名女女大大学学生生的的:)11.3(.y,x,图图作散点体重为因变量真实取身高为自变量因此选据身高预报体重由于问题中要求根解11.3图图xy.,11.3画它们之间的关系刻性回归方程以用线因此可线性相关关系较好的重有比高和体身样本点呈条状分布中可以看出从图 12,85.712,0.849.0.84985.712.abyx 根据探究中的公式和可以得到于是得到回归方程.kg316.60712.85172849.0y,cm172

6、,预报其体重为由回归方程可以的女大学生对身高为所以11.3图图xy?,?kg316.60cm172其原因是什么其原因是什么不是不是如果如果吗吗是是女大学生的体重一定女大学生的体重一定的的身高身高探究探究.21.3.kg316.60kg316.60cm172,位置说明了这一点本点和回归直线的相互中的样图以认为她的体重接近于但一般可是大学生的体重不一定的女身高显然21.3图图 3,eabxy:,回归模型来表示可用下面的线性所以身高和体重的关系线的附近而只是散布在某一条直线由于所有的样本点不共.y,x,yx,exy,称为预报变量称为预报变量把把称为解释变量称为解释变量因此我们把因此我们把的变化的变化

7、只能解释部分只能解释部分即即共同确定共同确定素素和随机因和随机因的值由的值由在回归模型中在回归模型中与函数关系不同与函数关系不同 2,.,0,0.:abeybxaeE eD e这里 和 为模型的未知参数 是 与y之间的误差通常 为随机变量 称为 它的均值方差这样线性回归模型的完整表达式为随机误差随机误差 .eD,0eE,eabxy2 4 24,.eybxay在线性回归模型中 随机误差 的方差越小通过回归直线预报真实值 的精度越高随机误差是引起预报.,yy 取取决决于于随随机机误误差差的的方方差差其其大大小小之之间间的的误误差差的的原原因因之之一一与与真真实实值值值值 .yy,ba,ba 21,

8、另另一一个个原原因因之之间间误误差差的的与与真真实实值值这这种种误误差差是是引引起起预预报报值值之之间间也也存存在在误误差差和和它它们们与与真真实实值值的的估估计计值值为为截截距距和和斜斜率率和和中中和和由由于于公公式式另另一一方方面面?e的原因是什么的原因是什么产生随机误差项产生随机误差项思考思考.e.,.,的产生的产生差项差项误误机机随随所有这些因素都会导致所有这些因素都会导致是一种近似的模型是一种近似的模型型往往只型往往只我们选用的线性模我们选用的线性模另外另外动、度量误差等动、度量误差等食习惯、是否喜欢运食习惯、是否喜欢运例如饮例如饮许多其他因素的影响许多其他因素的影响还受还受身高的影

9、响外身高的影响外一个人的体重值除了受一个人的体重值除了受实际上实际上,?ey探究 在线性回归模型中 是用y预报真实值 的误差 它是一个不可观测的量 那么应该怎样研究随机误差 如何衡量预报的精度.,0,.,2随随机机误误差差的的大大小小来来衡衡量量因因此此可可以以用用方方差差而而随随机机误误差差的的均均值值为为于于均均值值程程度度的的数数字字特特征征差差是是反反映映随随机机变变量量集集中中方方平平均均水水平平的的数数字字特特征征值值是是反反映映随随机机变变量量取取值值均均画画它它的的一一些些总总体体特特征征机机变变量量的的数数字字特特征征来来刻刻因因此此可可以以通通过过这这个个随随量量因因为为随

10、随机机误误差差是是随随机机变变 .e,y,ye43?e.,2的的样样本本变变量量因因此此也也就就无无法法得得到到随随机机分分离离出出来来中中我我们们无无法法精精确确地地把把它它从从中中隐隐含含在在预预报报变变量量中中的的或或由由于于模模型型的的样样本本呢呢到到随随机机变变量量如如何何得得来来估估计计总总体体方方差差的的想想法法是是通通过过样样本本方方差差一一个个自自然然的的值值需需要要估估计计为为了了衡衡量量预预报报的的精精度度 ,a xby,21.2归方程可以建立回和公式根据截距和斜率的估计样本的估计值来估计解决问题的途径是通过.ey ye,yye.y5y 的估计量是所以由于随机误差的估计值

11、中是因此.n,2,1i,abxyyye,y,x,y,x,y,xiiiiinn2211 相应它们的随机误差为相应它们的随机误差为而言而言对于样本点对于样本点,n,2,1i,a xbyy ye iiiii 其估计值为其估计值为,().iiiexyr e s id u a l称 为 相 应 于 点的残 差.23相相应应的的残残差差数数据据重重的的原原始始数数据据以以及及列列出出女女大大学学生生身身高高和和体体表表382.0883.2627.6137.1618.4419.2627.2373.6e 5943616454505748kg/170155165175170157165165cm/8765432

12、1残差残差体重体重身高身高编号编号编号编号残差残差31.3图图.31.3.,.残残差差图图坐坐标标的的样样本本编编号号为为横横是是以以图图这这样样作作出出的的图图形形为为等等或或体体重重估估计计值值高高数数据据或或身身可可选选为为样样本本编编号号横横坐坐标标纵纵坐坐标标为为残残差差作作图图时时分分析析残残差差特特性性我我们们可可以以利利用用图图形形来来残残差差图图编号编号残差残差31.3图图.,.,;,.,61,31.3越越高高回回归归方方程程的的预预报报精精确确度度拟拟合合精精度度越越高高说说明明模模型型区区域域的的宽宽度度越越窄窄均均匀匀地地落落在在水水平平的的带带状状残残差差点点比比较较

13、另另外外则则需需要要寻寻找找其其他他的的原原因因没没有有错错误误如如果果数数据据采采集集合合数数据据归归模模型型拟拟性性回回利利用用线线然然后后再再重重新新予予以以纠纠正正就就果果数数据据采采集集有有错错误误如如是是否否有有人人为为的的错错误误点点的的过过程程中中两两个个样样本本需需要要确确认认在在采采集集这这大大个个样样本本点点的的残残差差比比较较个个样样本本点点和和第第第第出出中中可可以以看看从从图图.yyy y1R:,R,n1i2in1i2ii22其计算公式是其计算公式是来刻画回归的效果来刻画回归的效果我们还可以用相关指数我们还可以用相关指数另外另外.rR,2的平方的平方系数系数恰好等于

14、相关恰好等于相关线性模型中线性模型中在含有一个解释变量的在含有一个解释变量的如果对某组数据如果对某组数据关性越强关性越强量和预报变量的线性相量和预报变量的线性相表示解释变表示解释变越接近于越接近于因为因为表示回归的效果越好表示回归的效果越好接近于接近于越越化的贡献率化的贡献率释变量对于预报变量变释变量对于预报变量变表示解表示解在线性回归模型中在线性回归模型中模型的拟合效果越好模型的拟合效果越好也就是说也就是说意味着残差平方和越小意味着残差平方和越小取值越大取值越大显然显然.),1R(,1R.R,.,R,2222.R,R,22据的模型据的模型大的模型作为这组数大的模型作为这组数选择选择可以通过比

15、较几个可以通过比较几个也也回归分析回归分析种不同的回归方程进行种不同的回归方程进行取几取几可能性采可能性采.%64,%64,64.0R,12高引起的高引起的是由身是由身女大学生体重差异有女大学生体重差异有或者说或者说体重变化体重变化的的女大学生身高解释了女大学生身高解释了表明表明中中在例在例:,需要注意下列问题用身高预报体重时.,.,.1系木的高与直径之间的关描述北方干旱地区的树方程的高与直径之间的回归在南方多雨地区的树木不能用生长同样之间的关系女运动员的身高和体重描述和体重之间的回归方程不能用女大学生的身高例如所研究的样本的总体回归方程只适用于我们.,8020,.2之间的关系描述现在的身高和

16、体重方程建立的回归年代的身高体重数据所世纪能用不例如一般都有时间性我们所建立的回归方程.),ycm70 x,cm170,cm155x,(,.3显然不合适值时的程计算而用这个方的样本的取值范围为解释变量即在回归方程中重之间的关系就不恰当幼儿时期的身高和体那么用它来描述一个人立的建大学生身高和体重数据我们的回归方程是由女例如归方程的适用范围样本取值范围会影响回.,.4值的平均值它是预报变量的可能取事实上精确值的的预报值就是预报变量不能期望回归方程得到:,骤为骤为建立回归模型的基本步建立回归模型的基本步一般地一般地;,1量是预报变量量是预报变量哪个变哪个变量量明确哪个变量是解释变明确哪个变量是解释变

17、确定研究对象确定研究对象;,2如是否存在线性关系等如是否存在线性关系等观察它们之间的关系观察它们之间的关系散点图散点图释主变量和预报变量的释主变量和预报变量的画出确定好的解画出确定好的解);abxy,(3则选用线性回归方程则选用线性回归方程线性关系线性关系如我们观察到数据呈如我们观察到数据呈型型由经验确定回归方程类由经验确定回归方程类);(4乘法乘法如最小二如最小二程中的参数程中的参数按一定规则估计回归方按一定规则估计回归方.,),(5或模型是否合适等或模型是否合适等则检查数据是否有误则检查数据是否有误在异常在异常若存若存律性等等律性等等或残差呈现不随机的规或残差呈现不随机的规应残差过大应残差

18、过大个别数据对个别数据对是否有异常是否有异常得出结果后分析残差图得出结果后分析残差图.xy,337.xy2之之间间的的回回归归方方程程与与试试建建立立中中观观察察数数据据列列于于表表组组现现收收集集了了有有关关和和温温度度一一只只红红铃铃虫虫的的产产卵卵数数例例33表表325115662421117/y35322927252321C/0个个产卵数产卵数温度温度41.3图图温度温度产卵数产卵数.41.3据作散点图根据收集的数解所以不能相关关系线性个变量不呈线因此两带状区域内某个布在有分并没样本点在散点图中,.cc,ecy,.21xc12是待定参数和其中的周围指数函数曲线某一条可以发现样本点分布在

19、根据已有的函数知识系立两个变量之间的关建来直接利用线性回归方程.xy,.)cb,clna(abxz,ylnz.cc,2121了间的非线性回归方程之和型来建立就可以利用线性回归模这样的周围直线换后样本点应该分布在则变令系变为线性关过对数变换把指数关系我们可以通和参数问题变为如何估计待定现在.,abxy线线性性回回归归方方程程我我们们称称之之为为非非时时当当回回归归方方程程不不是是形形如如图的样本数据表的数据可以得到变换后由表,4333.,51.3.4351.3用线性回归方程来拟合因此可以一条直线的附近变换后的样本点分布在看出中可以从图中数据的散点图给出了表784.5745.4190.4178.3

20、045.3398.2946.1z35322927252321x43表产卵数的对数温度51.3图图.843.3x272.0z 43到线性回归方程中的数据得由表回归方程为数对温度的非线性因此红铃虫的产卵 10.2723.8435xye.xy,ty,xt,.cc,cxcy41.3,243423非线性回归方程之间的与从而得到之间的线性回归方程与立然后建即令变换因此可以对温度变量做数为待定参和其中的附近次曲线中样本点集中在某二可以认为图另一方面.61.3,53是相应的散点图图应的温度的平方是红铃虫的产卵数和对表325115662421117y12251024841729625529441t53表.xyc

21、xcy,ty,61.3423下面介绍具体方法下面介绍具体方法到到还可以通过残差分析得还可以通过残差分析得这个结论这个结论之间的关系之间的关系与与来拟合来拟合二次曲线二次曲线即不宜用即不宜用合它合它回归方程来拟回归方程来拟此不宜用线性此不宜用线性因因直线的周围直线的周围不分布在一条不分布在一条的散点图并的散点图并与与可以看出可以看出中中从图从图温度的平方数卵产61.3图图中用线性回归模型拟合表的二次回归方程关于下面建立的指数回归方程关于前面已经建立了方程归需要建立两个相应的回残差为比较两个不同模型的52.xy,xy.,222,0.367202.54,0.367202.54.6ytytyxyx的数

22、据 得到关于的线性回归方程即关于的二次回归方程为 的残差计算公式分别为和则回归方程列的数据行第第表示表用的拟合效果和个回归方程可以通过残差来比较两76,1i153x.76i ;7,2,1i,eyy ye 843.3x272.0i1ii1i .7,2,1i,54.202x367.0yy ye 2ii2ii2i 36.56,56.表给出了原始数据及相应的两个回归方程的 残差从表中的数据可以看出模型的残差的绝对值显然比模型的残差的绝对值小 因此模型的拟合效果比模型的拟合效果好 965.77268.58107.4041003835.5397.19693.47e 928.32153.14889.8149

23、.9760.1617.0518.0e 325115662421117y35322927252321x2163表 2,.,.3667.8.67.22在一般情况下 比较两个模型的残差比较困难原因是在某些样本点上一个模型的残 差的绝对值比另一个模型的小 而另一些样本点的情况则相反这时可以用R 来比较两个模型的拟 合效果，R 越大模型的拟合效果越好由表容易算出模型和的R 分别为0.98和0 0因此模型的拟合效果远远优于模型练习：练习：为了研究某种细菌随时间为了研究某种细菌随时间x x变化，繁殖的个数，变化，繁殖的个数，收集数据如下：收集数据如下：天 数天 数 x/x/天天 1 1 2 2 3 34 4

24、 5 56 6繁殖个数繁殖个数y/y/个个 6 6 1212 2525 4949 9595190190 （1 1）用天数作解释变量，繁殖个数作预报变量，作出这些）用天数作解释变量，繁殖个数作预报变量，作出这些 数据的散点图；数据的散点图；（2）描述解释变量与预报变量描述解释变量与预报变量 之间的关系；之间的关系；（3 3）计算残差、相关指数计算残差、相关指数R R2 2.天数天数繁殖个数繁殖个数解：解：（1）散点图如右所示散点图如右所示 （2 2）由散点图看出样本点分布在一条指数函数）由散点图看出样本点分布在一条指数函数y=y=的的周围，于是令周围，于是令Z=lny,Z=lny,则则2C x1

25、eCx x1 12 23 34 45 56 6Z Z1.791.792.482.483.223.223.893.894.554.555.255.25由计数器算得由计数器算得 则有则有Z=0.69X 1.1120.69x 1.112 y=e y6.066.0612.0912.0924.0924.0948.0448.0495.7795.77190.9190.9y y6 61212252549499595190190n22ii=11e()3.1643,niiiyyn222i1i=1()yny25553.3.niiyy（3）即解释变量天数对预报变量繁殖细菌得个数解释了即解释变量天数对预报变量繁殖细菌得个数解释了99.99%.99.99%.23.164310.9999.25553.3R