第九章回归分析课件.ppt

1、1第九章第九章 回归分析回归分析n 一元线性回归分析一元线性回归分析n 多元线性回归分析简介多元线性回归分析简介 2 在现实问题中处于同一个过程中的一些变量往往是相互依赖和相互制约的，它们之间的相互关系大致可分为两类.一类是确定性关系确定性关系，即数学上的函数关系.引引 言言 例如:n 在匀速直线运动中，当速度 给定时，路程 与 运动时间 的关系 .n 圆的面积 与半径 之间的关系 .vvSvtS vtS StSr2rS3 另一类是非确定性关系非确定性关系，又叫相关关系相关关系. 例如:n 小麦亩产量 与施肥量 ，小麦品种 ，浇水量之间的关系 .vSvtS Y1X2X3X变量之间的关系变量之间

2、的关系确定性关系确定性关系相 关 关 系相 关 关 系2rS 确定性关系确定性关系身高和体重身高和体重相关关系相关关系相关关系的特征是相关关系的特征是:变量之间的关系很难用一变量之间的关系很难用一种精确的方法表示出来种精确的方法表示出来.确定性关系确定性关系和和相关关系相关关系的联系的联系由于存在测量误差等原因由于存在测量误差等原因,确定性关系在实际确定性关系在实际问题中往往通过相关关系表示出来问题中往往通过相关关系表示出来;另一方面另一方面,当对当对事物内部规律了解得更加深刻时事物内部规律了解得更加深刻时,相关关系也有可相关关系也有可能转化为确定性关系能转化为确定性关系.回归分析回归分析处理

3、变量之间的相关关系的一处理变量之间的相关关系的一种数学方法种数学方法,它是最常用的数理统计方法它是最常用的数理统计方法.线性回归分析线性回归分析非线性回归分析非线性回归分析回回归归分分析析一元线性回归分析一元线性回归分析多元线性回归分析多元线性回归分析6n研究一个随机变量与一个（或几个）可控变量之间的相关关系的统计方法称为回归分析回归分析.n只有一个自变量的回归分析叫做一元回归分析一元回归分析n多于一个自变量的回归分析叫做多元回归分析多元回归分析n自变量与因变量呈直线相关的回归称为线性回归线性回归n自变量与因量不呈直线相关的回归称为非线性回非线性回归归7 利用回归分析这种统计方法，可以从一个（

4、或几个）可控变量的取值去估计作为因变量的随机变量的取值.具体地说，回归分析主要包括三个方面的内容：n 提供建立有相关关系的变量之间的数学关系式（通常称之为经验公式经验公式）的一般方法；n 判别所建立的经验公式是否有效，并从影响随 机变量的诸变量中判别哪些变量的影响是显著 的，哪些是不显著的；n 利用所得的经验公式进行预测和控制预测和控制 .81 散点图与经验公式散点图与经验公式 在一元回归分析里，我们要考虑的是，随机变量 与一普通变量 之间的关系. 对有一定联系的两个变量：与 ，在观测中得到若干对数据的基础上，用什么方法来获得这两个变量之间（对）的经验公式呢？为说明问题，先看一个例子.1 一元

5、线性回归分析一元线性回归分析一一 一元线性回归模型一元线性回归模型YxxY1122( ,),(,),(,)nnx yxyxy例例1 在某种产品表面进行腐蚀刻线试验，得腐蚀时间在某种产品表面进行腐蚀刻线试验，得腐蚀时间 与与腐蚀深度腐蚀深度 相对应的一组数据如下表：相对应的一组数据如下表： xY时间5101520304050607090120深度610101316171923252946n我们希望由此找出两个变量之间的关系式我们希望由此找出两个变量之间的关系式.分别对应到平面上的分别对应到平面上的1111个点（如图个点（如图9-19-1），并称这张图），并称这张图为为散点图散点图. . 散点图给

6、了我们很多启示散点图给了我们很多启示.首先，这些点虽然是杂乱的首先，这些点虽然是杂乱的，但大体上分布在某条直线的周围，但大体上分布在某条直线的周围.也就是说，腐蚀时间与也就是说，腐蚀时间与腐蚀深度大致成线性关系：腐蚀深度大致成线性关系： (1.1)这里这里,在在 上加上加“”是为了区别于是为了区别于 的实际值的实际值 . 至此至此,在散点图的启示下在散点图的启示下,经验公式的形式已完全确经验公式的形式已完全确定定,即是线性的即是线性的.因此因此,只需要确定只需要确定 . 通常通常 称为称为回归回归系数系数,关系式关系式 称为称为回归直线回归直线.yYybxayba,ba,bxay., 2121

7、21观察结果观察结果的独立的独立处对处对分别是在分别是在设设的一组不完全相同的值的一组不完全相同的值对对YxxxYYYxxxxnnn.),( ,),(),(2211是一个样本是一个样本称称nnYxYxYx).,( ,),(),( 2211nnyxyxyx对应的样本值记为对应的样本值记为. )(xxY 的回归函数的回归函数关于关于利用样本来估计利用样本来估计bxax )( 一元线性回归问题一元线性回归问题.,),( 22的未知参数的未知参数都是不依赖于都是不依赖于的每一个值有的每一个值有假设对于假设对于xbabxaNYx 建立回归模型建立回归模型那么那么记记),(bxaY .,)., 0( ,2

8、2的未知参数的未知参数是不依赖于是不依赖于xbaNbxaY 一元线性回归模型一元线性回归模型的线性函数的线性函数x随机误差随机误差2 一元线性回归系数一元线性回归系数a,b的最小二乘估计的最小二乘估计n 要求出回归直线要求出回归直线,只需求出只需求出 .从散点图来看从散点图来看,要求出要求出 是不困难的，在散点图上画一条直线是不困难的，在散点图上画一条直线,使得直线总的来使得直线总的来看最看最“接近接近”全部点，问题是如何将这种思想精确化和数全部点，问题是如何将这种思想精确化和数量化量化.ba,ba,n 设给定设给定 个不全相同的点个不全相同的点 ,对平面上任一条直线对平面上任一条直线我们用数

9、量我们用数量 (1.3)来刻画点来刻画点 到直线到直线 的远近程度的远近程度.于是于是 (1.4)便定量地描述了直线距离这便定量地描述了直线距离这 个点的总的远近程度个点的总的远近程度.n),( ,),(),(2211nnyxyxyxbxayl:2)(iibxay),(iiyxl21()niiiyabxn 这个量是随着不同的直线而变化的这个量是随着不同的直线而变化的,也就是说也就是说,是随是随不同不同 而变化的而变化的,它是它是 的二元函数的二元函数,记为记为 (1.5)于是于是,要找一直线要找一直线,使得该直线总的来看最使得该直线总的来看最“接近接近”这个点的这个点的问问题题,就转化为求二元

10、函数就转化为求二元函数 的最小值问题，由于是个平的最小值问题，由于是个平之和之和,所以求所以求 最小值点的方法习惯上称为最小值点的方法习惯上称为最小二乘法最小二乘法.ba,ba,niiibxaybaQ12)(),(),(baQ),(baQn回归系数的最小二乘估计与最大似然估计有什么不同?n它们的结果是否相同? 的最小值点,通常利用微积分中的极值原理,即解方程组),(baQniiiiniiixbxaybQbxayaQ110)(20)(2整理得 niniiiiniininiiiyxxbxayxbna112111正规方程组正规方程组niiniiniixxxn1211niiniiniixxnxxn12

11、21120)()(故正规方程组有唯一的一组解.解得ab,的最小二乘估计值为xbyaxxyyxxbniiniii)()(121bxax )( xbax)( 的经验回归函数的经验回归函数关于关于 xYxbay 的经验回归方程的经验回归方程关于关于 xY回归方程回归方程回归直线回归直线,xbya 由于由于),(xxbyy ).,(yx几何中心几何中心回归直线通过散点图的回归直线通过散点图的,)( 12 niixxxxS记记,)(12 niiyyyyS, )(1 niiixyyyxxS,xxxySSb .)1(111bxnynaniinii 例例2 (续例续例1)设在例设在例1中的随机变量符合一元线性

12、回归模型的中的随机变量符合一元线性回归模型的条件条件,求关于的经验回归方程求关于的经验回归方程.解 :5455.13104510111367502xxS1139105102143988.181811xyS于是,可得的 估计值为ab,niniiixxxybxnynaSSb113461. 53043. 0510111214111)1(13043. 0从而回归方程为从而回归方程为 :xy3043. 03461. 53 参数参数 的估计的估计2定理一定理一在一元线性回归模型中, ,所以, . )2(22nSe2)2()( nSEe2)2()( nSEe其中 , 表示观测数据 与回归直线上对应点 的纵坐

13、标之差 的平方和. 称为剩余平方和剩余平方和. 称 为 处的残差残差，所以又称 为残差平方和残差平方和.2211()()nneiiiiiiSyyyabxiy),(iiyx)(iiyy eSeSiiyyix说明说明, ,由定理一可知, 的无偏估计为 .2222nSe4 的分布的分布2, ba定理定理二二 在一元线性回归模型中,(1)(2)(3)(4) 相互独立. ),(2xxSbNb)1( ,(22xxSxnaNa)(1 ,(220000 xxSxxnbxaNxbaY)2()2(2222nSneeSbY,三三 线性回归效果的显著性检验线性回归效果的显著性检验. 0: , 0: :10bHbH检验

14、假设n下面介绍三种常用的检验方法,它们本质上是相同的.t1 检验法检验法)2()(12ntxxbbtnii),2(, 00ntSbtbHxx此时为真时当给定显著性水平给定显著性水平 , 检验法则为检验法则为tn若若 ,则拒绝则拒绝 ,认为回归效果显著认为回归效果显著;n若若 ,则拒绝则拒绝 ,认为回归效果不显著认为回归效果不显著;)2(2ntt0H0H)2(2ntt2 检验法检验法Fn可以证明当 为真时,0H)2, 1 ()2(nFSSnFeRn若若 ,则拒绝则拒绝 ,认为回归效果显著认为回归效果显著;n若若 ,则拒绝则拒绝 ,认为回归效果不显著认为回归效果不显著;给定显著性水平给定显著性水平

15、 , 检验法则为检验法则为:F)2, 1 (nFF)2, 1 (nFF0H0H3 相关系数相关系数 检验法检验法n若若 ,则拒绝则拒绝 ,认为回归效果显著认为回归效果显著;n若若 ,则拒绝则拒绝 ,认为回归效果不显著认为回归效果不显著;给定显著性水平给定显著性水平 , 检验法则为检验法则为:rr12211()()()()niixyxxinnyyxxyyiiiixxyySSrbSS Sxxyyrrr rr 0H0H例例3 用用 检验法及相关系数检验法检验例检验法及相关系数检验法检验例1中的线性回归效中的线性回归效果是否显著果是否显著.(取取 )解解 (1)用用 检验法检验检验法检验.由例由例1可

16、知可知, 所以拒绝所以拒绝 , ,认为回归效果显著认为回归效果显著. .05. 0tt3043. 0 xxxySSb5455.13104)510(111367502xxS210.3043()13104.545515.5952.2337niibtxx26. 2)9()2(025. 02tnt0.02515.595(9)2.26tt0H (2)相关系数检验法相关系数检验法 所以拒绝所以拒绝 , ,认为回归效果显著认为回归效果显著. .0H12211()()()()niixyinnxxyyiiiixxyySrS Sxxyy9820. 0)112145422)(1151036750(112145101

17、3910220.98200.6021rr同理可用同理可用 检验法检验法FY四四 利用一元线性回归方程进行预测和控制利用一元线性回归方程进行预测和控制n所谓所谓预测预测，就是对固定，就是对固定 的的情况下预测的的情况下预测 的的观测值观测值.n所谓所谓控制控制，就是通过控制，就是通过控制 的值的值,以便把的以便把的 取值取值控制在指定的范围内控制在指定的范围内.0 xx 0 xx YxY预测（预报）与控制实际上是一个问题的预测（预报）与控制实际上是一个问题的两个方面，问题的一方面解决之后，另一两个方面，问题的一方面解决之后，另一方面也就随之解决了方面也就随之解决了.1 预测预测n 点预测点预测n

18、 区间预测区间预测作为作为 的预测值的预测值,即即 00 xbay00Yabx00yY n（2）区间预测）区间预测n所谓区间预测就是求所谓区间预测就是求 的区间估计的区间估计.因为可以证明因为可以证明0Y)2()(112000ntSxxnyYxxn（1）点预测）点预测所以所以, 对于给定对于给定 的及置信度的及置信度 , 的预测区间即置信区间为的预测区间即置信区间为:0 x) 10(10Y20021()(2)1)xxxxytnnSn在线性回归确定后,影响预测精度的主要因素有哪些? 例例4 (例例1续续) 讨论腐蚀深度的预测问题讨论腐蚀深度的预测问题.现测得腐蚀时间为现测得腐蚀时间为75秒秒,试

19、求腐蚀深度的预测区间试求腐蚀深度的预测区间.( )05. 0n解解 根据例根据例2知回归方程为知回归方程为 ，把把 代入回归直线方程代入回归直线方程,得得xy3043. 03461. 5750 x1686.28753043. 03461. 50y20021()(2)1)xxxxytnnS)64.33,70.22(2 控制控制控制控制是预测的反问题,即要求 以概率 落于某区间 时,应控制 在什么范围.这相当于求出相应的 ,使得当 或 时, 以概率 落于某区间 .这里,我们只讨论 很大的情形.令Y10102(,)yyx0102,xx0102xxx0201xxxY10102(,)yy01012012

20、yyuabxun02022022yyuabxu解出解出 ,得得0102,xx010121()xyuab010121()xyuab020221()xyuabn 当当 时时, 控制区间为控制区间为 n 当当 时时,控制区间为控制区间为 0b0102(,)xx0b0201(,)xx例例5 (例例1续续) 讨论腐蚀时间的控制问题讨论腐蚀时间的控制问题.若要求腐蚀深度在之若要求腐蚀深度在之 间间,问腐蚀时间应如何控制问腐蚀时间应如何控制?解 要求腐蚀深度在 之间,近似地有m2010m2010010121()xyuab72.29)3461. 596. 124. 210(3043. 01020221()xy

21、uab73.33)36. 596. 124. 220(3043. 01n即腐蚀时间应控制在s13.3529.28s73.3372.29五五 可线性化的非线性回归问题可线性化的非线性回归问题在许多实际问题中，变量之间的关系可以不是线性相关关系，而是某种非线性相关关系.但在某些情况下,我们可以通过一些适当的变量变换,将变量间的关系化为线性的形式.下面通过例子来说明解决的方法.首先,介绍几种常见的可转化为一元线性回归的模型.n情形1. ), 0(,sin2NtbaYtxsinn情形2. ), 0(,)(2NbxaY), 0(,)(2NbxaY)(YZ身高身高143145146147149150153

22、154腿长腿长8885889192939395身高身高155156157158159160162164腿长腿长969897969899100102练习练习1测得测得16名女子的身高和腿长如下名女子的身高和腿长如下(单位单位:cm):试研究这些数据之间的关系试研究这些数据之间的关系.练习练习2某工厂在分析产量与成本关系时某工厂在分析产量与成本关系时,选取十个生选取十个生产小组作样本产小组作样本,收集到如下数据收集到如下数据:产量产量x(千千件件)4042485565成本成本y(千元千元)150140152160150产量产量x(千件千件)7988100120140成本成本y(千元千元)16217

23、5165190185(1) 求求 y 对对 x 的线性回归方程的线性回归方程 ax+b;(2) 检验回归方程的显著性检验回归方程的显著性 (检验水平为检验水平为 0.05);(3) 求回归系数的求回归系数的 95% 置信区间置信区间;(4) 取取 x0=90 , 求求 y0 的预测值及的预测值及 95% 的预测区间的预测区间.2 2 多元线性回归分析简介多元线性回归分析简介n 多元线性回归模型多元线性回归模型n 多元线性回归模型回归系数多元线性回归模型回归系数 的估计的估计 pbbb,10 .)1(, 21有关有关通常与多个普通变量通常与多个普通变量实际问题中的随机变量实际问题中的随机变量 p

24、xxxYp., 2121的函数的函数则它是则它是的数学期望存在的数学期望存在若若定的分布定的分布具有一具有一的一组确定值的一组确定值对于自变量对于自变量ppxxxYYxxx),(21,21pxxxYxxxp 的回归函数的回归函数关于关于 xY一一 多元线性回归模型多元线性回归模型.,),(2121的线性函数的线性函数是是ppxxxxxx )., 0( ,2110 NxbxbbYpp .,1210无关的未知参数无关的未知参数是与是与ppxxbbb 多元线性回归模型多元线性回归模型.),( ,),( 21111211是一个样本是一个样本设设nnpnnpyxxxyxxx用最小估二乘法估计参数用最小估

25、二乘法估计参数.,110010时时当当取取pppbbbbbbbbb niippiixbxbbyQ12110)(达到最小达到最小.二二 多元线性回归模型回归系数多元线性回归模型回归系数 的估计的估计 pbbb,10 ,)(12110 niippiixbxbbyQ ., 2 , 1, 0)(2 , 0)(2111011100pjxxbxbbybQxbxbbybQniijippiijniippii化简可得化简可得 ., ,11212211110111112121211110111221110niiipniippniiipniiipniipniiiniipipniiiniiniiniiniippnii

26、niiyxxbxxbxxbxbyxxxbxxbxbxbyxbxbxbnb正规方程组正规方程组引入矩阵引入矩阵,111212222111211 npnnppxxxxxxxxxX,21 nyyyY.10 pbbbB正规方程组的矩阵形式正规方程组的矩阵形式YXXBX YXXXbbbBp)(110 最最 小二乘估计小二乘估计ppxbxbxbby22110 的估计是的估计是pppxbxbbxxx 11021),( P元经验线性回归方程元经验线性回归方程一元线性回归分析小结一元线性回归分析小结1.回归分析的任务回归分析的任务2.一元线性回归的步骤一元线性回归的步骤3.可化为一元线性回归的问题可化为一元线性

27、回归的问题研究变量之间的相关关系研究变量之间的相关关系(1) 推测回归函数推测回归函数; (2) 建立回归模型建立回归模型;(3) 估计未知参数估计未知参数; (4) 进行假设检验进行假设检验;(5) 预测与控制预测与控制.关键关键:选择适当的选择适当的变量代换变量代换.(1)数学模型数学模型满足一元线性模型满足一元线性模型设设),( ,),(11nnyxyx), 2 , 1( ), 0(2niNbxaYiiii .,2为模型参数为模型参数 ba(2)线性回归方程线性回归方程,xbay .,xxxySSbxbya 其中其中4.一元线性回归一元线性回归(3)线性假设的显著性检验线性假设的显著性检

28、验. 0: , 0: :10 bHbH检验假设检验假设, 对检验水平对检验水平),2(2 ntSbtxx 若若.,0认为回归方程是显著的认为回归方程是显著的则拒绝假设则拒绝假设 H.,0认为回归效果不显著认为回归效果不显著反之则接受假设反之则接受假设 H(4)系数系数b的置信区间的置信区间.)2( 2 xxSntb 的置信区间的置信区间), 0(,)5(20000 Nbxay .)(1)2(2020 xxSxxnnty 多元线性回归分析小结多元线性回归分析小结1.多元线性回归的数学模型多元线性回归的数学模型2.数学模型的分析与求解数学模型的分析与求解)., 0( ,2110 NxbxbbYpp

29、 .,1210无关的未知参数无关的未知参数是与是与ppxxbbb ,)(1YXXXB .22110ppxbxbxbby 3.MATLAB中回归分析的实现中回归分析的实现(1)多元线性回归多元线性回归b=regress(Y,X)(2)一元多项式回归一元多项式回归p,S=polyfit(x,y,m)(3)多元二项式回归多元二项式回归rstool(x,y,model,alpha)(4)逐步回归分析逐步回归分析stepwise(x,y,inmodel,alpha)55其它示例:定义定义 设随机试验下样本空间定理定理 设 为随机事件,则有. 证明证明 可以由,A B性质性质1 1 .说明说明, ,注注等等思考思考练习练习