《试验设计与数据处理》讲稿试验数据的回归分析课件.ppt

1、1第第4章章 试验数据的回归分析试验数据的回归分析 4.1基本概念基本概念l方差分析研究两个变量间的显著性问题方差分析研究两个变量间的显著性问题l回归分析处理变量之间相关关系的问题回归分析处理变量之间相关关系的问题 由试验结果建立数学模型由试验结果建立数学模型(1) 确定性关系确定性关系对应关系、函数关系。其变量称确定性对应关系、函数关系。其变量称确定性变量。变量。(2) 相关关系相关关系对应的变量称随机变量。没有一一对应的对应的变量称随机变量。没有一一对应的函数关系，但有统计规律函数关系，但有统计规律散点图、回归方程散点图、回归方程 一元回归分析一元回归分析研究单因素与试验指标间相关关系研究

2、单因素与试验指标间相关关系 多元回归分析多元回归分析研究多因素与试验指标间相关关系研究多因素与试验指标间相关关系线性回归、非线性回归线性回归、非线性回归相关关系为线性或非线性相关关系为线性或非线性24.2 一元线性回归分析一元线性回归分析最简单的线性回归分析最简单的线性回归分析4.2.1 一元线性回归方程的建立一元线性回归方程的建立设有一组试验数据设有一组试验数据xi，yi (i = 1， 2，n)，其中，其中x 是是自变量，自变量，y 是因变量。若是因变量。若x，y 符合线性关系，或已符合线性关系，或已知经验公式为直线形式，即：知经验公式为直线形式，即： 称为变量称为变量x，y 的一元线性回

3、归方程。的一元线性回归方程。iiyabxiy a, b 称为回归系数；称为回归系数； 是由是由xi代入回归方程的计算值，称为代入回归方程的计算值，称为回归值回归值。3一元线性回归方程的建立（续）一元线性回归方程的建立（续）iyiiieyy 与与yi 之间的偏差称为之间的偏差称为残差残差，用，用ei 表示，则有：表示，则有：残差平方值（考虑到残差有正有负）之和为：残差平方值（考虑到残差有正有负）之和为： 222111()()nnneiiiiiiiiSSQeyyyabx显然，显然，只有残差平方和最小时，回归方程与试验值只有残差平方和最小时，回归方程与试验值的拟合程度最好。的拟合程度最好。 残差平方

4、和残差平方和SSe为为a， b的函数，即：的函数，即： SSe=f (a, b) 为使为使SSe值到达极小，根据极值原理，只要对上式分值到达极小，根据极值原理，只要对上式分别对别对a，b求求偏导数偏导数，并令其等于零并令其等于零，求解方程组即，求解方程组即可求得可求得a，b之值之值最小二乘法原理。最小二乘法原理。4一元线性回归方程的建立（续）一元线性回归方程的建立（续）根据最小二乘法，可以得到：根据最小二乘法，可以得到：112()02()0niiiniiiiQyabxaQyabx xb 112111nniiiinnniiiiiiinxyabxxx y 对方程组求解，即可得到回归系数对方程组求解

5、，即可得到回归系数a, b的计算式：的计算式： 正规方程组正规方程组aybx11112222111()()()( )nnnniiiiiiiiiinnniiiiiinx yxyx ynxybnxxxn x5一元线性回归方程的建立（续）一元线性回归方程的建立（续）为了方便计算，令：为了方便计算，令： 于是：于是： 22211()( )nnxxiiiLxixxn x11()()nnxyiiiiiiLxx yyx ynxyxyxxLbL67894.2.2 一元线性回归效果的检验一元线性回归效果的检验 检验回归方程的可靠性或可信性检验回归方程的可靠性或可信性相关系数检验法相关系数检验法 、F检验即方差分

6、析检验即方差分析 法、残差分析法法、残差分析法 104.2.2.1 相关系数检验法 相关系数用于描述变量相关系数用于描述变量x与与y的线性相关程度的系数：的线性相关程度的系数： 回归系数回归系数b 与相关系数与相关系数r 的关系为：的关系为： xyxxxyLrL L22211()( )nnyyiiiiLyyyn yxyxyxxxxxxyyyyxxxyLLLLrbLLLL L b 与与r 有相同的符号有相同的符号 决定系数决定系数相关系数的平方相关系数的平方r2 11相关系数的特点： 0| r |1完全线性相关完全线性相关完全线性相关完全线性相关有一定的线性关系有一定的线性关系 有一定的线性关系

7、有一定的线性关系 无线性关系无线性关系 无线性关系无线性关系 12相关系数检验：相关系数相关系数r 越接近越接近1，x与与y 的线性相关程度越高，然而的线性相关程度越高，然而r 的的大小未能回答其值达到多大时，大小未能回答其值达到多大时，x 与与y 之间才存在线性相关，之间才存在线性相关，所以须对相关系数所以须对相关系数r 进行显著性检验：进行显著性检验： （1）根据给定的显著性水平）根据给定的显著性水平a 和试验数据组数和试验数据组数n （n2），从），从附录附录5（P. 208）查取相关系数临界值）查取相关系数临界值rmin。 表中，表中，m为自变量的个数：一元回归为自变量的个数：一元回归

8、 m=1 ; 二元回归二元回归 m=2 （2）显著性检验：）显著性检验： 如果如果 | r |rmin 线性相关显著；线性相关显著； 如果如果 | r |rmin 线性相关不显著。线性相关不显著。更确切地检验：如果更确切地检验：如果 | r | rmin(0.01) 线性相关非常显著线性相关非常显著; 如果如果 rmin(0.05) | r |rmin(0.01) 线性相关显著线性相关显著; 如果如果 | r |rmin(0.05) 线性相关不显著。线性相关不显著。13144.2.2.2 F 检验方差分析 法(1) 计算离差平方和计算离差平方和回归平方和回归平方和回归值回归值 与算术平均值与算

9、术平均值 的偏差的偏差 21()nRiiSSyyiyy21()nTiyyiSSyyL总离差平方和总离差平方和试验值试验值yi与其算术平均值与其算术平均值 的偏差的偏差 y残差平方和残差平方和试验值试验值yi与回归值与回归值 的偏差的偏差 21()neiiiSSyyiy三种平方和之间有下述关系：三种平方和之间有下述关系： SSTSSRSSe SSR还可以用更简单的公式计算还可以用更简单的公式计算: 2xyRxxxxxyxxLSSb LbLbLL15(2) 计算自由度 总离差平方和总离差平方和SST的自由度为：的自由度为： dfT = n1回归平方和回归平方和SSR的自由度为：的自由度为： dfR

10、 = 1 残差平方和残差平方和SSe的自由度为：的自由度为： dfe = n2显然，三种自由度之间的关系为：显然，三种自由度之间的关系为：dfT = dfR + dfe (3) 计算均方计算均方 离差平方和离差平方和/自由度自由度RRRSSMSdf回归平方和的均方回归平方和的均方eeeSSMSdf残差平方和的均方残差平方和的均方(4) F检验检验服从自由度为服从自由度为(dfR, dfe)的的F 分布分布 ReMSFMS16表4-3 一元线性回归方差分析表1. 若若F F0.01(dfR, dfe)，称，称 x与与y有非常显著的线性关系，有非常显著的线性关系，用两个用两个 “* *”号表示号表

11、示2. 若若F0.05 (dfR, dfe)F F0.01 (dfR, dfe)，称，称 x与与y有显著有显著的线性关系，用一个的线性关系，用一个“*”号表示；号表示；3. 若若F F0.01(dfR, dfe)，称，称 y与与x1，x2，xm有非常有非常显著的线性关系，用两个显著的线性关系，用两个 “* *”号表示号表示2. 若若F0.05 (dfR, dfe)FF0.01 (dfR, dfe)，称，称y与与x1，x2，xm有显著的线性关系，用一个有显著的线性关系，用一个“*”号表示；号表示；3. 若若F F0.05 (dfR, dfe )，则称，则称y与与x1，x2，xm没有没有明显著的线

12、性关系，回归方程不可信明显著的线性关系，回归方程不可信 。234.3.2.2 相关系数检验法12211()()()()niiinniiiiyyyyRyyyy 一元线性回归一元线性回归: 相关系数相关系数 r 反映变量反映变量y 与与x的线性相关程度的线性相关程度 多元线性回归多元线性回归: 复相关系数复相关系数 R 反映变量反映变量y与多个变量与多个变量xj之间的线性相关程度之间的线性相关程度 复相关系数复相关系数R 的定义式：的定义式： 多元线性回归方程的决定系数：复相关系数的平方多元线性回归方程的决定系数：复相关系数的平方R2。反映了回归平方和反映了回归平方和SSR在总离差平方和在总离差平

13、方和SST中所占的中所占的比重。比重。 /RTRSSSS24复相关系数R 的特点： 0R1 (与一元线性回归类似) 当当R=1时，时，y与与x1，x2，xm存在严格的线性关系；存在严格的线性关系； 当当R=0时，时，y与与x1，x2，xm不存在任何线性相关关不存在任何线性相关关系，但可能存在其他非线性关系；系，但可能存在其他非线性关系； 当当0R1时，变量间存在一定程度的线性相关关系。时，变量间存在一定程度的线性相关关系。 当当m = 1，复相关系数，复相关系数R与一元线性相关系数与一元线性相关系数r相等。相等。 修正自由度的决定系数修正自由度的决定系数 2211(1)1nRRnm 显著性检验

14、：显著性检验： 如果如果 | r | rmin(0.01) y与与x1，x2，xm有非常显著的线性关系有非常显著的线性关系; 如果如果 rmin(0.05) | r |rmin(0.01) 有显著的线性关系有显著的线性关系; 如果如果 | r |rmin(0.05) 线性相关不显著。线性相关不显著。25 4.3.3 偏回归系数的显著性检验因素主次的判断方法“最优最优”回归方程的条件：回归方程的条件：(1) 回归方程的残差平方和最小；回归方程的残差平方和最小；(2) 对对y有显著影响的变量不能遗漏；有显著影响的变量不能遗漏；(3) 回归方程中含有变量应尽可能少。回归方程中含有变量应尽可能少。 用

15、偏回归平方和用偏回归平方和SSj 来判断：来判断：计算偏回归平方和计算偏回归平方和SSj ：SSj愈大，表示愈大，表示xj对对y影响程度就愈大。影响程度就愈大。jjjySSb LjjjeeMSSSFMSMS服从自由度为服从自由度为(1, dfe)的的F 分布分布 11()()()jnnjjyjiijiiiiLxxyyx ynx y式中：式中： (2) F检验：检验： 1,2,jm26 4.4 非线性回归分析 已经学过已经学过“线性回归分析线性回归分析”方法：一元、多元线性回方法：一元、多元线性回归归“非线性回归分析非线性回归分析”“线性回归分析线性回归分析”转化转化要解决两个问题：要解决两个问

16、题：一、如何确定非线性函数的具体形式？一、如何确定非线性函数的具体形式？不同的非线性函数有不同的线性化形式不同的非线性函数有不同的线性化形式二、如何估计函数中的参数？二、如何估计函数中的参数？“线性回归分析线性回归分析”已经解决已经解决仍然是最小二乘法仍然是最小二乘法关键：将非线性问题线性化处理关键：将非线性问题线性化处理 27 4.4.1 一元非线性回归分析转化为一元线性回归问题的具体做法：转化为一元线性回归问题的具体做法：根据试验数据，在直角坐标中画出散点图；根据试验数据，在直角坐标中画出散点图；根据散点图，推测根据散点图，推测y y与与x x之间的函数关系；之间的函数关系；选择适当的变换

17、，使之变成线性关系；选择适当的变换，使之变成线性关系；用线性回归方法求出线性回归方程；用线性回归方法求出线性回归方程；返回到原来的函数关系，得到要求的回归方程。返回到原来的函数关系，得到要求的回归方程。 转化为一元线性回归转化为一元线性回归28常用非线性函数的线性化变换29 4.4.2 一元多项式回归常用非线性函数常用非线性函数线性化线性化容易容易复杂非线性函数复杂非线性函数线性化线性化难难任何复杂的一元连续函数都可用高阶多项式近似表达，任何复杂的一元连续函数都可用高阶多项式近似表达，因此，对于较难直线化的一元函数，可用多项式来拟合：因此，对于较难直线化的一元函数，可用多项式来拟合： 212mmyab xb xb x如果令如果令Xl = x，X2 = x2，Xm = xm，则上式可以转化，则上式可以转化为多元线性方程：为多元线性方程：1122mmyab Xb Xb X转化为多元线性回归转化为多元线性回归30 4.4.3 多元非线性回归转化为多元线性回归转化为多元线性回归 本章要求：本章要求： 掌握回归分析的基本概念和方法掌握回归分析的基本概念和方法 熟练熟练ExcelExcel中中“工具分析库工具分析库”