1、2022-4-19概率论与数理统计1第第9章章 方差分析及回归分析方差分析及回归分析n在科学实验和生产实践中，影响一些事物的因素往往在科学实验和生产实践中，影响一些事物的因素往往很多很多 。在众多影响因素中，有的影响较大，有的影响。在众多影响因素中，有的影响较大，有的影响较小。为了解决这类问题，一般需要做两步工作。第较小。为了解决这类问题，一般需要做两步工作。第一步是设计一个实验，使得这个实验一方面能很好地一步是设计一个实验，使得这个实验一方面能很好地反映我们所感兴趣的因素的作用，另一方面实验的次反映我们所感兴趣的因素的作用，另一方面实验的次数要尽可能地少，尽可能地节约人力、物力和时间。数要尽
2、可能地少，尽可能地节约人力、物力和时间。其次是如何充分地利用实验结果的信息，对我们所关其次是如何充分地利用实验结果的信息，对我们所关心的事物心的事物(因素的影响因素的影响)作出合理的推断。方差分析和回作出合理的推断。方差分析和回归分析都是数理统计中具有广泛应用的内容，本章介归分析都是数理统计中具有广泛应用的内容，本章介绍的是最基本的内容。绍的是最基本的内容。 2022-4-19概率论与数理统计29.1 一元方差分析一元方差分析n一项试验中，若只有一个因素在改变，称为单因素试一项试验中，若只有一个因素在改变，称为单因素试验；多于一个因素在改变的试验称为多因素试验。验；多于一个因素在改变的试验称为
3、多因素试验。n因素因素(即影响试验指标的条件即影响试验指标的条件)可分为两类：一类是可控可分为两类：一类是可控因素，如温度、比例、浓度等；一类是不可控因素，因素，如温度、比例、浓度等；一类是不可控因素，如测量误差、气象条件等。这里所说的因素是可控因如测量误差、气象条件等。这里所说的因素是可控因素，且称因素所处的不同状态为该因素的不同水平。素，且称因素所处的不同状态为该因素的不同水平。2022-4-19概率论与数理统计39.1 一元方差分析一元方差分析n例例 为了比较四种不同肥料对某农作物产量的影响，为了比较四种不同肥料对某农作物产量的影响，选用一块肥沃程度和水利灌溉比较均匀的土地，将其选用一块
4、肥沃程度和水利灌溉比较均匀的土地，将其分成分成16小块，如下表所示小块，如下表所示(按下表划分土地是为了尽可按下表划分土地是为了尽可能减少土地原有肥沃程度及灌溉条件差异的影响，只能减少土地原有肥沃程度及灌溉条件差异的影响，只分析肥料这个因素对产量的影响分析肥料这个因素对产量的影响) 。n 表表9.1 9.1 A1A2A3A4A2A3A4A1A3A4A1A2A4A1A2A32022-4-19概率论与数理统计49.1 一元方差分析一元方差分析n在表在表9.1中，中， 表示在一小块土地上施第表示在一小块土地上施第i i种肥料。显种肥料。显然施每种肥料的各有四小块土地，所得产量由表然施每种肥料的各有四
5、小块土地，所得产量由表9.2给给出。问施肥对该作物的产量有无显著影响，若影响显出。问施肥对该作物的产量有无显著影响，若影响显著，施哪种肥料为好？著，施哪种肥料为好？n 表表9.2 9.2 iAx肥料种类(Ai)收获量(xi)平均收获量( )A198 96 91 9695.25A260 69 50 3553.50A379 64 81 7073.50A490 70 79 8881.75x2022-4-19概率论与数理统计59.1 一元方差分析一元方差分析n例例1是一个单因素试验，这个因素就是肥料，不同的肥是一个单因素试验，这个因素就是肥料，不同的肥料料A1，A2，A3，A4就是这个因素的就是这个因
6、素的4个水平。在因素的个水平。在因素的每一水平下进行独立试验，所得数据如表每一水平下进行独立试验，所得数据如表9.2所示。可所示。可以看出，虽然所施肥料相同，其他生产条件也一样，以看出，虽然所施肥料相同，其他生产条件也一样，但相同面积土地的收获量是不相等的。这说明产量也但相同面积土地的收获量是不相等的。这说明产量也是一个随机变量。从表是一个随机变量。从表9.2右边所示的平均收获量又可右边所示的平均收获量又可以看出，施不同的肥料对收获量是有影响的。现在判以看出，施不同的肥料对收获量是有影响的。现在判断肥料对作物产量的影响问题，就是要辨别收获量之断肥料对作物产量的影响问题，就是要辨别收获量之间的差
7、异主要是由抽样误差造成的还是由肥料的影响间的差异主要是由抽样误差造成的还是由肥料的影响造成的。造成的。 2022-4-19概率论与数理统计69.1 一元方差分析一元方差分析n表表9.2中的数据可看成来自中的数据可看成来自4个不同的总体个不同的总体(每一个水平每一个水平对应一个总体对应一个总体)的容量为的容量为4的样本值。我们假设各总体的样本值。我们假设各总体均为正态变量，即均为正态变量，即 分别服从分别服从 ， 。 是从总体是从总体 中抽得的简单随机样本中抽得的简单随机样本 按题意，即要检验假设按题意，即要检验假设 。 故这是一个检验方差相等的多个正态总体均值是否相故这是一个检验方差相等的多个
8、正态总体均值是否相等的问题。方差分析法就是解决这类问题的一种统计等的问题。方差分析法就是解决这类问题的一种统计方法。方法。 4321,XXXX),(2iN)4 , 3 , 2 , 1( jXijiX43210:H(1,2,3,4)i2022-4-19概率论与数理统计79.1 一元方差分析一元方差分析n下面来推导更一般的问题。下面来推导更一般的问题。n设有设有r r个正态总体个正态总体 ， 这里假定这里假定r r个个总体的方差相等，都为总体的方差相等，都为 ，做假设，做假设 n现独立地从各总体上取出一个样本，现独立地从各总体上取出一个样本，用用r r个样本检验上个样本检验上述假设是否成立。述假设
9、是否成立。采用直观的离差分解的方法来处理上述问题。将每个样采用直观的离差分解的方法来处理上述问题。将每个样本看成一组，则本看成一组，则组内平均组内平均 ),(2iiNX), 1(ri2rH210:injijiiXnX112022-4-19概率论与数理统计89.1 一元方差分析一元方差分析n总平均总平均n总离差平方和为总离差平方和为 称为离差分解。称为离差分解。n下面通过比较下面通过比较 和和 的数值来检验假设的数值来检验假设 。 iriirinjijXnnXnXi11111riinn1rinjiiijrinjijiiXXXXXX112112)()()(rinjiijiXX112)(21)(XX
10、nirii2121120H2022-4-19概率论与数理统计99.1 一元方差分析一元方差分析n可以证明，在假设可以证明，在假设 成立时，成立时， 和和 相互独立且服从相互独立且服从分布分布 和和 。n由由F F分布定义知分布定义知n所以所以 0H2122)(2rn ) 1(2r), 1() 1()()() 1(122122rnrFrrnrnrF), 1() 1()(122*12*2rnrFrrnSSF2022-4-19概率论与数理统计109.1 一元方差分析一元方差分析n为方便计算为方便计算F的数值，常用下面的方差分析表来计算，的数值，常用下面的方差分析表来计算，见表见表9.3。 212)(
11、XXnriii1r22*211rS2*12*2SSF 2111)(irinjijXXirn 12*11rnS211)(XXrinjiji1n方差来源平 方 和自由度均 方F值因素的影响(组间)误 差(组内) 总和 2022-4-19概率论与数理统计119.2 一元线性回归一元线性回归 n一般来讲，客观世界中存在的变量之间的关系可分为一般来讲，客观世界中存在的变量之间的关系可分为两大类，一类是变量之间为确定关系，另一类是非确两大类，一类是变量之间为确定关系，另一类是非确定关系。确定关系指变量之间的关系可用函数关系表定关系。确定关系指变量之间的关系可用函数关系表示。自变量取确定值时，因变量也随之确
12、定。如示。自变量取确定值时，因变量也随之确定。如 ，这是在高等数学中所研究的函数关系。而，这是在高等数学中所研究的函数关系。而另一类非确定关系即所谓的相关关系，具有统计规律另一类非确定关系即所谓的相关关系，具有统计规律性。下面举一些例子来说明。性。下面举一些例子来说明。 2)(2xxf2022-4-19概率论与数理统计129.2 一元线性回归一元线性回归n(1) 人的身高人的身高X X与与Y Y体重之间存在一定的变量关系。一般来说人高体重之间存在一定的变量关系。一般来说人高一些，体重也重一些。但同样高度的人，体重往往不一定相同。一些，体重也重一些。但同样高度的人，体重往往不一定相同。n(2)
13、人们的收入水平人们的收入水平X X与消费水平与消费水平Y Y之间也有一定的关系。人们的之间也有一定的关系。人们的收入水平收入水平X X越高，相应的消费水平越高，相应的消费水平Y Y也越高，但收入水平相同的人也越高，但收入水平相同的人消费水平却不一定相同。消费水平却不一定相同。n(3) 人的血压人的血压X X与年龄与年龄Y Y之间也存在着这种关系，一般年龄大的人之间也存在着这种关系，一般年龄大的人血压也高，然而相同年龄的人血压往往各不相同。血压也高，然而相同年龄的人血压往往各不相同。n(4) 化工产品的产量化工产品的产量Y Y与温度与温度 、压力、压力 及催化剂及催化剂 有关，但有关，但即使上述
14、即使上述 、 、 相同，产量相同，产量Y Y也不一定相同。也不一定相同。 1x2x3x1x2x3x2022-4-19概率论与数理统计139.2 一元线性回归一元线性回归n上面这些例子中，当自变量上面这些例子中，当自变量X X取确定值时，因变量取确定值时，因变量Y Y的的值是不确定的。我们称变量间的这种非确定关系为相值是不确定的。我们称变量间的这种非确定关系为相关关系。回归分析是研究相关关系的一种数学工具，关关系。回归分析是研究相关关系的一种数学工具，它能帮助我们从一个变量取得的值去估计另一个变量它能帮助我们从一个变量取得的值去估计另一个变量所取得的值。把只有一个自变量的回归分析称为一元所取得的
15、值。把只有一个自变量的回归分析称为一元回归，多于一个自变量的回归分析称为多元回归。本回归，多于一个自变量的回归分析称为多元回归。本节只介绍一元回归。节只介绍一元回归。 2022-4-19概率论与数理统计149.2.1 一元线性回归方程的概念一元线性回归方程的概念 n设随机变量设随机变量Y Y与普通变量与普通变量X X之间存在某种相关关系：对之间存在某种相关关系：对X X的每一确定值，的每一确定值，Y Y都有自己的分布。都有自己的分布。n设设n其中，其中，a a, ,b b及及 都是不依赖于都是不依赖于X X的未知参数，称上式为的未知参数，称上式为一元线性回归模型。一元线性回归模型。 bxay)
16、, 0(2N22022-4-19概率论与数理统计159.2.1 一元线性回归方程的概念一元线性回归方程的概念n在直角坐标系中，画出坐标为在直角坐标系中，画出坐标为( )的的n n个点，这种图称为散点个点，这种图称为散点图。若图。若n n很大时，散点图中的很大时，散点图中的n n个点大致在一条直线附近，其形式个点大致在一条直线附近，其形式为为 若由上面样本得到若由上面样本得到a,b的估计的估计 则对给定的则对给定的x，用用 作为作为 的估计，方程的估计，方程 称为称为y y对对x x的线性回归方程或回归方程。的线性回归方程或回归方程。 iiyx ,iiibxay), 0(2Niba,xbaybx
17、ax)(xbay2022-4-19概率论与数理统计169.2.2 对对a,ba,b的估计的估计 n对对x x的的n n个不同的取值个不同的取值 做独立试验做独立试验，做独立试验做独立试验，得样本得样本 。下面用最小二乘法求。下面用最小二乘法求a,ba,b的估计值。的估计值。n选择选择a,b使使Q达到最小，故达到最小，故Q需对分别需对分别a,b求偏导，并令求偏导，并令偏导等于零。即偏导等于零。即n nxxx,21),( ,),(),(2211nnyxyxyxniiiniiibxayxyQ1212)()(niiiiniiixbxaybQbxayaQ110)(20)(22022-4-19概率论与数理
18、统计179.2.2 对对a,ba,b的估计的估计n解此以解此以a,ba,b为未知数的方程组，即得为未知数的方程组，即得a,ba,b的估计值分别的估计值分别为为n于是所求线性回归方程为于是所求线性回归方程为niiniininiiniiiixxnyxyxnb1212111)()(xbyxnbynaniinii111xbay2022-4-19概率论与数理统计189.2.3 的估计的估计n由于由于 ，而，而 可用可用 做估计，做估计，又因为又因为n其中其中a,b可用可用 代替，故代替，故 有有 的估计量如下的估计量如下n将将 代入得代入得n 2)()(22ED)(2Eniin121iiibxayba,
19、22212)(1iniixbaynxbya)1()1(21222122niiniixxnbyyn2022-4-19概率论与数理统计199.3 一元线性回归中的假设检一元线性回归中的假设检验和预测验和预测 n9.3.1 线性假设的显著性检验线性假设的显著性检验n在第九章第二节中假定一元线性回归模型具有以下的在第九章第二节中假定一元线性回归模型具有以下的形式形式n其中其中a,ba,b是未知参数，是未知参数， 。一般来说，求得的线。一般来说，求得的线性回归方程是否具有实用价值，需经过假设检性回归方程是否具有实用价值，需经过假设检。即。即b b不不应为零，因为若应为零，因为若b b=0=0，则则y y
20、就不依赖就不依赖x x了。因此我们需要了。因此我们需要检验假设检验假设bxay), 0(2N0:0bH0:1bH2022-4-19概率论与数理统计209.3.1 线性假设的显著性检验线性假设的显著性检验 可以证明可以证明 当当 为真时为真时b=0 ，故故 给定显著水平给定显著水平 ，查表确定，查表确定 ，抽样后计算，抽样后计算T T值值若若 ，则拒绝，则拒绝 ，认为回归效果显著；，认为回归效果显著； 若若 ，则接受，则接受 ，认为回归效果不显著。，认为回归效果不显著。 )2()(12ntxxbbTnii0H)2()(12ntxxbTnii)2(2/ntT)2(2/nt)2(2/ntT0H0H2
21、022-4-19概率论与数理统计219.3.2 预测预测 n回归方程的一个重要应用是，对于给定的点回归方程的一个重要应用是，对于给定的点 可以用一定的置信度预测对应的可以用一定的置信度预测对应的Y Y 的观察值的取值范围，的观察值的取值范围，即预测区间。即预测区间。 设设 是是 处随机变量处随机变量Y的观察值，则有的观察值，则有 取取 处的回归值处的回归值 作为作为 的预测值，还可以证明的预测值，还可以证明0 xx0y0 xx000bxay), 0(20N0 x00 xbay000bxay)()(11 , 0(2122000niixxxxnNyy2022-4-19概率论与数理统计229.3.2
22、 预测预测n且且n由由T分布定义知分布定义知n对给定的置信度对给定的置信度 ，有，有)2()2(222nn)2()()(11122000ntxxxxnyynii11)2()()(112/122000ntxxxxnyyPnii2022-4-19概率论与数理统计239.3.2 预测预测 故得的故得的 置信度为置信度为 预测区间预测区间( (置信区间置信区间) )为为 其中，其中， 于是在处，置信下限为于是在处，置信下限为n 0y1),(00 xy)(00 xyniixxxxnntx12202/0)()(11)2()()()()(1xxyxy2022-4-19概率论与数理统计249.3.2 预测预测n置信上限为置信上限为n当当x x变化时这两条曲线形成包含回归直线变化时这两条曲线形成包含回归直线n的带域。当的带域。当 时，带域最窄，估计最精确。时，带域最窄，估计最精确。x x离离 其均值越远其均值越远，带域越宽，估计精确性越差。带域越宽，估计精确性越差。 )()()(2xxyxyya bx xx
