最新spss线性回归分析课件.ppt

1、 第十章 线性回归分析过程 第一节 回归分析概述1.回归方程w回归分析是处理变量x与y之间统计关系的一种统计方法和技术。如果要由x预测y的值，就要利用x与y的观察值，即样本观测值（x1，y1），（x2，y2），（xn，yn）来建立一个公式，当给定x值后，就代入此公式中算出一个y值，这个值就称为y的预测值。w如何建立这个公式？w1.绘制散点图w2.建立线性函数：y= +x2.建立实际问题回归模型的过程w一、根据研究的目的，设置指标变量w二、搜集整理统计数据w三、确定理论回归模型的数学形式w四、模型参数的估计w五、模型的检验与修改w六、回归模型的运用 具体（社会经济）问题设置指标变量搜集整理数据构

2、造理论模型估计模型参数模型检验模型运用经济变量控制经济因素分析经济决策预测修改建立实际问题回归模型过程第一步：绘制散点图选择估计模型线性模型分段模型曲线模型第二步：建立回归方程线性方程式y= +x中的参数 ，还不知道，这就需要由样本数据来进行估计，估计出 ，的值后，以估计值 分别代替线性方程式中的 ，得到方程 这个方程就称为回归方程。 这里因为因变量y与自变量x的关系呈线性关系，因此我们也称上述方程为线性回归方程， 是线性回归方程所画出的直线在y轴上的截距 ，为直线的斜率，它们分别被称作回归常数与回归系数。,xyxyxy第二节 一元线性回归w一元线性回归是描述两个变量之间统计关系的最简单的回归

3、模型。w例1 假定一保险公司希望确定居民住宅火灾造成的损失数额与该住户到最近的消防站的距离之间的相关关系，以便准确地确定出保险金额，表1列出了15起火灾事故的损失及火灾发生地与最近的消防站的距离。距消防站距离距消防站距离3.41.84.62.33.15.50.73.0火灾损失火灾损失26.217.831.323.127.536.014.122.3距消防站距离距消防站距离2.64.32.11.16.14.83.8火灾损失火灾损失19.631.324.017.343.236.426.1一、根据研究的目的，设置指标变量w试验指标：火灾损失w试验因素：距离消防站的距离因此建立两个变量：x距离消防站的距

4、离y火灾损失二、获取相关数据三、确定理论回归模型的数学形式w1.判断x变量与y变量之间的关系是否为线性相关关系？判断方法：1）散点图 2）相关系数法2.如果是显著线性相关关系，可以选择一元回归方程做为理论回归模型。距离76543210损失50403020101）绘制散点图线性相关线性回归模型Correlations1.961*.0001515.961*1.000.1515Pearson CorrelationSig. (2-tailed)NPearson CorrelationSig. (2-tailed)N距离损失距离损失Correlation is significant at the 0

5、.01 level(2-tailed).*. 2）相关系数2.一元线性回归模型的数学形式参数的估计xy10niiniiniiniiiynyxnxxxyyxxxy111211101,1距离76543210损失5040302010（xi，yi）xy10 xyynyxnxxxyyxxxyniiniiniiniii919.4278.101,1919.4278.1011121110回归方程：四、模型参数的估计应用Spss软件进行回归参数的估计1、执行Analyze Regression Linear命令，打开对话框（1）从源文件量清单中选择一个数值型变量移入 Dependent框中，选择一个变量作为自变

6、量移入Independent 框中（2）点击OKxy919. 4278.10919. 4278.1010多元线性回归模型一、多元线性回归模型的一般形式称为回归系数。，称为回归常数，个未知参数，是，其中，的线性回归模型为：，与一般变量设随机变量p210p210pp22110p211pxxxyxxxy二、多元线性回归方程的解释以p2为例。在建立空调机销售量的预测模型时，用y来表示空调机的销售量，用x1表示空调机的价格，用x2表示消费者可用于支配的收入。则可以建立二元线性回归模型： 的平均影响程度。机销售量调每变动一个单位，对空消费者收入保持不变时，可解释为在空调机价格即，则有保持不变，为一常数时同

7、理，假如的平均影响程度。机销售量调每变动一个单位，对空空调机的价格保持不变时，可解释为在消费者收入即，则有保持不变，为一常数时假如yxxyEyxxyE2122221211122211022110 xxxxxxyExxy三、 回归参数的估计w回归参数可以应用普通最小二乘估计。具体计算可以通过spss软件进行。未标准化回归方程为：y=35316.885+6.696x1+0.097x2标准化回归方程为：y=0.809x1+0.18x2Coefficientsa35316.8852329.45715.161.0006.6961.562.8094.287.003.097.102.180.952.369(

8、Constant)空调价格家庭收入Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: 空调销售量a. 四、模型的检验与修改w4.1 相关系数的显著性检验w4.2 F检验w4.3 t检验w4.4 样本决定系数w4.5 残差分析4.1相关系数的显著性检验由于一元线性回归方程讨论的是变量x与y之间的线性关系，所以我们可以用变量x与y之间的相关系数来检验回归方程的显著性。当 r = 0 时，说明变量之间不存在线性相关关系； 当 0 r 1时，说明变量之间存在一定程

9、度的正相关关系； 当 -1 r 0时，说明变量之间存在一定程度的负相关关系； 当r =1 或 r = -1 时说明变量之间完全正相关或完全负相关。 设总体 X 和 Y 的相关系数为 r，则检验的原假设和对立假设为： 其中零假设表示：假设变量之间不存在线性相关关系。 检验时采用的统计量为：0:0:10rHrH，212rrntCorrelations1.974*.920*.000.000111111.974*1.914*.000.000111111.920*.914*1.000.000111111Pearson CorrelationSig. (2-tailed)NPearson Correlat

10、ionSig. (2-tailed)NPearson CorrelationSig. (2-tailed)N空调销售量空调价格家庭收入空调销售量空调价格家庭收入Correlation is significant at the 0.01 level (2-tailed).*. 4.2回归方程的显著性检验w检验因变量与所有自变量之间的线性关系是否显著，是否可以用线性模型来描述因变量和自变量之间的关系。也就是检验所有回归系数是否同时与零无显著差异。应用F检验法加以检验。注：检验是否可以用回归方程方法进行模型估计，也就是回归方程是否有效？0210rH：rrxxxy22110回归方程的显著性检验F检验

11、F检验是根据平方和分解式，直接从回归效果检验回归方程的显著性。距离76543210损失50403020104 .26yxy1021niiyy21niiyy212121niiniiniiyyyyyyF检验SSESSRSSTSSEyySSRyySSTyyyyyyyyniiiniiniiniiiniinii简写为因而平方和分解式可以成为残差平方和，简记称为回归平方和，简记称为总平方和，简记其中212121212121w总平方和反映因变量y的波动程度或称不确定性，在建立了y对x的线性回归后，总平方和SST就分解成回归平方和SSR与残差平方和SSE这两个组成部分，其中SSR是由回归方程确定的，也就是由自

12、变量x的波动引起的，SSE是不能用自变量解释的波动，是由x之外的未加控制的因素引起的。这样，总平方和SST中，能够由自变量解释的部分为SSR，不能由自变量解释的部分为SSE。这样，回归平方和SSR越大，回归效果就越好，可以据此构造F检验统计量：MSEMSRknSSEkSSRF) 1/(/在零假设 成立的情况下，F 统计量服从F分布，第一个自由度为1，第二个自由度为n 2 ，即 F F(1，n 2)。 决策的规则是：对于给定的显著水平 ，若F F(1，n 2) 就拒绝原假设。0210rH：ANOVAb841.7661841.766156.886.000a69.751135.365911.5171

13、4RegressionResidualTotalModel1Sum ofSquaresdfMean SquareFSig.Predictors: (Constant), 距离a. Dependent Variable: 损失b. 回归平方和SSR841.766，残差平方和SSE69.751总平方和SST 841.766 69.751911.517SIG=0.0000.05,拒绝原来的假设，表示所有的回归系数不同时为0，也就是说，回归方程总体达到显著程度，即回归方程是有效的。0210rH：886.156365. 5/766.841) 1/(/MSEMSRknSSEkSSRF5.3 t检验w回归方

14、程显著性检验只能检验所有系数是否同时与零有显著性差异。如果检验出所有回归系数不同时为零，仍然不能保证方程中仍存在与零无显著差异的回归系数，也就是说不能保证所有回归系数同时不为零。w回归系数的显著性检验就是要检验是否所有自变量xi对因变量y的影响程度均显著。如果原假设 成立，则因变量y与自变量x1之间并没有真正的线性关系，也就是说 自变量x1的变化对因变量y并没有影响。构造的t检验统计量为：0:10H212122121/niixxniiixxxxLyynLt其中SPSS统计结果中对回归系数是否显著为0的t检验005. 0000. 0sig525.12/tt012110拒绝原来的假设，说明显著性概

15、率检验统计量：构造：假设：xxLHSPSS统计结果中对多元回归系数是否显著为0的t检验得出结论是否大于判断显著性概率检验统计量构造：假设：0.05sigt0, 0, 0, 0, 0543210HCoefficientsa35316.8852329.45715.161.0006.6961.562.8094.287.003.097.102.180.952.369(Constant)空调价格家庭收入Model1BStd. ErrorUnstandardizedCoefficientsBetaStandardizedCoefficientstSig.Dependent Variable: 空调销售量a

16、. 5.4回归方程的拟合优度检验w就是要检验样本数据点聚集在回归直线周围的密集程度，从而评价回归方程对样本数据的代表程度。一般用判别系数R2实现。w因变量总的变差平方和由自变量引起的因变量变差的平方和由其他随机因素引起的因变量变差的平方和w用数学语言表示为：w式中：由自变量引起的变差平方和能够由回归方程表示，称为回归平方和，由其他随机因素引起的变差平方和无法用回归方程表示，称为残差平方和或剩余平方和。212121niiniiniiyyyyyy距离76543210损失50403020104 .26yxy1021niiyy21niiyy212121niiniiniiyyyyyy样本决定系数w由回归

17、平方和与残差平方和的意义我们知道，如果在总的离差平方和中，回归平方和所占的比重越大，则线性回归效果就越好，这说明回归直线与样本观测值拟合优度就越好；如果残差平方和所占比重大，则回归直线与样本观测值拟合得就不理想。这里把回归平方和与总离差平方和之比定义为样本决定系数，记为：niiniiyyyySSTSSRr12122Model Summary.961a.923.9182.31635Model1RR SquareAdjustedR SquareStd. Error ofthe EstimatePredictors: (Constant), 距离a. w性质1：决定系数r2是一个回归直线与样本观测值

18、拟合优度的相对指标，反映了因变量的波动中能用自变量解释的比例。r2的值总是在0和1之间，也可以用百分数表示。一个线性回归模型如果充分利用了x的信息，因变量不确定性的绝大部分能由回归方程解释，则r2越接近于1，拟合优度就越好，反之亦然。w性质2：回归方程的显著性检验与r2值的大小是一致的，即检验越显著，r2就越大，但是这种关系并不是完全确定的，在样本容量n很大时，对高度显著的检验结果仍然可能得到一个小的r2。导致r2小的可能原因有两个，第一是线性回归不成立，第二是y与x之间的确符合线性模型，只是误差项方差大导致r2小，这时在样本容量n很大时，检验结果仍然可能得出线性回归显著的结论。5.5 残差分

19、析w一个线性回归方程通过了t检验或F检验，只是表明变量y与x之间的线性关系是显著的，或者说线性回归方程是有效的，但不能保证数据拟合得很好，也不能排除由于意外原因而导致的数据不完全可靠。只有当与模型中的残差项有关的假定满足时，才表明模型有效。w2.5.1 残差的概念：实际观测值y与通过回归方程给出的回归值之差，w残差ei可以看做是误差项的估计值。iiiyye5.5.2残差图分析模型的有效性。w一般认为，如果一个回归模型满足所给出的基本假定，所有残差应是在e0附近随机变化，并在变化幅度不大的一条带子内。w残差图：以自变量x作横轴，以残差为纵坐标，将相应的残差点画在直角坐标系上，就可以得到残差图。具

20、体作法：w1.计算残差：回归分析主对话框中选择save按钮，Residuals选项下的Unstandardized选项，按continue，在原数据文件中加入残差值，w2.画残差图。GraphScatterw例:火灾损失与距离消防站的远近的回归分析距离76543210Unstandardized Residual43210-1-2-3-4回归方程检验的小结1.回归方程是否存在的检验F检验是检验自变量全体对因变量y是否产生显著影响2.所有自变量是否都对因变量有显著影响的检验当一个回归方程通过了F检验之后，并不能说明这个回归方程中所有的自变量都对因变量y有显著影响，因此，还要对回归系数进行检验。3

21、.回归方差是否有效性的检验样本决定系数与残差分析。3. 回归系数的区间估计w当我们用最小二乘法得到0，1的点估计后，在实际应用中往往还希望给出回归系数的估计精度，即给出其置信水平为1的置信区间。这个区间以1的概率包含参数0，1。置信区间的长度越短，说明估计值与0，1接近的程度越好，估计值就越精确。w应用spss软件计算回归系数的区间估计：在线性回归对话框中，点击StatisticsConfidence interval，这样，在回归系数表中就增加了回归系数的区间估计。六、回归模型的运用w建立回归模型的目的是为了应用，而预测和控制是回归模型最重要的应用。w4.1 单值预测w4.2 区间预测 4.

22、2.1因变量新值的区间预测 4.2.2因变量新值的平均值的区间估计 4.3控制问题4.1单值预测w单值预测就是用单个值作为因变量的预测值。即当x0新值时，求出y0的预测值。w单值预测只是一个大概值，我们除了想知道预测值外，还希望知道预测值的精度，这就要作区间估计。4.2区间预测w给一个预测范围比只给出单个预测值更可信，这个问题也就是：)(TT1yxTT,201210021TyTp）所包含，也就是，被区间（的概率以的实际值使对应于某特定的），找一个区间（给定显著性水平应用SPSS软件直接计算预测值1.单值预测：在计算回归之前，把自变量新值x0输入样本数据中，在回归分析主对话框中点击Save按钮在

23、save对话框中点击Predicted ValuesUnstandardized2.因变量新值的区间预测：在save对话框中点击Predicted intervalsIndividual3.因变量新值平均值的区间预测在save对话框中点击Predicted intervalsmean单值预测区间预测例：火灾损失与距离消防站远近，x03.5公里，预测火灾损失额。实习2w1.应用实习1的数据，对回归系数与回归常数做点估计与区间估计。w2.预测在贷款余额为380时，不良贷款的估计值和估计区间。6.一元线性回归模型建立小结w第一步，提出因变量与自变量w第二步，搜集数据w第三步，根据数据画散点图w第四步

24、，设定理论模型w第五步，用SPSS软件计算，输出计算结果w第六步，回归诊断，分析输出结果实习3：w下表为四组数据，分别对此四组数据进行回归分析，并做显著性检验。w实验数据文件为：回归显著性比较.sav第一组x第一组y第二组x第二组y第三组x第三组y第四组x第四组y44.2643.145.3986.5855.6854.7455.7385.7667.2466.1366.0887.7174.8277.2676.4488.8486.9588.1486.7788.4798.8198.7797.1187.04108.04109.14107.4685.25118.33119.26117.8185.56121

25、0.84129.13128.1587.91137.58138.741312.7486.89149.96148.1148.841912.57.多元回归方法w回归自变量的选择是建立回归模型的一个极为重要的问题。应用spss软件中回归方法的选择可以进行自变量的选择。w一、前进法（Forward）w二、后退法（Backward）w三、逐步回归法（Stepwise）一、前进法w前进法的思想是变量由少到多，每次增加一个，直至没有可引入的变量为止。w具体作法是首先将全部m个自变量，分别对因变量y建立m个一元线性回归方程，并分别计算这m个一元回归方程的m个回归系数的F检验值，选择其中最大的F值，如果此F值大于

26、F的临界值，则首先将xj引入回归方程，为了方便，设xj就是x1。w接下来因变量y分别与（x1，x2），（x1，x3），（x1，xm）建立m1个二元线性回归方程，对这m1个回归方程中x2，x3，xm的回归系数进行F检验，选择其中最大的引入回归方程。w依上述方法接着做下去。直至所有未被引入方程的自变量的F值均小于F的临界值。这时，得到的回归方程就是最终确定的方程。w例：运用水稻产量数据文件的资料对水稻产量y关于播种面积等4个变量作回归分析，用前进法做变量选择，取显著性水平05. 0进二、后退法w后退法与前进法相反，首先用全部m个变量建立一个回归方程，然后在这m个变量中选择一个最不重要的变量，将它从

27、方程中剔除。w具体作法是首先计算所有变量的回归系数的F检验值，取其最小值Fj ，如果Fj小于0.5水平下的F临界值，则把回归系数检验的F值最小者对应的自变量剔除。w接下来对剩下的m1个自变量重新建立回归方程，进行回归系数的显著性检验，如上述方法剔除掉F检验值最小的自变量，依此下去，直至回归方程中所剩余的p个自变量的F检验值均大于临界值，没有可以剔除的自变量为止。这时得到的回归方程就是最终确定的方程。w例：例：运用水稻产量数据文件的资料对水稻产量y关于播种面积等4个变量作回归分析，用后退法做变量选择，取显著性水平1 . 0出前进法与后退法的不足w前进法与后退法都有明显的不足。w前进法可能存在的问

28、题是，不能反映引进新的自变量后的变化情况。因为某个自变量开始可能是显著的，但当引入其它自变量后它变得并不显著了，但是也没有机会将其剔除，即一旦引入，就是“终身制”的；w后退法的不足之处是，一开始把全部自变量引入回归方程，这样计算量很大，如果有些自变量不太重要，一开始就不引入，就可以减少一些计算。另外，一旦某个自变量被剔除，“一棍子就把它打死了”，它再也没有机会重新进入回归方程了。三、逐步回归w逐步回归的基本思想是有进有出。w具体作法是：将变量一个一个引入，当每引入一个自变量后，对已经选入的变量要进行逐个检验，当原引入的变量由于后面变量的引入而变得不再显著时，要将其剔除。引入一个变量或从回归方程

29、中剔除一个变量，为逐步回归的一步，每一步都要进行F检验，以确保每次引入新的变量之前回归方程中只包含显著的变量。这个过程反复进行，直到既无显著的自变量选入回归方程，也无不显著自变量从回归方程中剔除为止。这样就避免了前进法和后退法各自的缺陷，保证了最后所得到的回归子集时最优回归子集。w例：运用水稻产量数据文件的资料对水稻产量y关于播种面积等4个变量作回归分析，用逐步回归做变量选择。w注意：引入自变量和剔除自变量的显著性水平 进小于剔除自变量的显著性水平 否则可能产生“死循环”。1 . 005. 0，取显著性水平出进进出3.5应用spss软件选项进行多元线性回归分析（1）线性回归过程：一元、多元逐步

30、回归。 回归系数估计值、协方差矩阵、复相关系数R、因变量的最佳预测值、方差分析表（2）对数据要求： 自变量和因变量必须具有Scale测度的数值型变量 标志或范畴变量（3）因变量的所有观测值： 相互独立的等方差的正态总体，因变量和自变量之 间应具有一定的线性关系线性回归过程1、执行Analyze Regression Linear命令，打开对话框线性回归过程（1）从源文件量清单中选择一个数值型变量移入 Dependent框中，选择一个或多个变量作为自变量移入Independent 框中（2）选择回归模型的自变量的进入方式wEnter 所有选择自变量全部进入方式wStepwise 逐步回归方式wR

31、emove 移除法（根据设定条件剔除部分自变量）wBackward 向后剔除法wForward 向前剔除法线性回归过程（3）参与分析的观测量选择规则 选择观测量的子集参与回归分析，将未选入这个子集的观测量排除在分析之外线性回归过程对话框中Define Selection RulewEqual to: 等于wLess than or equal: 小于或等于wNot equal to: 不等于wLess than: 小于wGreater than: 大于wGreater than or equal:大于或等于线性回归过程（4）从源文件量清单中选择一个指示变量加到 Case Labels2、选项按

32、钮的功能设置 （1）单击WLS按钮（权重变量） （2）单击Statistics 按钮，打开对话框 线性回归过程w对话框选择输出与回归系数有关的统计量 Estimates: 回归系数B的估计值、标准误差、标准化系数、t 分布 Confidence intervals: 回归系数95%的置信区间 Covariance: 协方差矩阵w残值栏 Durbin-Watson: DW检验，残值 的序列相关检验 Casewise diagnostics: 观测量的诊断方式 线性回归过程w其他统计量 Model fit 模型拟合（拟合优度统计量） R squared change: 交换、F交换及其显著性 De

33、scriptives: 回归中的各变量的描述统计量 Part and partial correlation：相关系数与偏相关系数 Collinearity and diagnostics：多重共线性诊断 2R线性回归过程（3）单击Plots按钮，打开Plots对话框w选择散点图变量，散点图DEPENDENT：因变量ZPERD：标准化预测值ZRESID：标准化残值DRESID：剔除残值ADJPRED：经调整的预测值SRESID：学生化残值SDRESID：学生化剔除残值线性回归过程线性回归过程w选择Standardized Residual Plots 栏选项,标准化残值图 Histogram

34、Residual: Normal probability plot:w对话框Produce all partial选项，输出每一个自变量对于自变量残差的散点图 线性回归过程3、单击Save按钮，打开对话框线性回归过程(1) Predicated Value: 预测栏wUnstandardized: 未标准化的预测值wStandardized: 标准化的预测值wAdjusted: 经调整后的预测值wS.E of mean prediction value: 平均预测值的标准误差(2) Distances： 距离栏wMahalanobis: 马氏距离wCooks: 库克距离wLeverage Va

35、lue: 杠杆值线性回归过程(3) Prediction Intervals 预测区间栏w Mean: 均值预测区间的上下限wIndividual:因变量的单个观测量预测区间的上下限wConfidence: 置信概率(4) Residuals: 残值栏(5) Influence Statistics ：统计影响栏wDFBeta(s) Beta: 特定观测值所引起的预测值的变化wStandardized DFBeta: 标准化DFBeta值wDfFit: 拟合值之差wStandardized DfFit: 标准化的DfFitwCovariance ratio: 协方差比率线性回归过程4、单击Op

36、tions按钮，打开对话框线性回归过程（1）Stepping Method Criteria:逐步回归标准栏wUse probability: 使用F概率作为决策变量进入wUse F value:使用F统计量值(2) Include constant in equation:常数项(3)Missing Value:缺损值处理栏wExclude cases listwise: 全部变量的有效观测值wExclude cases pairwise: 成对地剔除wReplace with mean: 用变量的均值代替缺损值5、单击OK，提交系统运行实习：5w验证有些回归方程通过拟和优度检验但还是通不过F检验，这就是样本容量个数n太小，而自变量又较多造成R2的虚假现象。例：在研究建筑业降低生产成本y对流动资金X1，固定资金x2，优良品率x3，竣工面积x4，劳动生产率x5，施工产值x6的关系时，利用“建筑业.sav”数据文件中的数据建立回归方程，并对回归方程的显著性进行检验。w通过F检验但不能保证所有的回归系数都对因变量y有显著影响。