最新一元回归分析第1讲课件.ppt

1、培训大纲培训大纲一、一、基础知识基础知识二、一元线性回归模型二、一元线性回归模型三、拟合优度检验三、拟合优度检验四、四、F F检验检验/t/t检验检验/相关系数检验相关系数检验五、预测和控制五、预测和控制六、六、SASSAS示例示例一元线性回归模型一元线性回归模型回归模型建立的步骤回归模型建立的步骤l一般先做散点图，以便进行简单地观测l若散点图的趋势大概呈线性关系，可以建立线性方程，若不呈线性分布，可建立其它方程模型（曲线估计）！只有对有因果关系的变量，才更多地只有对有因果关系的变量，才更多地 做回归分析做回归分析一元线性回归分析模型1、一元线性回归模型的数学形式：1）、理论模型：2）、样本回

2、归模型 对于n组观测值 有：),),.(,(),(2211nnyxyxyxxyEVarExy10210)()(0）（iiiiiiixyEVarExy10210)()(0）（同时有：3）、模型的矩阵表达：nIVarEXy2)(0)(一元线性回归模型一元线性回归模型一元线性回归模型一元线性回归模型 只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示 bxay式中：a和b为待定参数；为各组观测数据的下标；为随机变量。n,1,2,a一元线性回归模型参数的估计一元线性回归模型参数的估计 最小二乘法最小二乘法的基本思想：的基本思想：让所寻找的样本回归函数（线）上的点尽可能地接近实际观测点，即样

3、本回归线上的点与实际观测点的离差平方和最小。回归分析的参数估计（OLSE）Ordinary Least Square Estimation：对于已知n组观测值有：niiiniixyxyQ1210,121101)(min)(),(100回归分析的参数估计（OLSE）xyxxnyxxynxxyxxnyxxyQxyQniniiniiiininiiiiiniiinii10221112110111011011100)(0)(20)(210解上式：整理上式有：回归分析的参数估计（OLSE）由此得回归方程：210121210)iiniiiniiiiiiixyyyeyyeyxy（）（残差平方和：回归残差：称为

4、拟合值或回归值关于系数的几种表达方式niiniiiiniiniiiniiniixxniiniiixxyxxyxnyxyyxxLxyxnxxxLLxxLxyxxyyxx1211112121211211)()(3)()(2)()(1、设：、OLSE的性质1、线性：2、无偏性3、参数的方差：4、协方差 上面的公式表明，参数的准确性除受总体的差异外，还受X值的范围影响，X取值范围越大，参数就越稳定 )11yEyEE（）（）（iiiiiiiyxxxxxxyxxnxnyy2211010)()()()(线性函数即：为随机变量，就是指估计量2220212)(1)()(2xxxnVarLVarnLyyiXX21

5、0),(LxxXCov一元线性回归模型一元线性回归模型一元线性回归模型的检验一元线性回归模型的检验 线性回归模型的检验分二大类：统计检验计量经济检验从统计学的角度检验所估计的样本回归函数的有效性从基本假设是否成立这一角度检验最小二乘估计法的适用性及其改进拟合优度检验显著性检验检验对各回归系数的检验对整个回归方程的检验回归方程的检验 在得到回归方程后，必须运用统计检验方法分析该方程是否真正描述了Y与X之间的统计规律之后，才能进行分析预测等各种运用，检验的基本假设前提是：），（20Ni培训大纲培训大纲一、基础知识一、基础知识二、一元线性回归模型二、一元线性回归模型三、三、拟合优度检验拟合优度检验四

6、、四、F F检验检验/t/t检验检验/相关系数检验相关系数检验五、预测和控制五、预测和控制六、六、SASSAS示例示例一元线性回归模型一元线性回归模型1.1.拟合优度检验拟合优度检验是通过对是通过对YtYt的样本点距其样本均值的离差平方和的分解来进行的。的样本点距其样本均值的离差平方和的分解来进行的。tttyey对对全部样本点全部样本点来说，可以证明：来说，可以证明：22222)()()()(YYeYYYYYYtttttt总离差平方和SST回归平方和SSR残差平方和SSE来自样本回归线来自残差回归线上的点与样本均值离差的平方和实际观测点与回归线上的点的离差的平方和一元线性回归模型一元线性回归模

7、型决定系数(coefficient of determination)取值范围：0，1，越接近1，说明实际观测点离样本线越近，拟合优度越高。SSTSSESSTSSRr12 r2高并不表示模型选择正确。可决系数定义为：可决系数定义为：很显然，可决系数越大，方程的拟合度就越高。很显然，可决系数越大，方程的拟合度就越高。Adjusted R Square 为校正为校正 ,未校正时未校正时,是拟合度的不理是拟合度的不理想指标想指标,Adj R-Sq可以克服这一缺点。当模型中包括适当的变量可以克服这一缺点。当模型中包括适当的变量集时，集时，Adj R-sq趋向稳定于某一数值。对抽样数据更适用，而不趋向稳

8、定于某一数值。对抽样数据更适用，而不适合总体数据。适合总体数据。可决系数的特性：1、具有非负性2、取值范围为：0,13、可决系数是样本观测值的函数决定系数的含义SSTSSESSTSSRrSSTSSESSTSSR112ettEdfSSdfSSpnnrAdjR111)1(1222R2R回归方程的拟合优度检验1、检验公式：2、基本意义：表现回归方程总平方和中能够为回归平方和解释部分的比重，该值越大则拟合优度越好。但是，当观测样本量很大时，高度显著的检验结果也不能肯定自变量与因变量之间的关系就是线性的，产生这种结果的原因有：X与Y存在的关系不是线性关系而是非线性的。X与Y的线性相关关系确立，但是误差项

9、方差 太大，导致样本决定系数很小。212122)()()(ryyyySSTSSRrniinii2培训大纲培训大纲一、基础知识一、基础知识二、一元线性回归模型二、一元线性回归模型三、拟合优度检验三、拟合优度检验四、四、F F检验检验/t/t检验检验/相关系数检验相关系数检验五、预测和控制五、预测和控制六、六、SASSAS示例示例一元线性回归模型一元线性回归模型SSESSRS总统计量统计量F F整个回归方程的显著性检验整个回归方程的显著性检验),1()/()1/(knkFknSSEkSSRF其中，k表示模型中回归系数的个数，或称为解释变量的个数（包括常数项），n为样本容量。F检验1、回归方程平方和

10、分解；见分解图 由上图有：SST-Sum of squares for Total SSE-Sum of squares for error SSR-Sum of squares for RegressionYXyiy iySSRSSESSTyyyyyyyyyyyyniiniiiniiiiii121221)()()()()(F检验2、回归方程显著性检验1）、设置假设：2）、构造统计量：3）、检验标准：回归方程显著回归方程不显著0:0:1110HH)2/(nSSESSRF)()2,1()()2,1(10值拒绝值拒绝pHnFFpHnFFF检验方差来源自由度平方和均方F值P值回归1SSRSSR/1对

11、比P与残差n-2SSESSE/n-2总和n-1SST2/1/nSSESSR培训大纲培训大纲一、基础知识一、基础知识二、一元线性回归模型二、一元线性回归模型三、拟合优度检验三、拟合优度检验四、四、F F检验检验五、五、t t检验检验六、六、SASSAS示例示例一元线性回归模型一元线性回归模型统计量统计量t t样本回归系数的显著性检验样本回归系数的显著性检验)2(ntStiii22)(XXSSii其中：如果某个自变量如果对 作用不显著,则它的系数 就应取值为0,因此检验每个自变量 是否显著,就要检验假设:yiix0:0iHT检验T检验主要用于检验回归系数有效性的统计检验方法1、设置假设：2、构造检

12、验统计量：3、检验过程：在给定显著性水平 ，双侧检验临界值为 ，当 ，拒绝原假设，反之，接受原假设，即回归方程不成立。21122121)(2121/iniiniixxxxyynenLLt0:0:1110HH2t2tt T检验4、P值检验法：P值又称P-Value,基本的检验关系是：P（）=P值其中t为检验统计量，服从t（n-2）的分布判别的标准是：用P值代替t 值的优越性1、直接对比P值与 的水平，不用查表2、用P值检验可比性较好。3、P值的意义明确，就是犯拒真错误的概率。值tt 0202,HttPHttP接受值时，值当拒绝值时，值当相关系数相关系数 相关系数相关系数 是反映两个变量之间存在某

13、种依存关是反映两个变量之间存在某种依存关系的数值性指标。系的数值性指标。22)()()(YYXXYYXXriiii相关系数的特点相关系数的特点l相关系数的值域范围是（-1，1）l相关系数的绝对值反映相关的强度l相关总是反映每个案例至少有两个数据点（或变量）的状况l相关系数反映两个变量共同变化的程度。相关系数的检验-查找临界值表计算计算 xyxxyyLRLL 对给定的检验水平对给定的检验水平 ，查相，查相关系数的临界值表关系数的临界值表 如果如果 ，则拒绝，则拒绝 ，即线性回归方程有效；即线性回归方程有效；否则，接受否则，接受 ，即线性回归方程无，即线性回归方程无效。效。0.3-0.5 低度相关

14、低度相关0.6-0.8 显著相关显著相关0.8-1 高度相关高度相关RR0H0H相关系数的显著性检验1、相关系数的含义：2、相关系数的特征：相关系数仅能表现两个变量之间的线性关系，而不能反映非线性关系。就是说，即使r=0,也不能说两个变量无关。相关系数接近1的程度与观测数据的容量密切相关，当数据较少时，无法通过相关系数的大小判别两个变量的相关程度。10)()()(111rLLLxyyyxxyyxxryyxxniniiiniii相关系数的显著性检验3、相关关系的判断-相关系数检验表 当 大于检验表中的5%的值但小于1%值时，显示x与 y有显著的线性相关关系。当 大于检验表中1%的值，则显示两个变

15、量之间有十分显著的线性相关关系。当 小于检验表中5%的值，则显示两个变量没有明显的线性关系。4、相关系数的符号：根据公式：rrr同号数即：相关系数与回归系有：11yyxxyyxxLLrLLLxyr三种检验的关系 可以证明，就一元回归方程而言，回归系数检验、相关系数检验和F检验是完全等价的。基本关系是：22212212/1/212/1tLnSSESSRFtFrnrtLtxxxx统计量的平方检验是上述、等价于等价：、回归系数与相关系数相关系数的几个数量关系1、相关系数与可决系数的关系：在一元线性回归方程中，有：2、相关系数与回归系数的关系：9414.08863.02rrr如例中：数同号即：相关系数

16、与回归系有：由yyxxyyxxLLrLLLxyr1培训大纲培训大纲一、基础知识一、基础知识二、一元线性回归模型二、一元线性回归模型三、拟合优度检验三、拟合优度检验四、四、F F检验检验/t/t检验检验/相关系数检验相关系数检验五、五、预测和控制预测和控制六、六、SASSAS示例示例回归方程误差的估计 总体回归方程的误差与样本误差的关系为：回归均方误差与标准误差 222nest2)(2102nXYstt2)(2)(2102102nXYsnXYstttt回归系数的区间估计 在实际运用中，经常考虑回归系数的区间估计，由公式：1、区间估计的统计量：2、概率度公式：3、区间估计 1)2(/2211ntL

17、Pxx概率度为：有),(211xxL)2(/211ntLtxx),121211xxxxLtLt（的置信区间：的置信度为取得回归的性质 ),()1,()(11,0(211220022LxxLxxxnLxxxxneii回归方程预测与控制1、单值预测：2、区间预测：1）、因变量新值的区间估计：2）、因变量新值的平均值的区间估计)()(1(1)2(22020 xxxxnSnty称为单值预测时有预测值：当由：00100010,yxyxxxyii），预测区间为：（的值预测因变量平均值如果用自变量00yEx)()(1()2(22020 xxxxnSnty培训大纲培训大纲一、基础知识一、基础知识二、一元线性回

18、归模型二、一元线性回归模型三、拟合优度检验三、拟合优度检验四、四、F F检验检验五、五、t t检验检验六、六、SASSAS示例示例一元线性回归模型一元线性回归模型 例 一个10户居民的可支配收入(百元)与消费支出(百元)的统计资料按升序排列入下表（相关表）：消费支出 15 20 30 40 42 53 60 65 70 78 可支配收入 18 25 45 60 62 75 88 92 99 98010203040506070809018254560627588929998可支配收入消费支出9878.06.78311.41344.5620r一元线性回归模型一元线性回归模型 在上述收入-消费例中，

19、经济理论认为居民消费支出是可支配收入的函数，即可支配收入(X)的变化是消费支出(Y)变化的原因，因此，可得如下回归模型：Y=-0.208+0.718 XY=-0.208+0.718 X从回归模型可知：居民每增加1元的可支配收入，将增加0.718元用于消费支出。因此，如果估计其中一位居民可支配收入提高到100元，则可预测其消费支出将上升到71.556元。一元线性回归模型一元线性回归模型拟合优度为：r2=1-100.58/413.1=0.975791.172t显著性检验：在显著性水平=5%，自由度=10-2=8下，t 统计量的临界值=2.306判断：可支配收入前的参数2是显著不为零的，说明可支配收

20、入可以作为消费支出的一个重要的解释变量。F=320.81F=320.81在5%显著性水平下，自由度为（1，8）的临界值为5.32。因此，可支配收入与消费支出的线性关系是显著的。一元线性回归模型一元线性回归模型SAS代码示例代码示例:data reg1;input y x;cards;15 18 20 25 30 45 40 60 42 62 53 75 60 88 65 92 70 99 78 98;proc means n cv max min range sum mean std css;proc corr data=reg1;proc reg data=reg1;model y=x;ru

21、n;一元线性回归模型一元线性回归模型SAS代码示例代码示例:data reg1;input y x;cards;15 18 20 25 30 45 40 60 42 62 53 75 60 88 65 92 70 99 78 98;proc means n cv max min range sum mean std css;proc corr data=reg1;proc reg data=reg1;model y=x;run;Anscombe dataX XY Y X XY Y X XY Y 44.2643.186.5855.6854.7485.7667.2466.1387.7174.827

22、7.2688.8486.9588.1488.4798.8198.7787.04108.04109.1485.25118.33119.2685.561210.84129.1387.91137.58138.7486.89149.96148.11912.5y=3.00+0.500 x第一组第一组第二组第二组第三组第三组r3=0.8164y=3.00+0.500 xr1=0.8164r2=0.8164y=3.00+0.500 xAnscombe datadata reg2;input x1 y1 x2 y2 x3 y3;cards;4 4.26 4 3.1 8 6.585 5.68 5 4.74 8

23、5.766 7.24 6 6.13 8 7.717 4.82 7 7.26 8 8.848 6.95 8 8.14 8 8.479 8.81 9 8.77 8 7.0410 8.04 10 9.14 8 5.2511 8.33 11 9.26 8 5.5612 10.84 12 9.13 8 7.9113 7.58 13 8.74 8 6.8914 9.96 14 8.1 19 12.5;proc plot vpercent=40 hpercent=30;plot y1*x1/vref=0;plot y2*x2/vref=0;plot y3*x3/vref=0;run;散点图示例:Anscom

24、be datadata reg2;input x1 y1 x2 y2 x3 y3;cards;4 4.26 4 3.1 8 6.585 5.68 5 4.74 8 5.766 7.24 6 6.13 8 7.717 4.82 7 7.26 8 8.848 6.95 8 8.14 8 8.479 8.81 9 8.77 8 7.0410 8.04 10 9.14 8 5.2511 8.33 11 9.26 8 5.5612 10.84 12 9.13 8 7.9113 7.58 13 8.74 8 6.8914 9.96 14 8.1 19 12.5;proc corr data=reg2;proc reg data=reg2;model y1=x1;proc reg data=reg2;model y2=x2;proc reg data=reg2;model y3=x3;run;推荐书籍：54 结束语结束语