数据挖掘技术与应用-回归分析预测模型课件.pptx

1、 技术培训-数据挖掘技术与应用回归分析预测模型1 回归分析预测模型回归分析预测模型v1.1 一元线性回归预测模型一元线性回归预测模型 v1.2 多元线性回归预测模型多元线性回归预测模型 v1.3 非线性回归预测模型非线性回归预测模型 1.1 一元线性回归预测模型一元线性回归预测模型u一元回归公式一元回归公式u以影响预测的各因素作为自变量或解释变量x和因变量或被解释变量y有如下关系：u u称为一元线性回归模型(One Variable Linear Regression Model)，其中：u是一个随机变量称为随机项；a,b是两个常数，称为回归系数（参数）；i表示变量的第i个观察值，共有n组样本

2、观察值。1,2,.,iiiyabxuin1.1 一元线性回归预测模型一元线性回归预测模型u参数的最小二乘估计参数的最小二乘估计u相应于yi的估计值，与yi之差称为估计误差或残差，以表示，。显然，误差的大小是衡量估计量好坏的重要标志。我们以误差平方和最小作为衡量总误差最小的准则，并依据这一准则对参数a,b作出估计。令：222111()()nnniiiiiiiiyyyabx1.1 一元线性回归预测模型一元线性回归预测模型u参数的最小二乘估计参数的最小二乘估计u使Q达到最小以估计出的方法称为最小二乘法(Method of Least-Squares)。由多元微分学可知，使Q达到最小的参数的的最小二乘

3、估计量（Least-Squares Estimator of Regression Coefficient）必须满足：niiiiniiixxbaybQxbayaQ110)(20)(2（i i=1,2,=1,2,n n）1.1 一元线性回归预测模型一元线性回归预测模型u参数的最小二乘估计参数的最小二乘估计u解上述方程组得11122111()nnniiiiiiiinnniiiiiix yxyx ynxybxxxxx aybx1.1 一元线性回归预测模型一元线性回归预测模型u参数的最小二乘估计参数的最小二乘估计u解上述方程组得11122111()nnniiiiiiiinnniiiiiix yxyx

4、ynxybxxxxx aybx其中其中 niixnx11niiyny111.1 一元线性回归预测模型一元线性回归预测模型u参数的最小二乘估计参数的最小二乘估计u若令niixxxxl12)(niiyyyyl12)()(1yyxxliniixy则上式可以写成则上式可以写成 xxxyllbxbya1.1 一元线性回归预测模型一元线性回归预测模型u相关性检验相关性检验u 一般情况下，在一元线性回归时，用相关性检验较好，相关系数R(Sample Correlation Coefficient)是描述变量x与y之间线性关系密切程度的一个数量指标。yyxxxyniiniiniiilllynyxnxyxnyx

5、R1221221（1 1 R R 1 1）1.1 一元线性回归预测模型一元线性回归预测模型u相关性检验相关性检验u查相关系数临界值表,若R R(n2)，则线性相关关系显著，通过检验，可以进行预测；反之，没有通过检验，该一元回归方程不可以作为预测模型。1.1 一元线性回归预测模型一元线性回归预测模型u应用回归方程进行预测应用回归方程进行预测u1.预测值的点估计u当方程通过检验后，由已经求出的回归方程和给定的某一个解释变量x0，可以求出此条件下的点预测值，输入x0的值，则预测值为。1.1 一元线性回归预测模型一元线性回归预测模型u2.区间估计u为估计预测风险和给出置信水平（Confidence L

6、evel），应继续做区间估计（Interval Estimation），也就是在一定的显著性水平下，求出置信区间（Confidence Region），即求出一个正实数，使得实测值y0以的概率落在区间 内，满足 P =。00(,)yy00(,)yy1.1 一元线性回归预测模型一元线性回归预测模型u2.区间估计u由于预测值和实际值都服从正态分布，从而预测误差u 也服从正态分布，从正态分布，202()1(2)1xxxxtnnl()/2yyxylb ln 求出 后将得出结论：在的概率下，预测范围为00(,)yy。00yy1.1 一元线性回归预测模型一元线性回归预测模型u一元线性回归模型实例一元线性回

7、归模型实例u下表给出的是1991-2002年某城市的水路货运量，下面将根据此表数据建立一元线性回归模型并对2002年以后的水路货运量进行预测。1.1 一元线性回归预测模型一元线性回归预测模型序号序号xi年份年份水路货运量水路货运量yi1199116592199219893199321954199422555199523296199623757199723648199823549199924181020002534112001256812200228351.1 一元线性回归预测模型一元线性回归预测模型u计算计算,x y5.6)121110987654321(12111niixnx2323)283

8、525682534241823542364237523292255219519891659(12111niiyny1.1 一元线性回归预测模型一元线性回归预测模型u分别计算分别计算lxx，lyy，lxy21()30.2520.25 12.256.252.250.252.256.25 12.2520.2530.25143nxxiilxx21()440896 111556 163844624362704 1681 961 90254452160025262144954557nyyiilyy1.1 一元线性回归预测模型一元线性回归预测模型u分别计算分别计算lxx，lyy，lxy5.106992816

9、5.11025.7385.2375.465.20269170448150336525125.52455.42115.3955.2315.1415.052)5.0(6)5.1()68()5.2()128()5.3()334()5.4()664()5.5()(1yyxxliniixy1.1 一元线性回归预测模型一元线性回归预测模型u计算系数计算系数所以此预测模型为 =1836.657+74.822x ,a b822.741435.10699xxxyllb657.18365.6822.742323xbyayabx1.1 一元线性回归预测模型一元线性回归预测模型u 1991-2002年某市水路货运量一

10、元回归计算过程 x)(xxi2)(xxiy)(yyi2)(yyi序号序号xi年份年份水路货运量水路货运量yi119916.5-5.530.2516592323-664440896219926.5-4.520.2519892323-334111556319936.5-3.512.2521952323-12816384419946.5-2.56.2522552323-684624519956.5-1.52.2523292323636619966.5-0.50.2523752323522704719976.50.50.2523642323411681819986.51.52.252354232331

11、961919996.52.56.25241823239590251020006.53.512.2525342323211445211120016.54.520.2525682323245600251220026.55.530.25283523235122621441.1 一元线性回归预测模型一元线性回归预测模型u一元线性回归方程的相关性检验一元线性回归方程的相关性检验 相关系数相关系数 10699.50.9158143 954557xyxx yylRl l因为相关系数因为相关系数R R=0.9158=0.9158，接近，接近+1+1，属于正相关，属于正相关，所以可以认为所以可以认为x x和和y

12、 y之间存在显著的线性关系。之间存在显著的线性关系。1.1 一元线性回归预测模型一元线性回归预测模型u预测分析预测分析 根据上面所求的一元线性预测模型根据上面所求的一元线性预测模型 y y=1836.657+74.822=1836.657+74.822x x，如果要预测如果要预测20042004年货运量的点估计值和区间估计值，年货运量的点估计值和区间估计值，将将x x=14=14带入公式，得：带入公式，得：Y Y2004=1836.657+74.8222004=1836.657+74.822x x14=1836.657+74.82214=1836.657+74.82214=288414=288

13、4（四舍五入结（四舍五入结果）果）Y Y2004 2004 的的95%95%的估计区间：的估计区间：0963.124)212/()5.10699822.74954557(2/)(nlblxyyy1.2 多元线性回归预测模型多元线性回归预测模型u对多元线性回归模型（Multivariate Linear Regression Model）的基本假设是在对一元线性回归模型的基本假设基础之上，还要求所有自变量彼此线性无关，这样随机抽取n组样本观察值就可以进行参数估计。u多元回归公式多元回归公式 01 122.1,2,.,ikkiybb xb xb xuin1.2 多元线性回归预测模型多元线性回归预测

14、模型u参数的最小二乘估计 1 122ioiikkiybb xb xb x12,okb b bb21 1221()nioiikkiiQybb xb xb x对应的样本回归模型为：利用最小二乘法求参数估计量设残差平方和为Q则要达到最小。（i=1,2,n）由偏微分知识可知：由偏微分知识可知：1.2 多元线性回归预测模型多元线性回归预测模型u由偏微分知识可知：1 122101 12212()02()0nioiikkiinioiikkikiikQybb xb xb xbQybb xb xb xxb 1.2 多元线性回归预测模型多元线性回归预测模型u 经整理，写成矩阵形式，得到1()()()TTTTxBy

15、x x Bx yBx xx y其中，knnnkkxxxxxxxxxx2122212121111.11nyyyy2101kbbBbxT 为x 的转置矩阵。1.2 多元线性回归预测模型多元线性回归预测模型u多元线性回归模型的检验多元线性回归模型的检验 TSS：表示观察值yi与其平均值的总离差平方和。niiyy12)(ESS：21()niiyy 表示由回归方程中x的变化而引起的称为回归平方和。RSS：为TSS-ESS=21()niiiyy 表示不能用回归方程解释的部分，是由其他未能控制的随机干扰因素引起的残差平方和。1.2 多元线性回归预测模型多元线性回归预测模型u拟合优度检验拟合优度R2(Good

16、ness of Fit)：R2=ESS/TSS（0R21）。拟合优度是衡量回归平方和在总离差平方和中所占的比重大小。比重越大线性回归效果越好，也就是R2越接近1，回归直线与样本观察值拟合的越好。拟合优度也称为决定系数或相关系数。拟合优度的修正值 11)1(122mnnRRm为自变量个数，nm1为RSS的自由度，n1为TSS的自由度。，其中n为样本总数1.2 多元线性回归预测模型多元线性回归预测模型uF检验在多元线性回归模型中，所得回归方程的显著性检验（F检验）是指回归系数总体的回归显著性。F检验的步骤为：1）假设H0：b1=b2=bk=0，备择假设：H1：bj不全为零（j=1,2,k）；2）计

17、算构造统计量 1knRSSkESSF（n为样本总数，k为自变量个数）；3）给定显著性水平，确定临界值F(k,nk1)；4）把F与F(k,nk1)相比较，若FF(k,nk1)则认为回归方程有显著意义，否则，判定回归方程预测不显著。1.2 多元线性回归预测模型多元线性回归预测模型u t检验检验 对引入回归方程的自变量逐个的进行显著性检验的过程，称为回归系数的显著性检验(t-test or Student-Test)，t检验的步骤为：1）假设H0：bi=0，备择假设H1：bi0（i=1,2,n）；2）计算统计量|Ti|2111()()1iinTiiiiibTyyx xnk2(1)tnk)1(2 kn

18、t)1(2kntib3）给定显著性水平，确定临界值 ；4）|Ti|与比较也就是统计量与临界值比较。若|Ti|，则认为回归系数 与零有显著差异，必须保留xi 在原回归方程中；否则应去掉xi 重新建立回归方程。1.2 多元线性回归预测模型多元线性回归预测模型u1.预测值的点估计预测值的点估计u2.区间估计区间估计 当方程通过检验后，由已经求出的回归方程和给定的解释变量X0=（x01,x02,x0k），可以求出此条件下的点预测值，输入X0 的值，则预测值 。1012020iokkybb xb xb x为估计预测风险和给出置信水平，应继续做区间估计，也就是在一定的显著性水平下，求出置信区间，即求出一个

19、正实数，使得实测值y0以的概率落在区间 00(,)yy内，满足P 00(,)yy=，其中 1002(1)1()TTtnmXXXX1/mnRSS，1.3 非线性回归预测模型非线性回归预测模型u在许多实际问题中，不少经济变量之间的关系为非线性的，可以通过变量代换把本来应该用非线性回归处理的问题近似转化为线性回归问题，再进行分析预测。u下表列举的是五种常见的非线性形式及线性变换的方式，这些非线性模型都可转化为一元或多元线性模型，利用前面介绍过的一元和多元线性回归模型的最小二乘法求出参数估计、模型的拟合优度和显著性检验及评价预测模型的预测精度等。1.3 非线性回归预测模型非线性回归预测模型u五种常见的非线性模型及线性变换的方式五种常见的非线性模型及线性变换的方式 幂函数形式幂函数形式y=a xby=log(y)x=log(x)a=log(a)y=a+b x双曲线形式双曲线形式1/y=a+b(1/x)y=1/yx=1/xy=a+b x对数函数形式对数函数形式y=a+b log(x)x=log(x)y=a+b x指数函数形式指数函数形式y=a ebxy=ln(y)a=ln(a)y=a+b x多项式曲线形式多项式曲线形式y=b0+b1x+b2x2+bkxkx1=x,x2=x2 xk=xky=b0+b1x1+b2x2+bkxk