FINTS第四章线性ARMA模型-课件.ppt

1、第四章：线性时间序列分析及其应用学习目标 简单滑动平均(MA)模型 简单自回归(AR)模型 混合自回归滑动平均(ARMA)模型平稳时间序列n几个重要的平稳过程和模型n白噪声过程nMA过程nAR过程nARMA过程n平稳过程的参数n自协方差和自相关函数n偏自相关函数4.1白噪声和线性时间序列白噪声和线性时间序列随机过程满足1）E(t)=0，对所有t2）E(t2)=2 对所有t3）E(ts)=0,对任意ts，或Cov(t,s)=0弱白噪声随机过程（Weakly white noise process），简称白噪声。记为），简称白噪声。记为 tWN(0,2)白噪声过程4）不同时刻随机变量是相互独立的随

2、机变量，并且同分布称为独立白噪声，记为tI.I.D(0,2)如果再增加一个条件5）服从正态分布该过程为高斯白噪声（Gaussian white noise process）。线性时间序列时间序列rt称为线性时间序列，如果它能表示成当前和过去白噪声序列的加权线性组合，即这里，为白噪声 也表示时间序列在t时刻出现了的新的信息，即称为时刻t的新信息(innovation)(4.1)i称为 的 权重tr0iititrttt若 是平稳的，利用 的独立性，我们容易得到tr)(trE022,)var(iitr其中 是 的方差。由于)var(tr2i所以 必须是收敛序列，即当 时i02itr的间隔为 的自协方

3、差为l0200)(),cov(jljjjjltjiitilttlaaErr2tt因此，权重与 的自相关系数有如下关系：tr0,11200liiiliill其中，10对若平稳序列而言，当 时i,0i从而随着 的增加 收敛到0ll4.2 MA模型4.2.1MA模型介绍当（4.1）仅仅有有限个 权重为非零时，我们称之为滑动平均过程，即（4.2）我们称(4.2)为 MA(q)模型或者q阶滑动平均模型.qtqtttr11其中t 是白噪声过程.这里，和i,i=1,2,q称为参数或系数。注：q0 滑动平均模型滑动平均模型 1-阶滑动平均模型阶滑动平均模型 其中t 是白噪声过程.（4.2-1）11tttr和为

4、参数或系数。表达式（4.2-1）是1阶滑动平均模型，rt是1-阶滑动平均过程。用MA（1）表示例如rt=0.1+t0.3 t1MA(1)n另一种表达方式n本质是一个只包括常数项的回归模型，但残差存在自相关。容易知道MA(1)存在一阶自相关。11tttttuurq-阶滑动平均模型阶滑动平均模型和过程下面是几个MA模型Yt=0.1+t0.2 t1 0.1 t2Yt=0.1+t0.3 t1 0.21 t2 0.1 t3Yt=0.1+t0.3 t44.2-2 MA模型的性质MA(1)模型MA(q)模型2212212)1()var(tr2221)1()var(qtrqtqtttr1111tttr自相关函

5、数自相关函数MA(1)模型：为简单起见，假定对两端乘以 ，我们有,0ltr1l0l当 时，注意到,)1()var(221tr我们有)1(0,1,121110llMA(1)模型在间隔为1以后的是截尾的2121111111),cov()(),cov(ttttttttrrErrMA(2)模型自协方差函数自相关系数是2211ttttr)2(0,1,122212222212111llMA(2)模型在间隔为2以后的是截尾的,)(22111e,222e)2(0 llMA(q)模型自相关系数qtqtttr11qkforqkforqqkqkkkk0,2,112212211MA(q)模型在间隔为q步以后的是截尾的

6、，MA(q)模型具有有限记忆性MA过程ACF图基本结论MA(q)过程的自相关函数q步截尾练习题n1.证明 MA(q)过程自相关函数应满足的关系式n2.计算 的自相关函数。43215.05.03.06.0ttttttr4.2-3识别MA模型的阶 自相关函数是识别MA模型的阶的有用工具。如果时 间序列具有自相关函数 ，若 ，但对l0l0qql 有 ，则 服从一个MA(q)模型tr4.2-4用MA模型预测MA(1)过程的向前一步预测，由模型知hhhr111取条件期望我们有11)1()1(hhhhrre向前一步预测误差的方差为2)1(varahehhhhFrEr11)|()1(MA(1)过程的向前二步

7、预测，由模型知我们有1122)2()2(hhhhhrre221)1()2(varehe向前二步预测误差的方差为上面的结果表明MA(1)的向前两步预测即是模型的无条件均值1122hhhr)|()2(2hhhFrEr类似地对MA(2)模型，我们有2211ttttr121)1(hhhrhhhhFrEr22)|()2(这样，MA(2)模型的向前两步以后的预测即达到序列的均值2,)(llrh一般地，对于一个MA(q)模型，向前q步以后的预测就达到了模型的均值4.3 自回归模型自回归模型Autoregressive Model 其中 t 是白噪声过程。，表达式(4.3)是P-阶自回归模型rt 为p-阶自回

8、归过程,表示为AR(p)是未知参数或系数。(4.3)tptpttrrr1100pp,10AR(1)过程tttrr110（4.3-1）21201)var(tr121因方差非负，要求（4.3-1）定义的AR（1）模型是平稳的充分必要条件是1|1在平稳性条件下101)(trE注意到 与 独立，t1tr（4.3-2）AR(1)模型的自相关函数 进一步有递推式：0011211lllel,11ll因 ，故10ll1这个性质表明弱平稳AR(1)序列的自相关函数从 开始以比率为 的指数速度衰减。101由（4.3-2），我们有tttrr)(11自协方差函数自相关函数0lAR(1)参数t=0.1+0.5t-1+t

9、 t=0.1-0.5t-1+t=0.1/(1-0.5)=0.2 =0.1/(1+0.5)j=0.5j j=(-0.5)j AR(2)模型ttttrrr221100,2211llll两边乘以 导致自相关协方差函数满足这个结果称为平稳AR(2)模型的矩方程2101)(trE均值函数满足,)1(210利用AR(2)模型可以写为ttttrrr)()(2211ltr上面的结果表明平稳AR(2)序列的ACF满足二阶差分方程,2211lll0)1(221lBB其中，B是向后推移（延迟，滞后）算子，即平稳AR(2)模型的自相关系数函数满足2111,101l1llB有时用L表示延迟算子，如1ttrLr与前面的差

10、分方程对应的是二次(特征)多项式 时间序列文献中称这两个解的倒数为AR(2)模型的特征根01221xx这个方程的解是2221124x平稳性平稳性：AR(2)时间序列的平稳性条件是它的两个特征根的模都小于1对应对应AR(1)模型模型:.011x特征根为,/11xtttrr110从而 是平稳的，我们有tr1|1AR(2)模型的平稳性要求模型的平稳性要求 ，其中，其中2221124x1|/1|x这导致，,121,121及,1|2特征多项是AR(p)模型称之该AR(p)模型的特征方程。AR(p)模型的平稳性条件：模型的平稳性条件：上述方程的所有解的模都大于1。由于解的倒数为该模型的特征根。因此，平稳性

11、要求所有特征根的模都小于1。均值函数ptrE2101)(tptpttrrr110模型对应的多项式方程为01221ppxxx特征方程也可以表示用 代替x,10)(2211ppppp这时，如果特征方程的根在单位圆内模型满足平稳条件用滞后算子表示平稳AR(p)模型tptpttrrr110为ttrL0)(ppLLLL2211)(其中，为滞后算子多项式。1,)()(00101iitittLLr即AR(p)模型可以表示成MA()模型.注意到滞后算子的等式LLLLppp11)1)(.1(如果用“1”表示恒等算子，有,1)1(lim)1)(.1(lim1LLLLppppp其中.1|).1(lim)1(1ppp

12、LLL记：因此得到了逆算子的表达式，这类似于以滞后变量为变量的函数表达式。在形式上逆算子可以表达为11)1(jjjLLAR(p)模型的参数特点 用后退算子表示自协方差函数为 自相关函数：0)1(221lppBBBplplll2211,3,2,1lplplll2211222110pp,3,2,1l,0)1(221lppBBB即0l练习题3.推导AR(p)模型的参数特征公式4.P177-178,4,9滞后算子滞后算子滞后算子(Lag operators)或延迟算子或延迟算子（Backshift）滞后算子，用滞后算子，用L表示。有的书上称为延迟算表示。有的书上称为延迟算子，用子，用B表示表示 LYt

13、=Yt-1 滞后算子(1)L(LYt)=L(Yt-1)=Yt-2,记为L2Yt=Yt-2,一般的Lk Yt=Yt-k(2)与乘法可交换L(a Yt)=a(LYt)(3)加法可分配L(Yt+Xt)=LYt+L Xt(4)对常数列的运算等于他自身Lc=c(5)1Yt=Yt(6)(1-L)-1=1+L+2L2+kLk 当|p那么估计的偏相关系数近似服从正态分布N（0，1/T）所以近似5%显著水平下，如果-2/T1/2*k p成立 定阶1根据样本自相关函数和样本偏相关函数定阶根据样本自相关函数和样本偏相关函数定阶一般要求样本长度大于50,才能有一定的精确程度。如果某个j之后，所有的样本自相关系数j在9

14、5置信区间内，则自相关函数截尾。适合建立MA模型；如果某个j后，所有样本偏自相关系数*j在95置信区间内，则偏自相关函数截尾。适合建立AR模型；否则都拖尾。适合建立ARMA模型。AIC和 BIC准则n评价模型的优劣准则TyyTitt12)(minAIC和BIC准则n对自由度进行调整nk是模型中未知参数的个数,et是估计出的误差 nAkaikes information criterion赤池赤池Schwartz Bayesian information criterion(SBC,SC,BIC)施瓦兹施瓦兹 TeTBICTeTkAICTttTkTtt12/12)/2exp(定阶：AIC准则和准

15、则和BIC准则准则不同的书对AIC和BIC使用不同的变形。经常使用的有两种 AIC（p，q）=ln()+2(p+q)/TBIC（p，q）=ln()+(p+q)ln(T)/TT样本长度，如果有常数项p+q被p+q+1代替，ln表示自然对数。在ARMA模型中需要选择p和q，所以用p+q代替k。是对噪声项方差的估计22TeTtt122定阶：AIC准则和准则和BIC准则准则AIC（p，q）=2lnL/T+2(p+q)/TBIC（p，q）=-2lnL/T+(p+q)ln(T)/TLnL是模型的对数似然函数值Q是与参数无关的量。因为我们只关心使得AIC或BIC最小的值，所以忽略Q.带入对数似然函数表达式中

16、，可以发现与前面的AIC和BIC的表达是一致的。QTL)ln(2ln2AIC和BIC判断步骤（1）给定滞后长度的上限P和Q，一般取为T/10，Ln(T)，,或根据样本ACF和样本PACF判断。（2）假设样本区间1,T,把样本区间修改到p+1,T。（3）对任意一对滞后长度p=0，1，P，q=0，1，Q，分别估计模型ARMA（p，q）（4）代入上面的公式，计算出AIC(p，q)和BIC(p，q)（5）最小值对应的p，q值作为ARMA模型的阶数。T用AIC和BIC准则确定阶数AIC准则-MA(1)q 0 1 2 3P 0 -7.415 -7.455 -7.426 -7.373 1 -7.39 -7.

17、395 -7.422 -7.272 2 -7.433 -7.383 -7.174 -7.221 用AIC和BIC准则确定阶数BIC-白噪声 q 0 1 2 3P 0 -7.415 -7.411 -7.338 -7.239 1 -7.346 -7.251 -6.998 -7.001 2 -7.345 -7.251 -6.998 -7.001 AIC和BIC准则选择滞后长度存在以下缺陷：1）选择不同的准则具有主观任意性。不同准则得出矛盾的结论。BIC准则的大样本性质比AIC好，但是有限样本情况下很难比较AIC和BIC的优劣。在实际确定阶数时，不是一定选择AIC,BIC最小的，还有考虑模型的简洁和残

18、差是否是白噪声。2）选择方法是确定一个滞后长度的上限P和Q，如果实际的滞后长度大于P或Q，那我们就得不到正确的滞后长度。极大似然估计:以AR(1)为例t=c+t-1+t 假设 i.i.d.N(0,2)估计:=(c,2)已知:y1,y2,yTE(1)=c/(1-)E(1-)2=2/(1-2)极大似然估计当1的观测已知时，2的条件分布2=c+1+2（2|1=y1）N(c+y1,2)1/(2)1/(exp)1/(21);(22212211cyyfY2)(exp21),|(2212212|12ycyyyfYY极大似然估计Y1,Y2的联合分布密度函数，是条件密度和边际密度相乘f2，Y1(y2，y1;)=

19、f2|Y1(y2|y1;)f1(y1;)类似的，已知y1,y2，3的条件分布 2)(exp21);|();,|(2223223|123,|23123ycyyyfyyyfYYYYY极大似然估计三者的联合分布f3，2，Y1(y3，y2，y1;)=f3|Y2，Y1(y3|y2，y1;)f2|Y1(y2|y1;)f1(y1;)一般给定y1,y2,yt-1，t的条件分布只和yt-1有关 2)(exp212212ttycy极大似然估计ft,Yt-1，,Y1(yt,yt-1，,y1;)=f1(y1;)ft|Yt-1(yt|yt-1;)Tt 22221222212121)1log(212)()log(2)2l

20、og(2)(cyycyTTlTtttTtttTttycyTTTT2221222222)()log(21)2log(212)()log(21)2log(210,0,02llcl估计：满足下面的条件的解求解未知参数的方程是非线性的，如果只关心（2，T）的条件联合分布，得到条件极大似然函数。极大似然估计极大似然估计假设观测值是y0,y-1,y-P+1,y1,yT假设01=q+1=0以初始值y0,y-1,y-P+1和0，1，q+1为条件，对t1，2，T，对数条件似然函数是 使用对数条件似然函数对每个未知参数求一阶导数，令其等于0，这时方程组是线性方程组，易于求解。TttTTl12222)log(2)2

21、log(2)(模型的检验检验残差是否是白噪声过程1）画出残差的折线图2）画出残差的ACF,PACF3)计算统计量QBox-Pierce Q-检验Ljung and Box mkkTQ12mkkKTTTQ121)()2(检验Q检验1）m主观给定，一般在15到30之间，可令m=T1/22）H0：t是白噪声过程3)当零假设成立时，统计量Q渐进(asymptotically distributed)服从2（m-p-q），如果模型中包括常数项，那么Q渐进服从2（m-1-p-q）4）Q检验的缺陷是，经常不能拒绝零假设。把不是白噪声时，也误认为是白噪声。检验Q检验图示真实临界值计算值卡方分布临界检验练习例m

22、=6，模型中有常数项，考虑下面的几个模型，那个模型是合格的模型？给出其它几个模型Q检验统计量的自由度。(p+q)Q 自由度 P-value(1,0)15.92 6-1-0-1 0.019(2,0)11.82 0.249(0,1)4.12 0.139(0,2)6.94 0.21(1,1)7.94 0.047模型选择一个好模型满足的条件n每个解释变量都显著不等于0.n残差是白噪声过程n具有最小的AIC或BIC值练习：从下面的几个模型中选择一个最优模型 AR(1)AR(2)AR(3)ARMA(1,1)MA(2)1 0.17 0.21 0.3 0.19 (0.0000)(0.0004)(0.002)(

23、0.0024)2 0.06 0.04 (0.0005)(0.003)3 0.0005 (0.44)1 0.05 0.48 (0.0007)(0.0034)2 0.06 (0.009)AIC 607.3 592.5 615 598.4 609.5 BIC 609.9 594.3 607 593.6 612.6Q(8)P-值值 0.0000 0.567 0.66 0.6958 0.003Q(16)P-值值 0.000 0.4241 0.78 0.8927 0.005预测基本概念事前预测，事后预测，模拟预测假设收集到N个数据，使用1到T来估计模型.对N时刻以后预测事前预测；对T到N预测事后预测或样本

24、外预测；对1到T之间的预测是模拟，或拟和。1TN预测基本概念h步预测：预测变量YT+h的取值，h0，称为h-步预测假设时刻T之前的所有数值YT,YT-1,Y1预测估计量：用 表示基于T时刻之前的观测对YT+h的预测预测误差估计量：预测均方误差 ，记为MSE()(hYT)()(hYYheThTT)(2heET)(hYT预测最优预测：选择合适的函数形式，使得预测均方误差最小的预测是最优预测。可以证明求YT+h基于YT,YT-1,，Y1，的条件期望是使均方误差最小的预测，条件期望表示为：E（YT+h|YT,YT-1,，Y1）=)(hYT预测值的计算 t=c+1t-1+2t-2+pt-p+n不可能知道

25、T时刻前的所有观测，观测值是YT,YT-1,Y1，所以是近似预测。n假设参数已知，实际只能用估计的参数代替真实参数。n预测是递推进行qtqtt11预测值的计算1步预测2步预测1111.0.)1(qTqTpTpTTYYcY111111.qTqTTpTpTTYYcY221122112.qTqTTTpTpTTYYcY2221.00.)1()2(qTqTpTpTTYYcY预测值的计算一般预测公式hqTqThTpTTphYhYchY.)(.)1()(10,)(phYphYphTT0,0qhqhT预测值的计算AR（1）模型的h步预测 t=c+t-1+tTTYcY)1()1()2(TTYcYTTYccY2)

26、2()1()(hYchYTTThhTYccchY1.)(预测值的计算MA(q)模型的h步预测 qtqtttY11qTqTTY.)1(1qTqTTY.)2(2TqTqY)()1(qYT预测值的计算计算残差的估计值，假设0,1,-q+1=0 根据下面的公式递推计算：qtqtttY11预测值的计算ARMA（1，1）模型的预测t=c+1Y t-1+t+1t-1 TTTYcY)1(11)1()2(TTYcY)1()(hYchYTTThThhTYccchY.)(111111预测值的计算残差的计算与MA模型类似，以ARMA(1,1)为例。1=1-c-1Y0-10假设0=0，0已知。所以实际用的数据个数为T+

27、1个；如果0未知，用样本均值代替。2=2-c-1Y1-11T=T-c-1Y T-1-1 T-1ARIMA模型预测nARIMA(0,1,1)TTTTTTThThThThThThThThTttYYYYYYYYYLY)1()2()1()1(1111预测置信区间ARMA模型表示成MA（）模型t-=t+1t-1+2t-2+h步预测是在基于T时刻前的信息求条件期望，结果如下：预测误差：.)(ThThY1111.)(ThhThTThe221212).1()(hTheE预测方差n一步预测方差等于残差的方差。n预测方差随着预测步长的增加越来越大。n预测方差趋于Y的无条件方差预测的置信区间预测的置信区间95置信水

28、平下，h步预测的置信区间，假设服从正态分布).1(96.1)(2/12121hThY预测的评价 1）均方根误差2）均方误差3)绝对预测误差百分率平均值4)建立回归模型，如果预测准确截距等于0，斜率等于121)(1mifiiyymMSE21)(1mifiiyymRMSEmiifiiyyymMAPE1/|1ubyayftt预测的评价（5）平均预测误差（6）平均绝对预测误差（7）均方根预测误差百分率)(11mifiiyymME|11mifiiyymMAE21)(1miifiiyyym预测的评价评价预测效果可以根据前面介绍的7个指标，预测误差越小，说明预测越精确。得到多个1步预测的方法有:静态预测，滚

29、动预测和递推预测。假设收集到数据95：1：1到99：12：10。使用95：1：1到99：11：30估计模型，对99：12：199：12：10日的数据进行预测。静态预测在预测时，把99：12：1到99：12：9日的真实观测值带入预测公式即可。预测评价滚动预测是滚动估计区间，然后进行1步预测，递推预测是不断增加估计样本区间，然后进行1步预测，例如：预测 滚动估计样本范围 递推估计样本范围1 95：1：199：11：30 95：1：199：11：302 95：1：299：12：1 95：1：199：12：13 95：1：399：12：2 95：1：199：12：2对模型的评价总结n所有系数是否显著n残差是否是白噪声n预测是否准确n是否有大的拟和优度和小的AIC或BICn是否有更简单的模型n是否有直观意义和经济理论基础