时间序列分析-ARMA模型的参数估计-ppt课件.ppt

1、第六章第六章 ARMAARMA模型的参数估计模型的参数估计n第一节 AR(p)模型的参数估计n第二节 MA(q)模型的参数估计n第三节 ARMA(p,q)模型的参数估计n第四节 求和模型及季节模型的参数估计1ppt课件 第一节第一节. AR(p). AR(p)模型的参数估计模型的参数估计n目的：为观测数据建立AR(p)模型 (1.1) 假定自回归阶数p已知，考虑回归系数 和零均值白噪声 的方差 的估计。n数据 的预处理：如果样本均值不为零，需将它们中心化，即将它们都同时减去其样本均值 再对序列按(1.1)式的拟合方法进行拟合。 tptptttXXXX2211Tp),(1t2nxxx,21ntt

2、nxnx1/12ppt课件 n假定数据 适合于以下模型 (1.2)其中，p为给定的非负整数， 为未知参数，记 为系数参数， 为独立同分布序列，且 ， 与 独立，参数满足平稳性条件。nxxx,21nptXXXXtptpttt, 1,2211p,21Tp),(1t422, 0tttEEEt,tsxs3ppt课件 A. AR(p)A. AR(p)模型参数的模型参数的Yule-WalkerYule-Walker估计估计n对于AR(p)模型，自回归系数 由AR(p)序列的自协方差函数 通过Yule-Walker方程 唯一决定，白噪声方差 由 决定。ppppppaaarrrrrrrrrrrr2102120

3、111021prrr,102jpjjrr1024ppt课件 nAR(p)模型的自回归系数和白噪声方差的矩估计 就由样本Yule-Walker方程 (1.3) 和 (1.4) 决定。21,),(Tppppppprrrrrrrrrrrr2102120111021jpjjrr1025ppt课件 n令 则(1.3),(1.4)式可写为ppppppppprrrrrrrrrrrr,2121021201110bpppb6ppt课件 n实际应用中，对于较大的p,为了加快计算速度可采用如下的Levison递推方法 递推最后得到矩估计pkkjaaaaarrarrararjkkkkjkjkkjkjkjjkjjkkk

4、kkkkk,1)()1 (/1,1, 1, 11110111, 12,2122011102022,2,1 ,1,),(),(pTppppTpaaa7ppt课件上式是由求偏相关函数的公式：导出。kkkkkkkkkaaa21212111211118ppt课件 n定理1.1 如果AR(p)模型中的 是独立同分布的 ，则当 时(1) (2) 依分布收敛到p维正态分 布 。 t42), 0(tEWNn22,pjpjTppn),(11),(12pN09ppt课件 n注：用 表示 的第 元素时，可知 依分布收敛到 ，于是 的95%的渐近置信区间是 在实际问题中， 未知，可用 的 元素 代替 ，得到 的近似置

5、信区间jj,12pjj)(jjn), 0(, jjNj/96. 1,/96. 1,nnjjjjjjjj,12pjjjj,jj,j/96. 1,/96. 1,nnjjjjjj10ppt课件 B. AR(p)B. AR(p)模型参数的最小二乘估计模型参数的最小二乘估计n如果 是自回归系数 的估计，白噪声 的估计定义为 通常 为残差。n我们把能使 (1.6) 达到极小值的 称为 的最小二乘估计。p,21p,21jnjpxxxxpjpjjjj12211),(njpj1,npjptptttxxxxs122211)( 11ppt课件 n记 则 ，于是 的最小二乘估计为 即 ,21211121pnnnppp

6、pnppxxxxxxxxxxxxxyyyxyyxxxTTTTTTs)(yxxxTT1)()(inf)()(1yxxxxyyyssTTTT12ppt课件 n相应地，白噪声方差 的最小二乘估计 式中 为 的p个分量。nptptpttTTTTxxxpnpnspn121112)(1)(1)(1yxxxxyyy2p,21 13ppt课件 n定理1.2 设AR(p)模型中的白噪声 是独立同分布的， 是自回归系数 的最小二乘估计，则当 时，依分布收敛到p维正态分布 n注：对于较大的n，最小二乘估计和矩估计(Yule-Walker)估计的差别不大。t),( ,214ptEp,21n),(2211ppn),(1

7、2pN014ppt课件 .),/1(模型，有则对为最小二乘估计，估计，ker为记).(就称),1(/如果).1(是依概率有界的，记为就称,)|(|sup，使得存在正数,0任何是非零常数列，如果对是时间序列，：设1.1定义nnOARWalYulecOOcOMPMcpLLnpnpnnpnnnnnn15ppt课件 C. AR(P)C. AR(P)模型的极大似然估计模型的极大似然估计n假定模型AR(p)中的 为正态分布，则观测向量 的高斯似然函数为 相应的对数似然函数为 其中， 为 的协方差阵， 表示 的行列式，使得对数似然函数达到极大值的 和 称为 和 的极大似然估计。tTnnxxx),(x21 )

8、xx21exp(|)2(),|,(1212212nnTnnnnxxxL nnTnnnnxxxlxx21|21)2log(2),|,(121212 |nnTnxxx),(21n),|,(212nxxxl 2216ppt课件n从另一角度考虑：.)2ln(2,)(21)ln(2)(21)ln(2),(.)(21exp)2(),(,).21exp()2(,22121222121222112221是是常常数数其其中中为为相相应应的的对对数数似似然然可可定定义义的的似似然然函函数数于于是是可可得得基基于于有有联联合合密密度度函函数数服服从从正正态态分分布布，则则由由于于 pNccSpNcxxpNlxxLx

9、xnptpjjtjtnptpjjtjtpnnnpttpnnpt 17ppt课件 的的最最小小二二乘乘估估计计。的的最最小小值值点点，从从而而是是的的最最大大值值点点实实际际上上是是容容易易看看出出，是是常常数数这这里里，表表达达式式，得得到到将将上上式式代代入入于于是是，得得的的最最大大值值点点，解解方方程程为为求求)(),(.)(21)(ln2),(),().(10)(212),(),(200222242222SlccSSpNllSpnSpnll 18ppt课件 n注：当n充分大时，AR(p)模型参数的极大似然估计、最小二乘估计和矩估计(Yule-Walker估计)三者都非常接近，即三者渐近

10、相等，它们都可以作为AR(p)模型的参数估计，这是AR(p)模型的独有的优点。19ppt课件 n例1.1. 由下列AR(1)序列产生长度为n=300的样本，计算出前5个样本自协方差函数值为求参数的矩估计和最小二乘估计。(1) 参数 的矩估计 分别为将样本自协方差函数值代入得) 1 , 0(,5 . 01NXXtttt0123. 0,1773. 0,3886. 0,7771. 0,5419. 143210rrrrr21,21,11021011,/rrrr150. 1,504. 02120ppt课件 (2) 参数 的最小二乘估计 分别为21,21,074. 1,506. 02121ppt课件 n例

11、1.2 求AR(2)模型 参数 的估计，这里n=300, (1) AR(2)模型的矩估计为ttttXXX2211221,22110221202120221202011)(rrrrrrrrrrrrr,24. 0, 121) 1, 0(. .Ndi it22ppt课件 计算出的前5个样本协方差函数值为将其值代入上式得：(2) 最小二乘估计2705. 0,8060. 0,4362. 1,2171. 2,7888. 243210rrrrr922433. 0,318064. 0,047842. 1221939530. 0,328336. 0,071838. 122123ppt课件 n注：一般在求高阶AR

12、(p)模型参数的矩估计时，为了避免求高阶逆矩阵，可采用求偏相关函数的递推算法，求出 即为 的矩估计，将它们代入 的表达式可得 。ppppaaa,21p,212224ppt课件 D. AR(p)D. AR(p)模型的定阶模型的定阶1. 1. 偏相关函数的分析方法偏相关函数的分析方法n一个平稳序列是AR(p)序列当且仅当它的偏相关函数是p步截尾的。n如果 p步截尾：当 时， ； 而 ，就以 作为p的估计。,kkapk0,kka0, ppap 25ppt课件 n定理1.3 设 由 定义，如果AR(p)模型中的白噪声是独立同分布的， ，则对确定的kp,当 时， 依分布收敛到k维正态分布 。kjaaaa

13、aaarrarrarrajkkkkjkjkkjkjkjjkjjkkkjkjkjjkjjkkkk,2 , 1)1)()(1,1, 1, 1111111110111, 110111kkkkaaa,2,1 ,4tEn),(,2,2,1 ,1 ,kkkkkkkkaaaaaan),(12kN026ppt课件 n推论：在定理1.3的条件下，对kp, 依分布收敛到标准正态分布N(0,1)。n根据推论，对于AR(p)序列和kp，当样本量n比较大时， 以近似于0.95的概率落在区间 之内。于是对于某个固定的k，以 作为p的估计。 kkan,kkan,/96. 1 ,/96. 1nn1,/96. 1|:|sup,

14、kjnajpjj27ppt课件 n或者根据推论有如下的检验方法：对于某个正整数p, 显著地异于零，而 近似等于零,其满足 (或 )的个数占 的比例近似地为68.3%(或95.5%),则近似地认为 在p步截尾， 初步判定为AR(p)。 ppa,00,2,21, 1,ppppppaaanakk/1|,nakk/2|,pp 0,kkatX28ppt课件 n例1.3（例1.1续）使用样本偏相关函数对AR(p)的模型阶数作初步的判定。结果：取上限 ，样本自相关函数 呈拖尾状，而从15个偏相关函数来看,除 显著异于零之外，其余14个中绝对值不大于 的有10个，于是结论：初步判定为AR(1)模型。150pk

15、0577. 0300/1/1n%3 .68%43.7114/101 , 1 a29ppt课件 n前15个样本偏相关函数-0.20.00.20.40.6246810121430ppt课件 n例1.4（例1.2续）使用样本偏相关函数对AR(p)的模型阶数作初步的判定。结果：取上限 ，样本自相关函数 呈拖尾状，而从15个偏相关函数来看，除 显著异于零之外，其余14个中绝对值不大于 的有9个,于是结论：初步判定为AR(2)模型。2,21 , 1,aa150pk0577. 0300/1/1n%3 .68%2 .6913/931ppt课件 n前15个样本偏相关函数-0.4-0.20.00.20.40.60

16、.81.0246810121432ppt课件 2. 2. AICAIC准则方法准则方法( (A-Information Criterion)A-Information Criterion)n为了使拟合残差平方和 尽量小，而又不至于引入过多的虚假参数的估计，Akaike于1973年引入如下的准则函数，假定已有阶数p的上阶 ， AIC(k)的最小值点 (若不唯一，应取小的)称为AR(p)模型的AIC定阶，即)(s0P02, 1 , 0,2)(log)(PknkkkAICp )(min)(00kAICpAICPk33ppt课件 n具体步骤：1. 取定p=k时，根据数据 使用前一小节所提的任何一种参数

17、的估计方法，给出噪声方差 的估计 ；2. 再找出AIC取极小值时，所对应的阶数p.n注：AIC定阶并不相合，AIC定阶通常会对阶数略有高估。故在应用中，当样本量不是很大时，使用AIC定阶方法。nxxx,212234ppt课件 n为了克服AIC定阶的不相合性，可使用BIC准则方法。设 为AR序列，则BIC准则函数为 将此准则函数达到最小值的解 作为p的估计，就是BIC准则方法。n注： 1. 理论上已证明BIC准则的定阶具有相合性。 2. 当n不是很大时，用BIC定阶有时会低估阶数p，造成模型的较大失真，故在实际问题中，特别当样本量不是很大时,BIC的定阶效果并不如AIC定阶准则。tX02, 1

18、, 0,log)(log)(PknnkkkAICp 35ppt课件 n例1.5（例1.1续）n=300个观测，定阶。方法：观察偏相关函数，确定上界是P=10，对p=1,2,10分别解Yule-Walker方程得到 的Yuler-Walker估计，再对p=1,2,10分别计算出AIC和BIC函数，计算结果如下： p12345AIC(p)2.98392.99393.00383.00023.0050BIC(p)2.99963.02523.05083.06293.0834236ppt课件 结果：AIC(1)和BIC(1)分别是AIC和BIC函数的最小值。 结论：由AIC和BIC定阶可知阶数p=1.p6

19、78910AIC(P)3.01103.01733.02663.02833.0308BIC(P)3.10513.12713.15203.16943.187637ppt课件 nAIC函数图 2.982.993.003.013.023.033.0412345678910AICX138ppt课件 nBIC函数图2.953.003.053.103.153.2012345678910BICX139ppt课件 n例1.6 （例1.2续） n=300个观测，定阶。方法：观察偏相关函数，确定上界是P=10,对p=1,2,10分别求出 的估计，再对p=1,2,10，计算AIC和BIC函数，计算结果如下：p1234

20、5AIC(p)2.84702.72772.73682.72812.7377BIC(p)2.86272.75912.78382.79382.8161240ppt课件 结果：AIC(2)和BIC(2)分别是AIC和BIC函数的最小值。结论：由AIC和BIC定阶可知阶数p=2。 p678910AIC(p)2.74652.75672.75922.76272.7688BIC(p)2.84062.86652.88462.90382.925641ppt课件 nAICAIC函数图函数图 2.722.742.762.782.802.822.842.8612345678910AICX242ppt课件 nBIC函数

21、图2.752.802.852.902.9512345678910BICX243ppt课件 n例1.7：独立重复1000次实验，每次产生符合模型AR(4) 的300个观测，得到AIC和BIC定阶情况如下：12345678910AIC定阶052256741136129211411BIC定阶145559476720000, 2 , 1,18. 011. 037. 016. 14321tXXXXXtttttt44ppt课件 n在1000次模拟计算中AIC将阶数定为4的有674次，而BIC阶数定为4的有476次。BIC定阶对阶数低估的比率为51.5%n增大样本量n=1000，获得如下结果：1234567

22、8910AIC定阶0007391244537251218BIC定阶04199050000045ppt课件 nAIC定出的平均阶数是Avc(AIC)=4.593，BIC定出的平均阶数是Avc(BIC)=3.996，故对于较大的样本量有必要综合考虑AIC定阶和BIC定阶。46ppt课件 E. E. 拟合模型的检验拟合模型的检验 现有数据 ，欲判断它们是否符合以下模型式中 被假定为独立序列,且 与 独立。n原假设 ：数据 符合AR(p)。故在 成立时，下列序列 为独立序列 的一段样本值序列。nxxx,212, 1,2211pptXXXXtptpttt422, 0tttEEEtt,tsXs0Hnxxx

23、,210HnptXXXXptptttt, 1,2211t47ppt课件 n步骤：1. 首先，根据公式 计算出残差的样本自相关函数，2. 利用上一章关于独立序列的判别方法，判断 是否为独立序列的样本值3. 根据判断结果，如果接受它们为独立序列的样本值，则接受原假设，即接受 符合AR(p),否则，应当考虑采用新的模型拟合原始数据序列。2 , 1 , 0),(/)()(2 , 1 , 0,1)(01krrkpnrkkkpntkptptknp,1nxxx,2148ppt课件 n例1.8（例1.5续） 拟合后，给出残差头15个数据，有11个落在之间， 故不能否定原假设，即 符合AR(1)模型。299/1

24、 ,299/1%3 .68%33.7315/11nxxx,2149ppt课件 n残差的图形-4-202450100150200250300RESIDX150ppt课件 n残差的自相关函数-0.15-0.10-0.050.000.050.10246810121451ppt课件 n例1.9（例1.6续） 拟合后，给出残差头15个数据，有15个落在 之间，故不能否定原假设，即 符合AR(2)模型。298/96. 1 ,298/96. 1nxxx,2152ppt课件 n残差的图形-3-2-1012350100150200250300RESIDX253ppt课件 n残差的自相关函数-0.15-0.10-

25、0.050.000.050.100.15246810121454ppt课件 第二节第二节 滑动平均模型拟合滑动平均模型拟合n对于已给的时间序列数据 ，用MA(q)式的滑动平均模型去拟合它们，称为滑动平均模型拟合。n滑动平均模型拟合主要包括：(1) 判断滑动平均模型MA的阶数；(2) 估计模型的参数；(3) 对拟合模型进行检验。nxxx,2155ppt课件 一一. . 参数估计参数估计n假定数据序列 适合以下模型 (2.1)其中 为独立同分布的序列,且 ,q为给定的非负整数， 为未知参数，并满足可逆性条件。nxxx,21ntXqtqtttt,2 , 1,2211t22, 0ttEE4tETq),

26、(2156ppt课件 1. 1. 参数的矩估计方法参数的矩估计方法nMA(q)序列的自协方差函数与MA(q)的模型参数有如下公式： 故， 和 的矩估计 和 ，为 (2.2)kqikkiikqjjqkrr1201221)()1 (当22kqikkiikqjjqkrr1201221)()1 (当57ppt课件 (1) (1) 解析法解析法n对于阶数较低的MA(q)模型，例如MA(1)和MA(2)，可利用解析法求解。n对于MA(1)模型： , 和 满足 可得 和 的矩估计分别为11tttX122112210)1 (rr12)411 (2,411221022111r58ppt课件 n例4.11 由MA

27、(1)模型产生长度n=300的样本，计算出前两个样本自协方差函数值 ,由上述讨论) 1, 0(,5 . 01NXtttt487. 0,220. 110rr9776. 0,4979. 02159ppt课件 n对于MA(2)模型： , 其中 满足 可得 的估计为:当 时 221,2211ttttX22221121222120)()1 (rrr221,021)21(214121)21(2141212212222212222260ppt课件 当 时，从而可得，021)21(214121)21(21412122122222122222220222121,)1 (r61ppt课件 n例4.12 求MA(2

28、)模型的n=950的样本的参数 的矩估计。解：已知前三项的样本自相关函数分别为使用上述公式，可得到如下估计值) 1 , 0(,3 . 05 . 021NXttttt221,246. 0,221. 0,308. 1210r040. 1,4025. 0,3094. 021262ppt课件 (2). (2). 线性迭代算法线性迭代算法n将(2.2) 式表示为 (2.3)在可逆域内，给定 的初值,代入(2.3)式右边，得到一步迭代值 ，再将它们代入(2.3)式右边，得出(2.3)式左边的第二不迭代值 ，同法重复直到某步 ，kqikiiqjjkkqjjqkrrr112012021 ,)1 (1221),

29、(和Tq) 1 () 1 (2和)2()2(2和) 1() 1(2mm和63ppt课件 设有精度 ,当同时成立时，就停止迭代（否则继续迭代下去），以 作为 的矩估计。21,2221| )() 1(|, 2 , 1,| )() 1(|mmqjmmjj)()(2mm和2和64ppt课件 (3) (3) Newton- Newton- RaphsonRaphson 算法算法n优点：方法简便、收敛速度快n缺点：使用该算法得到的解 不能保证满足属于可逆域，需要采用调整方法才可做到。详见时间序列的分析与应用或应用时间序列分析。q,2165ppt课件 2. 2. 极大似然估计极大似然估计n若(2.1)中，

30、为正态分布，则 服从 分布，其中 是 的协方差矩阵。于是有似然函数：其中， 。使似然函数达到极大值之解的 和 ，即为 和 的极大似然估计。tnxxx,21),(nN0nnxxx,21nnTnnnnxxxlxx12121221|21)2log(2),|,(Tnnxxx),(21x2266ppt课件 n近似极大似然估计方法：假定(2.1)式中的初值 给定，不妨设为零值。则由(2.1)式和数据 可以求出 (2.4) 于是可得到如下近似似然函数为： (2.5) 记 q110,nxxx,21nkxqkqkkkk,2 , 1,2211nkknnl122222122loglog),(nkkS12)(67pp

31、t课件 由(2.5)式决定的近似极大似然估计 和 满足以下方程于是 为以下方程的解而,)(,)(,00222222422SlSnnl2, 0)(SnS)(268ppt课件 3. 3. 自回归逼近方法自回归逼近方法n原理：可逆的MA(q)模型有逆转形式 模型，且逆转形式中的无穷阶自回归系数满足以指数衰减到零的趋势，故一个可逆的MA模型可用适当高阶的AR模型近似。n用一个高阶的AR模型拟合一个较低的MA序列称为自回归逼近拟合方法。)(AR69ppt课件 n步骤：1. 对原始数据 进行自回归模型拟合。可用AIC定阶，求参数的Yule-Walker估计，在进行检验；或直接拟合AR(p)模型。其中，当n

32、不太大时，取 ；当n很大时，取 。将拟合后模型记为 (2.6)nxxx,2110/nP ncPlogtptptttxxxx221170ppt课件 2. 利用(2.6)式，计算拟合残差：于是(2.1)式的模型可近似写为 记 (2.7)nPtxxxxptptttt, 1,2211nqPtXqtqtttt, 1,2211nqPqPqnnnPqPqPPqPqPnqPqPExxx2121211121,x71ppt课件 于是，(2.7)可简记为故， 和 的最小二乘估计分别为和n优点：不涉及非线性代数方程，易于实际应用。xE2xTTEEE)(1nS/)(272ppt课件 二二. . 阶数的估计阶数的估计1.

33、 1. 自相关函数估计方法自相关函数估计方法n依据：一个平稳序列为MA(q)序列的充要条件是它的自协方差函数q步截尾。对于MA(q)模型，当kq，n充分大时， 的分布渐近正态 ，于是当kq，n充分大时，下列等式近似成立)21(1,0(12 qjjnN %5.95)212|(|%3.68)211|(|1212qjjkqjjknPnP或k73ppt课件 n方法：对于每一个正整数q,计算样本自相关函数(M一般取为 左右),考察其中满足 的个数是否占M的68.3%(或95.5%)左右,如取某 显著地异于零，而 近似等于零，并满足上述不等式的个数达到了68.3%(或95.5%)左右比例，则初步认为 在

34、步截尾， 初步判定为n)212|(211|1212qjjkqjjknn或0,0qqkMqq00,1k0qtx)(0qMA74ppt课件 n例2.3 设 为MA(1)序列：由它产生长度为n=300样本值 ，计算出前17个样本自相关函数为 ，计算出：tx) 1, 0(,35. 01NXtttt30021,xxx1710, ,rrr%3 .6875.68165160652. 02130012175ppt课件 2. 2. AICAIC准则定阶方法准则定阶方法n给出模型阶数q的上界 ，对于 按前述的方法逐个拟合MA(m)模型。并给出白噪声方差 的估计量 ，定义AIC函数其中，n是样本个数，AIC(m)的

35、最小值点(如不唯一，应取小的)称为MA(q)模型的AIC定阶。00Qm 22m0Q02, 1 , 0,2)(log)(QmnmmmAIC76ppt课件 n例2.3的定阶问题，使用AIC准则，有q123456AIC2.8852.8912.8982.9022.8952.90177ppt课件 三三. . 拟合模型的检验拟合模型的检验n如果一段时间序列数据 符合(2.1)式，则当给定初始值 ，由(2.2)式计算出 ，它应当是独立序列 的一段样本值。故检验问题就转化为检验 是否为独立序列的一段样本值的问题n方法： 检验和正态检验。nxxx,21q110,n,1tn,21278ppt课件 四四. . 建模

36、例题：建模例题： 产生模型 的n=300个样本数据，建立模型。(1) 求出样本均值、样本自协方差函数、样本自相关函数),1 , 0(,5 . 01NXtttt00044071. 030011300nttxx79ppt课件 n样本自相关函数-0.6-0.4-0.20.00.25101520253035RMX380ppt课件 (2) 观察样本自相关函数为1步结尾，或使用前述的两种定阶方法，初步判定MA(1)(3) 使用第二小节的矩估计的解析方法可得(4) 检验：给出我们使用 检验，给出 ，计算出0389. 1)411 (2,6239. 0411221022111r0,6239. 001tttx21

37、51 m)(300)(222212mm81ppt课件 n 取值图 05101520253012345678910 11 12 13 14 15KATKA282ppt课件 第三节第三节 ARMAARMA模型的拟合模型的拟合n根据数据序列 ，拟合以下ARMA(p,q)模型： (3.1)其中， 为独立同分布的序列，且 对一切st成立，参数和 满足平稳性和可逆性条件，且 与无公共根。nxxx,21qtqttptptttXXXX112211t22tE, 0tE,4tE),(21p),(1q)(u)(u, 0tsEx83ppt课件 一一. . 模型参数的估计模型参数的估计1. 1. 矩估计方法矩估计方法步

38、骤1. 的矩估计 ，满足如下方程： (3.2)其中， ，由(1.19)可知p元线性方程组。 qppqpqpqpqpqqqpqpqqqrrrrrrrrrrrr22112211211211qpkrrkk, 1 , 0,84ppt课件 记于是(3.2)可简写为若 满秩，则 (3.3)qpqpqpqqqpqqqqppqqqqprrrrrrrrrrrrb,212111,21, ,qpqpbqpqpb,1,)(qp,85ppt课件 步骤2. 和 满足以下的方程式 (3.4)式中其中， (3.4)式关于 的非线性代数方程组。当q=1,2可求出 显示解，当 ，可用数值解法。 2qkkyrqkqkkqk1),(

39、0),1 ()(1122212当当pjijikjikryr0,)(10q,1212,3q86ppt课件 2. 2. 近似极大似然估计方法近似极大似然估计方法n方法:取初始值 对于任意给定的一组参数 ,由(3.1)迭代算出相应值，即 (3.5)定义关于 的函数则，近似似然函数为),(n,21ptptttqtqttxxxx221111),(nkkS12),(),(21log22log),(222Snnl, 010pqxxx00pq87ppt课件 使得上式取到极大值的 ，称它们为 的近似极大似然估计，也称最小平方和估计。 当q=0，上述极值问题简化为Yule-Walker估计。 当p=0，上述极值问

40、题与第三节的近似极大似然估计方法一致。(3.1)式中的 的估计为), (),(2nS), (288ppt课件 3. 3. 自回归逼近方法自回归逼近方法n基本思路：(1) 为数据 建立AR模型，取自回归阶数的上界 ，采用AIC定阶方法得到AR模型的阶数估计P和自回归系数 的估计. 。 (2) 计算残差 写出近似的ARMA(p,q)模型 nxxx,210nP ),(21pnPtxxxxptptttt, 1,2211qtqttptptttXXXX11221189ppt课件 (3) 对目标函数 (2.6)极小化,得到最小二乘估计 , 的最小二乘估计由下式定义nqPtPjqjjtjjtjtxxQ1112

41、)(), (),(121qp2),(11212qpQqPn90ppt课件 n具体算法定义：pnnnpqPqPqPpqPqPqPqnnnPqPqPPqPqPnqPqPxxxxxxxxxExxx21211121211121,Xx91ppt课件 则目标函数(2.6)可写成，可解出最小二乘估计为相应地， 的估计为22|),(|)(XxXx,EEQxxXXXXxXXXTTTTTTTTTTEEEEEEEEE),(12) (12,QqPn92ppt课件 二二. . 模型阶数的估计模型阶数的估计1. 相关分析法用于ARMA模型的定阶n方法：(1) 给定初值 (一般取初值为零)将 的估计代入(3.2)递推得到残

42、差估计 ,10pqxxxpq,0,n,193ppt课件 (2) 作假设检验 来自于白噪声序列长度为n的样本。 不是白噪声序列的长度为n的样本。令检验 等价于检验 是否来自于N(0,1)总体的k个独立抽样问题。nH,:10nH,:11kntkttknr11)(0Hn,194ppt课件 a. 检验 的绝对值是否有68.3%左右小于1.b. 检验法：在 成立条件下，当n充分大时， 是k个相互独立N(0,1)随机变量，则 服从自由度为k的中心 分布，则以显著水平为 的否定域为kjnj, 2 , 1),(20Hkjnj, 2 , 1),(kjjknQ12)(22,kkQ 95ppt课件 2. AIC准则

43、方法n给定ARMA模型阶数的上界 和 。对于每一对(k,j)， ,计算AIC函数取 ，使 此时称 为ARMA模型的阶的估计，其中 一般取 或 中的整数。0P0Q000 ,0QjPk,)(2),(log),(2njkjkjkAICqp , ),(min) , (0000qpAICqpAICQqPpqp , 00,QPn5/,10/nn96ppt课件 n具有相合性的定阶准则BIC,使上式达最小的 为ARMA模型的阶。 中的整数。,log)(),(log),(2nnjkjkjkBICqp , ),(min) , (0000qpBICqpBICQqPp5/,10/,00nnQP97ppt课件 三三.

44、. 拟合模型的检验拟合模型的检验nARMA模型的检验是检验其拟合残差序列是否为独立序列。n方法：取初值计算 的样本值，即 检验 是否为独立序列的样本值。0010qpqxxxtntXxxxqtqtptptttt, 1,112211n,2198ppt课件 四四. . 例子：例子：kejian2kejian2由计算机产生模拟时间序列数据 。(1) 计算出样本均值、自相关函数、自协方差函数和偏相关函数) 1, 0(,6 . 03 . 011NYYttttt30021,yyy017102. 030011300nttyy99ppt课件 n样本自相关函数-0.3-0.2-0.10.00.10.2510152

45、0253035RMY100ppt课件 n样本偏相关函数-0.3-0.2-0.10.00.10.25101520253035PRMY101ppt课件 (2) 取定阶数 由AIC准则：p=q=1(3) 估计参数：(4) 检验 结论：数据符合ARMA(1,1)模型。99605. 0,75. 0,34375. 0211%47.7617/13057735. 03001102ppt课件 n -0.10-0.050.000.050.100.15246810121416103ppt课件第四节第四节 求和模型与季节模型求和模型与季节模型 的处理方法的处理方法一一. . 求和模型求和模型ARIMAARIMA的识别

46、与拟合的识别与拟合1. 求和模型的识别方法n方法一 直接观察数据图形的方法：根据数据 画出数据曲线图，通过观察曲 线的形状，可初步判别是否需要拟合求和模型。nxxx,21104ppt课件 n例：数据1-3-2-1012350100150200250300Y105ppt课件 n数据2 -1001020309091929394959697989900TEMPX106ppt课件 n数据3 0100200300400500600700495051525354555657585960X107ppt课件 n数据40.0E+005.0E+071.0E+081.5E+082.0E+082.5E+0824681

47、01214161820X108ppt课件 n方法二. 数据样本自相关函数分析法：当序列含有趋势项时，序列的样本自相关函数 的尾部不衰减到零值，特别地，所含趋势项为多项式时， 将近似于常数为1的序列。)(xk)(xk109ppt课件 n例：序列105010015020025030050100 150 200 250 300 350 400 450 500X) 1 , 0(,5 . 0,2 . 021Nwwwtxtttttt110ppt课件 n样本自相关函数：0.700.750.800.850.900.951.005101520253035404550RX111ppt课件 n序列202000400

48、06000800010000120001400050100 150 200 250 300 350 400 450 500Z) 1 , 0(,5 . 0,05. 01 . 0212Nwwwttxtttttt112ppt课件 n序列2样本自相关函数0.60.70.80.91.05101520253035404550RZ113ppt课件 n序列3 -4-20246850100 150 200 250 300 350 400 450 500W) 1 , 0(,5 . 0,105. 0Nwwwexttttttt114ppt课件 n序列3的样本自相关函数0.20.30.40.50.60.70.85101

49、520253035404550RW115ppt课件 n另外，还可从数据的来源判断使用求和模型的合理性。2. 2. 判断求和模型判断求和模型ARIMA(p,d,q)ARIMA(p,d,q)的阶数的阶数d dn对ARIMA(p,d,q)模型的研究焦点是对差分阶数d的判别。nd的判别方法：(1) 用动态数据 的实际背景来确定。若数据围绕着某条曲线变化，而此曲线是近似线性的，则判断差分阶数d=1,若此曲线可由二次多项式近似，则判断阶数d=2,一般地，若该曲线可由d次t的多项式逼近，则可对原序列 作d次差分 ，而 可按平稳序列建模。nxxx,21txttdyx ty116ppt课件 (2) 采用数据处理

50、的方法：对原动态数据 分别作j次差分， ，连同原数据共有D+1套 动态数据，然后对每套数据求出样本自相关函数和样本 偏相关函数为 ,综合分析它 们的截尾性或拖尾性，最后判定为何种模型，再建立相 应的模型。 nxxx,21dj, 2 , 1djajjkkk, 2 , 1,117ppt课件 2. 2. 求和模型的拟合求和模型的拟合n步骤1：判断p值，对原数据进行d次差分运算，即 (4.1) 例：当d=2时， 为 的二次差分序列，即，nddtxBwtdt, 2, 1,)1 (twtx2122)1 (tttttxxxxBw118ppt课件 n步骤2：根据差分后的数据序列 按照前几节的方法，拟合AR、M