大数据分析与挖掘07大数据挖掘预测与时序课件.pptx

1、大数据分析与挖掘 08预测与时间序列分析Part 1.理解预测分析方法预言 预言（prediction）是一门掌握对象变化动态的科学，它是对对象变动趋势的预见、分析和判断，也是一种动态分析方法。预言的目的是对未来未知变量的预测，这种预测是需要时间来验证的，即必须经过一定时间后，才知道预言准确性是多少。一旦建立了表示数据中固有模式和趋势的模型，那么这个模型就可以成功地用于对未来时间的结果进行预测。预测的基本步骤 预测的基本步骤：（1）确定预测目标，包括预测对象、目的、对象范围；（2）收集分析内部和外部资料；（3）数据的处理及模型的选择；（4）预测模型的分析、修正；（5）确定预测值。预测的基本方法

2、 预测方法一般有定性分析预测法和定量预测法。定性预测包括：集合意见法、用户意见法（对象调查法）、员工意见法、专家评估法、类推法、判断预测和目标分解法等；定量预测方法包括：情景分析法、时间序列分析法（移动平均，指数平滑，季节系数，DOX-TENKENS法）、因果分析法（线性，回归，非线性模型：含生命周期法，经济计量模型，灰色系统模型，状态转移分析法，模拟法，系统模型）等。分析方法的选择 在分析预测中主要提供了几种时间序列的分析方法，包括指数平滑法、ARIMA模型和季节调整方法；在分析预测中提供了时间序列分析的图形工具，包括序列图(Sequence)、自相关函数和偏自相关函数图等。另外，也可利用分

3、析预测频谱分析模块进行简单的谱分析。Part 2.时间序列分析法1.时间序列分析法 时间序列分析法的原始数据要求：1）在时间上具有连续性；2）数据之间的可比性；3）可以采取交叉预测。时间序列可划为四种变化特征：趋势性（T）、季节性（S）、周期性（C）、不规则性（I）。可以利用散点图识别来变化特征。时间序列分析法一般有：简单平均、移动平均、加权移动平均、指数平滑、一元线性回归、相关比例推算。时间序列定义时间序列定义 从时间序列的角度来看,每个数据单元可以被抽象为一个二元组(t,o)。其中：t 为时间变量;o 为数据变量,反映数据单元的实际意义,如某种商品的销售金额、股票的价格等。由此，对于时间序

4、列可以给出如下定义：时间序列时间序列R 是一个有限集是一个有限集(t1,o1),(t2,o2),(tn,on),满足满足ti 0)Y=AEXP(BX)，(A0)Y=AEXP(B/X)，(A0)Y=AEXP(BX2)，(A0)将以上模型进行线性处理再转化为一元回归模型。灰色预测模型 客观世界，既是物质的世界又是信息的世界。它既包含大量的已知信息，也包含大量的未知信息与非确知信息。未知的或非确知的信息称为黑色信息；已知信息称为白色信息。白色系统是指一个系统的内部特征是完全已知的，即系统的信息是完全充分的。黑色系统是指一个系统的内部信息对外界来说是一无所知的，只能通过它与外界的联系来加以观测研究。既

5、含有已知信息又含有未知的、非确知的信息的系统，称为灰色系统。在现实世界中，灰色系统是普遍存在的。灰色系统理论，是由我国著名学者邓聚龙先生于80年代初首创的一种系统科学理论。主要包括：灰色系统建模理论、灰色系统控制理论、灰色关联分析方法、灰色预测方法、灰色规划方法、灰色决策方法等。灰色预测法是一种对含有不确定因素的系统进行预测的方法。灰色系统是介于白色系统和黑色系统之间的一种系统。灰色预测通过鉴别系统因素之间发展趋势的相异程度，即进行关联分析，并对原始数据进行生成处理来寻找系统变动的规律，生成有较强规律性的数据序列，然后建立相应的微分方程模型，从而预测事物未来发展趋势的状况。其用等时距观测到的反

6、应预测对象特征的一系列数量值构造灰色预测模型，预测未来某一时刻的特征量，或达到某一特征量的时间。灰色预测的类型灰色预测的类型 灰色时间序列预测：用观察到的反映预测对象特征的时间序列来构造灰色预测模型，预测未来某一时刻的特征量，或达到某一特征量的时间。畸变预测：通过灰色模型预测异常值出现的时刻，预测异常值什么时候出现在特定时区内。系统预测：通过对系统行为特征指标建立一组相互关联的灰色预测模型，预测系统中众多变量间的相互协调关系的变化。拓扑预测：将原始数据作曲线，在曲线上按定值寻找该定值发生的所有时点，并以该定值为框架构成时点数列，然后建立模型预测该定值所发生的时点。为了弱化原始时间序列的随机性，

7、在建立灰色预测模型之前，需先对原始时间序列进行数据处理，经过数据处理后的时间序列即称为生成生成列列。灰色系统常用的数据处理方式有累加累加和累减累减两种。累加是将原始序列通过累加得到生成列。累加的规则累加的规则:将原始序列的第一个数据作为生成列的第一个数据，将原始序列的第二个数据加到原始序列的第一个数据上，其和作为生成列的第二个数据，将原始序列的第三个数据加到生成列的第二个数据上，其和作为生成列的第三个数据，按此规则进行下去，便可得到生成列。nXXXXX11111,.3,2,1 记原始时间序列为：nXXXXX00000,.3,2,1生成列为：上标1表示一次累加，同理，可作m次累加：kimmiXk

8、X11 1001kXkXkX 对非负数据，累加次数越多则随机性弱化越多，累加次数足够大后，可认为时间序列已由随机序列变为非随机序列。一般随机序列的多次累加序列，大多可用指数曲线逼近。累减将原始序列前后两个数据相减得到累减生成列，累减是累加的逆运算，累减可将累加生成 列还原为非生成列，在建模中获得增量信息。一次累减的公式为：nXXXkX0000,.,2,1 关联度关联度 关联度分析是分析系统中各因素关联程度的方法，在计算关联度之前需先计算关联系数。关联系数关联系数 设 nXXXkX0000,.,2,1则关联系数定义为：kXkXkXkXkXkXkXkXk00000000maxmaxmaxmaxmi

9、nmin)(kXkX00 式中：0X 0X为第k个点 和的绝对误差；kXkX00minmin kXkX00maxmax为两级最小差；为两级最大差；称为分辨率，00.950.800.700.70 C0.350.500.650.65 好 合格 勉强合格 不合格ARIMA模型 ARIMA(自回归综合移动平均)是时间序列分析中最为常用的模型，也称之为Box-Jekins模型，或带差分的自回归移动平均模型。ARIMA模型可以对含有季节成分的时间序列数据进行分析，它包含三个主要的参数自回归阶数(p)、差分阶数(d)、移动平均阶数(q)，一般模型的形式记为ARIMA(p,d,q)。季节分解模型 时间序列是对

10、某一统计指标,按照指定的时间间隔,搜集整理的一组统计数据.一个时间序列可能包含4种变动因素:长期趋势变动、季节性变动、循环性变动和不规则变动。但并不是所有的时间序列都会同时含有这4种变动因素。（5）组合预测 采用不同合理的模型预测后，再进行回归得出组合预测模型。预测模型选取的原则：有关研究资料表明，以预测方法应用多少为标准进行从大到小排序是：回归分析、指数平滑、数量经济模型、专家会议、主观概率法、多变量时间序列模型、趋势外推、抽样调查、移动平均、投入产出、相关树、类推法等。在高层次经济预测方面：数量经济模型、投入产出、回归分析、移动平均。在低层次方面：专家会议、类推法、移动平均、主观概率法、回

11、归分析、指数平滑。预测的主导方向：定量预测、定性预测和计算机相结合。预测科学的发展方向：神经网络预测、基于规则的预测系统、专家预测系统、判断预测、组合预测。模型选择的原则：适用性、数据易采集性、数据时效性、定量与定性相结合。Part 5.预测结果分析预测的结果分析 预测的结果分析要考虑到如下的因素:（1）相反的预测结果（2）胜出裕度：最佳预测结果得分与相反的结果得分之间的差额占最佳预测结果的百分比。（3）成本收益分析趋势分析挖掘 趋势（trend）分析挖掘，该方法类似于预测分析挖掘。一个变量Y，表示某一支股票每天的收盘价，可以看作是时间t的函数，即Y=F(t)，这样的函数可以用一个时间序列的图来表示。分析时间序列数据需要注意以下4个方面：（1）长时间的走向 T（2）周期的走向与周期的变化 C（3）季节性的走向与变化 S（4）不规则的随机走向 I谢 谢 观 看谢 谢 观 看