第4章-OLAP-在线联机分析课件.ppt

1、OLAP多维数据集多维数据集n多维数据集提供了一种信息系统结构，这种结构可以使企业灵活地对数据进行访问，可以用多种方法对数据进行切片、分块、动态地考察汇总数据和细节数据之间的关系n数据仓库中的细节数据为多维数据集提供了稳健方便的数据源.多维数据集和数据仓库多维数据集和数据仓库n数据仓库与多维数据集的区别:n多维数据集数据量比数据仓库少一个数据量级n数据仓库只适合少量灵活访问,多维数据集适合大量不可预知的访问和分析n数据仓库存储很长时间范围内的数据,多维数据集存储较短时间范围内的数据n数据仓库只允许分析人员以受限的形式访问数据,而多维数据集允许自由地访问n多维数据集和数据仓库有着互补的关系:n数

2、据仓库中可以存储非常细节的数据,而多维数据集中往往会对细节数据进行轻度综合,DSS分析人员可以同时获取这二种数据n汇总信息在多维数据集中计算和聚集后存储在数据仓库中维（Dimension）n维是人们观察数据的特定角度。n例如，企业常常关心产品销售随着时间推移而产生的变化的情况，这时他是从时间的角度来观察产品的销售，所以时间就是一个维（时间维）。n企业也常常关心自己的产品在不同地区的销售分布情况，这时他是从地理分布的角度来观察产品的销售，所以地理分布也是一个维（地理维）。维度维的层次n人们观察数据的某个特定角度（即某个维）还可以存在细节程度不同的多个描述方面，我们称这个描述方面为维的层次。n一个

3、维往往具有多个层次，例如:n描述时间维时，可以从日期、月份、季度、年等不同层次来描述，那么日期、月份、季度、年等就是时间维的层次；n同样，城市、地区、国家就构成了一个地理维的多个层次。维成员n维的一个取值就称为该维的一个维成员。n如果一个维是多层次的，那么该维的维成员就是不同维层次的取值的组合。n例如，考虑时间维具有日期、月份、年这三个层次，分别在日期、月份、年上各取一个值组合起来，就得到时间维的一个维成员，即“某年某月某日”。多维数组n一个多维数组可以表示为(维1,维2,维n,变量)，这样可以构成三维、四维及多维的数据表示结构。其中，变量表示我们所观察的数据对象，维1、维2、维n分别表示我们

4、观察该数据对象的角度。n如（时间，商品种类，商店，销售额），从而构成一个有关商品销售额的三维数组。（2000年，家电，南京市，1亿）（2000年7月，女性服装，江苏省，10亿）数据单元（单元格）n多维数组的取值称为数据单元。n当多维数组的各个维都选中一个维成员，这些维成员的组合就唯一确定了一个观察对象的值，即（维成员1，维成员2，维成员n，对象值）。立方体和超立方(Cube)多维数据模型的数据结构可以用这样来一个多维数组来表示:(维1，维2，维n，度量值)，例如:商品销售数据是按时间、地区、商品种类，加上度量“销售额”组成的一个三维数组:(地区，时间，商品种类，销售额)。三维数组可以用一个立方

5、体来直观的表示，立方体中每一个交点对应于一个事件。一般地多维数组用多维立方体来表示，但数据立方体并不一定限于三维，因此又称为超立方数据立方体数据立方体日 期一季度二季度三季度四季度ALL品VCDTV产PCALLNO1NO2NO3ALL商 店可以按照产品、日期、商店三个维度任意组合，生成销售情况OLAP的产生背景的产生背景n60年代，关系数据库之父年代，关系数据库之父E.F.Codd提出了关系提出了关系模型，促进了联机事务处理模型，促进了联机事务处理(OLTP)的发展的发展(数据数据以表格的形式而非文件方式存储以表格的形式而非文件方式存储)。n1993年，年，E.F.Codd提出了提出了OLAP

6、概念，认为概念，认为OLTP已不能满足终端用户对数据库查询分析的已不能满足终端用户对数据库查询分析的需要，需要，SQL对大型数据库进行的简单查询也不对大型数据库进行的简单查询也不能满足终端用户分析的要求。用户的决策分析能满足终端用户分析的要求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。而查询的结果并不能满足决策者提出的需求。因此，因此，E.F.Codd提出了多维数据库和多维分析提出了多维数据库和多维分析的概念，即的概念，即OLAP。n 什么是OLAP？nOLAP，英文全称为On-Line Analy

7、sis Processing，中文名称为联机分析处理，也称为在线分析处理。nOLAP允许以一种称为多维数据集的多维结构访问来自商业数据源（如数据仓库）的经过聚合和组织整理的数 据。nOLAP是针对某个特定的主题进行联机数据访问、处理和分析，通过直观的方式从多个维度、多种数据综合程度将系统的运营情况展现给使用者。OLTP与OLAPn随着数据库系统广泛应用，数据库系统记录和随着数据库系统广泛应用，数据库系统记录和处理的数据越来越多，及时地记录和处理企业处理的数据越来越多，及时地记录和处理企业的各种业务数据，这些系统成为联机事务处理的各种业务数据，这些系统成为联机事务处理(OLTP)(OLTP)系统

8、。数据库技术的广泛应用和技术的系统。数据库技术的广泛应用和技术的发展，人们已经不再满足于仅仅用数据库系统发展，人们已经不再满足于仅仅用数据库系统来记录企业的业务活动数据和对数据的简单处来记录企业的业务活动数据和对数据的简单处理，人们需要对企业业务活动的数据进行各种理，人们需要对企业业务活动的数据进行各种分析，以便发现企业业务趋势，这些系统称为分析，以便发现企业业务趋势，这些系统称为联机分析处理联机分析处理(OLAP)(OLAP)系统。系统。OLTPOLAP数据库原始操作数据库导出数据或数据仓库数据细节性数据综合性数据当前数据历史性数据经常性更新数据不可更新，但可周期性刷新数据一次性处理的数据量

9、少一次性处理的数据量多对响应时间要求高响应时间合理用户量大用户量少面向操作人员、支持日常操作面向决策人员、支持管理需要面向应用、实物驱动面向分析、分析驱动OLTP与OLAP对比表OLAPOLAP特性特性n快速性:用户对OLAP的快速反应能力有很高的要求。系统应能在5秒内对用户的大部分分析要求做出反应。客户/服务器体系结构两层或三层C/S结构。n可分析性:OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。n多维性:多维性是OLAP的关键属性。系统必须提供对数据的多维视图和分析,包括对层次维和多重层次维的完全支持。n信息性:不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息

10、，并且管理大容量信息。n数据仓库是一个包含企业历史数据的大规模数数据仓库是一个包含企业历史数据的大规模数据库，这些历史数据安用十对企业的经营决策据库，这些历史数据安用十对企业的经营决策提供分析和支持。数据仓库中的数据是不能用提供分析和支持。数据仓库中的数据是不能用于于OLTP的，而的，而OLAP技术则利用数据仓库中技术则利用数据仓库中的数据进行联机分析，将复杂的分析查询结果的数据进行联机分析，将复杂的分析查询结果快速地返回用户。快速地返回用户。n OLAP利用多维数据集和数据聚集技术对数利用多维数据集和数据聚集技术对数据仓库中的数据进行组织和汇总，用联机分析据仓库中的数据进行组织和汇总，用联机

11、分析和可视化工具对这些数据迅速进行评价。和可视化工具对这些数据迅速进行评价。提取提取,清清理转换理转换,装入刷装入刷新新输输出出查询/报告分析数据挖掘OLAPOLAP服务器OLAPOLAP服务器监控 管理元数据存储数据仓库数据集市操作数据库外部数据源顶层：前端工具中间层：OLAPOLAP服务器底层：DWDW服务器数据数据仓库系统结构nOLAPOLAP是是DWDW主要的前端支持工具。在主要的前端支持工具。在OLAPOLAP系统中，客户能够以多维视觉图的方式，系统中，客户能够以多维视觉图的方式，搜寻数据仓库中存储的数据。搜寻数据仓库中存储的数据。n多维报表多维报表n饼图饼图n直方图直方图n柱状图柱

12、状图n曲线图曲线图n切片和切块切片和切块n旋转旋转n地图地图nOLAP前端展现方式前端展现方式OLAP的基本操作nOLAP的基本操作是指对以多维形式组织起来的数据采取钻取（Drill-up和Drill-down）、切片（Slice）和切块（Dice）、以及旋转（Pivot）等各种分析动作，以求剖析数据，使最终用户能从多个角度、多侧面地观察数据仓库中的数据，从而深入地了解包含在数据中的信息和内涵。钻取钻取(Drill)(Drill)n钻取：是改变维的层次，变换分析的粒度。n维度的层次反映了数据的综合程度。层次高，代表数据综合程度高，细节数据少，数据量也少；层次低，代表数据综合度低，细节数据多，数

13、据量大。n钻取包括向下钻取（Drill-down）/下卷（Roll-down）、向上探取（Drill-up）/上卷（Roll-up）nDrill-up是在某一维上将低层次的细节数据概括到高层次的汇总数据，或者减少维数nDrill-down则相反，它从汇总数据深入到细节数据进行观察或增加新维上钻下钻切片和切块切片和切块n切片切片(SliceSlice)n定义定义1 1：在多维数组的某一维上选定一个取值，则多维数组就从：在多维数组的某一维上选定一个取值，则多维数组就从n n维降为维降为n-1n-1维，我们称多维数组的子集维，我们称多维数组的子集 （维度（维度1 1，维度，维度2 2，维成员，维成员

14、ViVi，维度，维度n n，度量），度量）为多维数组在维度为多维数组在维度i i上的切片（上的切片（ViVi表示维度表示维度i i的维成员）的维成员）n定义定义1 1中，一次切片一定使原来维数减中，一次切片一定使原来维数减1 1，因此所得切片结果并不，因此所得切片结果并不一定是二维的一定是二维的“平面平面”，切片结果维数取决于原来的多维数组的，切片结果维数取决于原来的多维数组的维数。这个定义不够通俗，还有另外一个定义维数。这个定义不够通俗，还有另外一个定义n定义定义2 2：选定多维数组中两个维：维：选定多维数组中两个维：维i i和维和维j j，在这两个维上取一区，在这两个维上取一区间或者任意的

15、维成员，而将其他维都分别取定一个维成员的动作，间或者任意的维成员，而将其他维都分别取定一个维成员的动作，称为多维数组在维称为多维数组在维i i和维和维j j上的一个切片。上的一个切片。切片和切块切片和切块n切块切块(DiceDice)n定义定义1 1：将多维数组的某一维上的取值设定为一个区间（如时间维：将多维数组的某一维上的取值设定为一个区间（如时间维的的1999-20041999-2004年）的维成员的动作，称为切块。显然，当这一区间年）的维成员的动作，称为切块。显然，当这一区间只取一个维成员时，即得到一个切片。只取一个维成员时，即得到一个切片。n定义定义2 2：选定多维数组中三个维：维：选

16、定多维数组中三个维：维i i、维、维j j和维和维k k，在这三个维上，在这三个维上取一区间或者任意的维成员，而将其他维都分别取定一个维成员取一区间或者任意的维成员，而将其他维都分别取定一个维成员的动作，称为多维数组在维的动作，称为多维数组在维i i、维、维j j和维和维k k上的一个切块。上的一个切块。n 产品销售 情况某年某月产品销售情况选定两个维：产品维和地区维选定两个维：产品维和地区维时间维时间维数据切片数据切片产品维产品维地区维地区维产品维产品维地区维地区维n 转轴：是变换维的方向，即在表格中重新安排维的放置（例如行列互换）。转轴nOLAPOLAP的其它操作还有统计表中最的其它操作还

17、有统计表中最高值和最低值的项数，计算平均高值和最低值的项数，计算平均值、增长率、利润、投资回报率值、增长率、利润、投资回报率等统计计算。等统计计算。OLAP存储模式 nOLAP系统按照其存储器的数据存储格式可以分为关系OLAP（RelationalOLAP，简称ROLAP）、多维OLAP（MultidimensionalOLAP，简称MOLAP）和混合型OLAP（HybridOLAP，简称HOLAP）三种类型。ROLAP nROLAP将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一批物化视图作为表也存储在关系数据库中。ROLAP针对关系型数据库的应用允许其利用针对关系型数据库

18、的应用允许其利用已有的数据库资源，并且允许已有的数据库资源，并且允许R OLAP应用应用程序很好地伸缩。然而，程序很好地伸缩。然而，ROLAP使用表存储使用表存储合计则要求比合计则要求比MOLAP更多的磁盘空间，速更多的磁盘空间，速度相对比较慢。度相对比较慢。nROLAP将多维数据库的多维结构划分为两类表:n一类是事实表,用来存储数据和维关键字。n另一类是维表,即对每个维至少使用一个表来存放维的层次、成员类别等维的描述信息。n维表和事实表通过主关键字和外关键字联系在一起,形成了“星型模式”。对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表来描述,这种星型模式的扩展称为“雪花模

19、式”。n星座模型和雪暴模型：有多个事实表的星型模型和雪花模型MOLAPn定义定义nM O L A P 表 示 基 于 多 维 数 据 组 织 的 O L A P 实 现（Multidimensional OLAP）。n以多维数据组织方式为核心,也就是说,MOLAP使用多维数组存储数据。n多维数据在存储中将形成“立方块（Cube）”的结构,在MOLAP中对“立方块”的“旋转”、“切块”、“切片”是产生多维数据报表的主要技术。MOLAPOLAP分类分类4MOLAP4.3ROLAP与与MOLAP比较比较n在MOLAP中，不但把多维实视图在概念上看成一个超立方体，而且在物理上把多维实视图组成一个多维数

20、组，而不象ROLAP以表的形式存储实视图。n在MOLAP中，维的属性值被映射成多维数组的下标值或下标的范围，而总数据作为多维数组的值存储在数据的单元中。nROLAP在节省存储空间、灵活性、与关系数据库保持一致性等方面有明显的优势；MOLAP则在性能和管理的简便性方面有其优点。nMOLAP的查询速度比较快，但有下面限制：n用多维数组实现多维实视图，需要很大的存储空间。在实际的数据仓库中，每维的属性值个数可能数万。例如几万种产品、几万个连锁店等。而实际的维数可能多达几十乃至几百。耗费的存储空间相当可观，由此带来加载、维护等问题。n在多维数组中，很可能有些单元是空白的，如节假日商店不营业；某些产品在

21、某些地区不销售等。nMOLAP与关系数据库系统从存储结构到查询语言都有相当大的差别，不可能在RDBMS的基础上实现。ROLAP与与MOLAP比较（续）比较（续）nHOLAP(hybird OLAP)，即混合，即混合OLAP，介于，介于MOLAP 和和ROLAP之间。之间。在在HOLAP 中，对最常中，对最常用的维度和维层次使用多维数据库来存储，对用用的维度和维层次使用多维数据库来存储，对用户不常用的维度和数据使用户不常用的维度和数据使用ROLAP星形结构来存星形结构来存储。当用户查询不常用数据时，储。当用户查询不常用数据时，HOLAP 将会把将会把简化的多维数据库和星形结构进行拼合，从而得简化

22、的多维数据库和星形结构进行拼合，从而得到完整的多维数据库。到完整的多维数据库。n在在HOLAP 多维数据库中的数据维度少于多维数据库中的数据维度少于MOLAP 中的维度，中的维度，数据存储容量也少于数据存储容量也少于MOLAP 方式；方式；但但HOLAP在存取速度上低于在存取速度上低于MOLAP。nOLAP是介于客户与数据仓库之间的数据分析处理系统，它需要对来自数据仓库的数据进行多维处理和分析，因此在系统的构造中常常采用三层客户/服务器结构。n这种三层客户/服务器的结构通常将数据仓库、OLAP服务器与客户端严格区分。数据准备区数据仓库OLAP服务器数据仓库与OLAP关系业务处理系统第三层第二层

23、第一层数据抽取数据加载多维化处理数据清理、转换可视化处理客户端n关系关系OLAPOLAP（ROLAPROLAP）服务器）服务器 在在ROLAPROLAP处理过程中，处理过程中，ROLAPROLAP服务器通过用户界面服务器通过用户界面接受多维查询，将其转化为标准的接受多维查询，将其转化为标准的SQLSQL查询，在查询，在ROLAPROLAP中执行，然后再将查询结果以适当的形式通中执行，然后再将查询结果以适当的形式通过用户端界面显示出来。多维立方体是借助过用户端界面显示出来。多维立方体是借助RDBMSRDBMS平台实现的，故系统的工作过程较复杂。平台实现的，故系统的工作过程较复杂。NoImage

24、ROLAPROLAP服务器的体系结构服务器的体系结构 n多维多维OLAPOLAP（MOLAPMOLAP）服务器）服务器 在在MOLAPMOLAP中，中，MOLAPMOLAP服务器的主要功能是：通过服务器的主要功能是：通过MDDBMDDB引擎访问数据仓库或数据库，将抽取到的数引擎访问数据仓库或数据库，将抽取到的数据存储到据存储到MDDBMDDB中去；通过用户逻辑层接受用户的中去；通过用户逻辑层接受用户的请求，对请求，对MDDBMDDB进行多维访问。数据进入进行多维访问。数据进入MDDBMDDB后，后，MDDBMDDB将自动为其建立索引，并进行必要的综合运将自动为其建立索引，并进行必要的综合运算，

25、以提高系统的性能。算，以提高系统的性能。NoImage MOLAPMOLAP服务器的体系结构服务器的体系结构 OLAMOLAMOLAM(OLAP+Mining)OLAM(OLAP+Mining)技术一般简称为技术一般简称为“数据数据联机分析挖掘联机分析挖掘”,它将联机分析处理技术和数它将联机分析处理技术和数据挖掘技术有机地结合在一起，是据挖掘技术有机地结合在一起，是OALPOALP的新的新发展。发展。OLAMOLAM是加拿大是加拿大SimonSimon大学教授韩家伟等提出大学教授韩家伟等提出的，基本操作是将数据挖掘功能与的，基本操作是将数据挖掘功能与OLAPOLAP的钻的钻取结合。在数据立方体中数据挖掘可以在多取结合。在数据立方体中数据挖掘可以在多维和多层次的抽象空间中进行，利于灵活地维和多层次的抽象空间中进行，利于灵活地挖掘知识。挖掘知识。用户图形界面API数据库数据仓库数据库元数据OLAM引擎OLAP引擎MDDB数据方API数据库API基于约束的数据挖掘数据清理过滤挖掘结果数据集成数据过滤数据集成第一层数据存储第二层多维数据库第三层OLAP/OLAM第四层用户界面