多维数据分析基础与方法ppt课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《多维数据分析基础与方法ppt课件.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多维 数据 分析 基础 方法 ppt课件
- 资源描述:
-
1、数据仓库与数据挖掘2多维数据分析基础与方法 v多维数据分析基础多维数据分析基础 v多维数据分析方法多维数据分析方法 v维度表与事实表的连接维度表与事实表的连接 v多维数据的存储方式多维数据的存储方式 v常用的服务器端分析工具常用的服务器端分析工具 v常用的客户端分析工具常用的客户端分析工具 v各种工具的准备和安装各种工具的准备和安装v小结小结 3多维数据分析基础v多维数据分析是以数据库或数据仓库为基础的,多维数据分析是以数据库或数据仓库为基础的,其最终数据来源与其最终数据来源与OLTP一样均来自底层的数据一样均来自底层的数据库系统,但两者面对的用户不同,数据的特点与库系统,但两者面对的用户不同
2、,数据的特点与处理也不同。处理也不同。v多维数据分析与多维数据分析与OLTP是两类不同的应用,是两类不同的应用,OLTP面对的是操作人员和低层管理人员,多维面对的是操作人员和低层管理人员,多维数据分析面对的是决策人员和高层管理人员。数据分析面对的是决策人员和高层管理人员。vOLTP是对基本数据的查询和增删改操作,它以是对基本数据的查询和增删改操作,它以数据库为基础,而多维数据分析更适合以数据仓数据库为基础,而多维数据分析更适合以数据仓库为基础的数据分析处理。库为基础的数据分析处理。41.多维数据集(Cube)v 多维数据集由于其多维的特性通常被形象多维数据集由于其多维的特性通常被形象地称作立方
3、体(地称作立方体(Cube),),v 多维数据集是一个数据集合,通常从数据多维数据集是一个数据集合,通常从数据仓库的子集构造,并组织和汇总成一个由仓库的子集构造,并组织和汇总成一个由一组维度和度量值定义的多维结构。一组维度和度量值定义的多维结构。v SQL Server 2000中一个多维数据集最中一个多维数据集最多可包含多可包含128个维度和个维度和1024个度量值。个度量值。52.度量值(Measure)v 度量值是决策者所关心的具有实际意义的数值。度量值是决策者所关心的具有实际意义的数值。v 例如,销售量、库存量、银行贷款金额等。例如,销售量、库存量、银行贷款金额等。v 度量值所在的表称
4、为事实数据表,事实数据表中度量值所在的表称为事实数据表,事实数据表中存放的事实数据通常包含大量的数据行。存放的事实数据通常包含大量的数据行。v 事实数据表的主要特点是包含数值数据(事实),事实数据表的主要特点是包含数值数据(事实),而这些数值数据可以统计汇总以提供有关单位运而这些数值数据可以统计汇总以提供有关单位运作历史的信息。作历史的信息。v 度量值是所分析的多维数据集的核心,它是最终度量值是所分析的多维数据集的核心,它是最终用户浏览多维数据集时重点查看的数值数据。用户浏览多维数据集时重点查看的数值数据。63.维度(Dimension)v 维度(也简称为维)是人们观察数据的角度。维度(也简称
5、为维)是人们观察数据的角度。v 例如,企业常常关心产品销售数据随时间的变化例如,企业常常关心产品销售数据随时间的变化情况,这是从时间的角度来观察产品的销售,因情况,这是从时间的角度来观察产品的销售,因此时间就是一个维(时间维)。此时间就是一个维(时间维)。v 例如,银行会给不同经济性质的企业贷款,比如例如,银行会给不同经济性质的企业贷款,比如国有、集体等,若通过企业性质的角度来分析贷国有、集体等,若通过企业性质的角度来分析贷款数据,那么经济性质也就成为了一个维度。款数据,那么经济性质也就成为了一个维度。v 包含维度信息的表是维度表,维度表包含描述事包含维度信息的表是维度表,维度表包含描述事实数
6、据表中的事实记录的特性。实数据表中的事实记录的特性。74.维的级别(Dimension Level)v 人们观察数据的某个特定角度(即某个维)还可人们观察数据的某个特定角度(即某个维)还可以存在不同的细节程度,我们称这些维度的不同以存在不同的细节程度,我们称这些维度的不同的细节程度为维的级别。的细节程度为维的级别。v 一个维往往具有多个级别一个维往往具有多个级别.v 例如描述时间维时,可以从月、季度、年等不同例如描述时间维时,可以从月、季度、年等不同级别来描述,那么月、季度、年等就是时间维的级别来描述,那么月、季度、年等就是时间维的级别。级别。85.维度成员(Dimension Member)
7、v 维的一个取值称为该维的一个维度成员(简称维维的一个取值称为该维的一个维度成员(简称维成员)。成员)。v 如果一个维是多级别的,那么该维的维度成员是如果一个维是多级别的,那么该维的维度成员是在不同维级别的取值的组合。在不同维级别的取值的组合。v 例如,考虑时间维具有日、月、年这例如,考虑时间维具有日、月、年这3个级别,个级别,分别在日、月、年上各取一个值组合起来,就得分别在日、月、年上各取一个值组合起来,就得到了时间维的一个维成员,即到了时间维的一个维成员,即“某年某月某日某年某月某日”。9多维数据集示例多维数据集示例10多维数据分析方法 v多维分析可以对以多维形式组织起来的数多维分析可以对
8、以多维形式组织起来的数据进行上卷、下钻、切片、切块、旋转等据进行上卷、下钻、切片、切块、旋转等各种分析操作,以便剖析数据,使分析者、各种分析操作,以便剖析数据,使分析者、决策者能从多个角度、多个侧面观察数据决策者能从多个角度、多个侧面观察数据库中的数据,从而深入了解包含在数据中库中的数据,从而深入了解包含在数据中的信息和内涵。的信息和内涵。111.上卷(Roll-Up)v上卷是在数据立方体中执行聚集操作,通过在维上卷是在数据立方体中执行聚集操作,通过在维级别中上升或通过消除某个或某些维来观察更概级别中上升或通过消除某个或某些维来观察更概括的数据。括的数据。沿着时间维上卷,由“季度”上升到半年
9、12上卷(续)v上卷的另外一种情况是通过消除一个或多个维来上卷的另外一种情况是通过消除一个或多个维来观察更加概况的数据。观察更加概况的数据。消除“经济性质”维度 132.下钻(drill-down)v下钻是通过在维级别中下降或通过引入某个或某下钻是通过在维级别中下降或通过引入某个或某些维来更细致的观察数据。些维来更细致的观察数据。沿时间维下钻 143.切片(slice)v在给定的数据立方体的一个维上进行的选择操作。在给定的数据立方体的一个维上进行的选择操作。切片的结果是得到了一个二维的平面数据。切片的结果是得到了一个二维的平面数据。“时间1季度”153.切块(dice)v在给定的数据立方体的两
10、个或多个维上进行的选在给定的数据立方体的两个或多个维上进行的选择操作。切块的结果是得到了一个子立方体。择操作。切块的结果是得到了一个子立方体。(度量值“正常”or“次级”)And(时间“1季度”or“2季度”)165转轴(pivot or rotate)v转轴就是改变维的方向。转轴就是改变维的方向。交换“时间”和“经济性质”轴17维度表与事实表的连接 v维度表和事实表相互独立,又互相关联并维度表和事实表相互独立,又互相关联并构成一个统一的架构。构成一个统一的架构。v构建多维数据集时常用的架构:构建多维数据集时常用的架构:星型架构 雪花型架构 星型雪花架构v在在SQL Server 2005中,
11、这些架构的中中,这些架构的中心都是一个事实数据表。心都是一个事实数据表。181.星型架构v维度表只与事实表关联,维度表彼此之间维度表只与事实表关联,维度表彼此之间没有任何联系,没有任何联系,v每个维度表中的主码都只能是单列的,同每个维度表中的主码都只能是单列的,同时该主码被放置在事实数据表中,作为事时该主码被放置在事实数据表中,作为事实数据表与维表连接的外码。实数据表与维表连接的外码。v星型架构是以事实表为核心,其他的维度星型架构是以事实表为核心,其他的维度表围绕这个核心表呈星型状分布。表围绕这个核心表呈星型状分布。19星型架构示意图202雪花型架构(Snow Schema)v某个维度表不与事
12、实表直接关联,而是与某个维度表不与事实表直接关联,而是与另一个维表关联。另一个维表关联。v可以进一步细化查看数据的粒度。可以进一步细化查看数据的粒度。v维度表和与其相关联的其他维度表也是靠维度表和与其相关联的其他维度表也是靠外码关联的。外码关联的。v也以事实数据表为核心。也以事实数据表为核心。21雪花型架构示意图223星型雪花架构(Star-Snow Schema)v将星型架构和雪花式架构合并在一起使用,而成将星型架构和雪花式架构合并在一起使用,而成为星型雪花架构。为星型雪花架构。23多维数据的存储方式 vSQL Server 2005的的Analysis 三种多维数据三种多维数据存储方式存储
13、方式:MOLAP(多维OLAP)ROLAP(关系OLAP)HOLAP(混合OLAP)241ROLAPvROLAP的数据与计算结果直接由原来的关系数的数据与计算结果直接由原来的关系数据库取得,存储维度的数据以数据表形式存储在据库取得,存储维度的数据以数据表形式存储在OLAP服务器上。服务器上。vROLAP将支撑多维数据的原始数据、多维数据将支撑多维数据的原始数据、多维数据集数据、汇总数据和维度数据都存储在现有的关集数据、汇总数据和维度数据都存储在现有的关系数据库中,并用独立的关系表来存放聚集数据。系数据库中,并用独立的关系表来存放聚集数据。v不存储源数据副本,占用的磁盘空间最少,但存不存储源数据
14、副本,占用的磁盘空间最少,但存取速度也比较低。取速度也比较低。252MOLAPvMOLAP使用多维数组存储数据,它是一种高性使用多维数组存储数据,它是一种高性能的多维数据存储格式。能的多维数据存储格式。v多维数据在存储中将形成多维数据在存储中将形成“立方体立方体”的结构。的结构。MOLAP存储模式将数据与计算结果都存储在立存储模式将数据与计算结果都存储在立方体结构中,并存储在分析服务器上。方体结构中,并存储在分析服务器上。v该结构在处理维度时创建。该结构在处理维度时创建。v存取速度最快,查询性能最好,但占用磁盘空间存取速度最快,查询性能最好,但占用磁盘空间较多。较多。263HOLAPvROLA
15、P与与MOLAP存储方式的结合。存储方式的结合。v原始数据和原始数据和ROLAP一样存储在原来的关系一样存储在原来的关系数据库中,而聚合数据则以多维的形式存数据库中,而聚合数据则以多维的形式存储。储。v这样它既能与关系数据库建立连接,同时这样它既能与关系数据库建立连接,同时又利用了多维数据库的性能优势。又利用了多维数据库的性能优势。v缺点是在缺点是在ROLAP和和MOLAP系统之间的切系统之间的切换会影响它的效率。换会影响它的效率。27三种存储方式的比较 内容内容MOLAPROLAPHOLAP源数据的副本有无无占用分析服务器存储空间大小小使用多维数据集小较大大数据查询快慢慢聚合数据的查询快慢快
16、使用查询频度经常不经常经常28常用的服务器端分析工具v可以用作多维数据分析的服务器端工具很可以用作多维数据分析的服务器端工具很多,其中常用的、功能比较强大的有:多,其中常用的、功能比较强大的有:vMicrosoft公司的公司的SQL Server Analysis Services(SQL Server分分析服务);析服务);vIBM公司的公司的DB2 OLAP Server(OLAP服务器)。服务器)。29 SQL Server Analysis Services vAnalysis Services提供了从数据仓库中提供了从数据仓库中设计、构建及管理多维数据集的能力,同设计、构建及管理多维
17、数据集的能力,同时也可以让客户端取得时也可以让客户端取得OLAP数据。数据。v我们从分析服务的特点、体系结构、存储我们从分析服务的特点、体系结构、存储结构三个方面介绍分析服务。结构三个方面介绍分析服务。301.分析服务的特点v易用性;易用性;v灵活的数据存储模型;灵活的数据存储模型;v伸缩性;伸缩性;v集成;集成;v支持大量的支持大量的API和函数;和函数;v分布式处理能力;分布式处理能力;v服务器端结构的高速缓存。服务器端结构的高速缓存。312分析服务的体系结构分析服务的体系结构 321服务器端体系结构v Analysis Services 提供服务器功能以创建和管理提供服务器功能以创建和管
18、理 OLAP 多维数据集及数据挖掘模型,并通过透视表服务为多维数据集及数据挖掘模型,并通过透视表服务为客户端提供数据。客户端提供数据。v 服务器端操作通常包括:服务器端操作通常包括:从关系数据库,通常是数据仓库,创建并处理多维数据集。以多维结构、关系数据库或二者的结合形式存储多维数据集数据。从多维数据集或关系数据库创建数据挖掘模型,通常是在数据仓库中创建。以多维结构、关系数据库或标准化 XML 格式的预测模型标记语言(PMML)的形式存储数据挖掘模型的数据。33Analysis Services的服务器端体系结构 342客户端体系结构v客户端体系结构的核心是数据透视表服务客户端体系结构的核心是
19、数据透视表服务(PivotTable Service)。)。v它与它与Analysis服务器交互,并为访问服务服务器交互,并为访问服务器端的器端的OLAP数据的客户端应用提供基于数据的客户端应用提供基于COM的接口。的接口。35Analysis Services 客户端的体系结构 36数据透视表服务的功能v 为所有客户端应用程序进行在线和离线分析提供统一的与为所有客户端应用程序进行在线和离线分析提供统一的与OLAP服务器的连接点。服务器的连接点。v 作为服务提供支持使用关系型数据库创建的多维数据,实作为服务提供支持使用关系型数据库创建的多维数据,实现多维数据展示功能。现多维数据展示功能。v 支
展开阅读全文