数-据-仓-库-设-计课件.ppt

1、OLAP的旋转功能平面数据的坐标轴转换。12.78.5-4.38.9差量%-4432225402-299531102差量35000030000069000350000计划30667732540266005381102现有其它汽车家具服装销售量199912.7-44322350000306677所有其他8.525402300000325402汽车-4.3-29956900066005家具8.931102350000381102服装差量%差量计划现有销售量1999数数 据据 仓仓 库库 设设 计计1.1 1.1 系统设计的差异系统设计的差异操作型数据库操作型数据库数据仓库数据仓库面向应用面向应用面

2、向分析面向分析确定的应用需求确定的应用需求应用需求的收集和分析在系统设计前期确定；一旦确定，一般不再改变。不确定的分析需求不确定的分析需求数据分析需求的收集、分析和理解一般贯穿整个系统设计过程。事务处理性能事务处理性能数据的全局一致性数据的全局一致性数据来自于组织外部数据来自于组织外部数据获取；存储数据；数据查询；数据更新；数据安全；数据有效。数据来自于系统内部数据来自于系统内部数据转换、重组、综合；数据分析效率、准确性。1.2 SDLC与CLDSnSDLC操作型环境中，业务过程和规则比较规范和固定。系统设计人员能够清晰地了解应用的需求和数据流程，系统的设计一般采取系统生命周期法 (Syste

3、ms Development Life Cycle) 。nCLDS分析型环境中，DSS分析对决策分析的需求不能预先作出规范说明，只能给设计人员一个抽象模糊的描述。设计人员必须在与用户不断的交流中，将系统需求逐步明确与完善。为了强调这种开发的不确定型，将此设计方法定名为CLDS方法（与SDLC相反）。收集应用需求系统实施系统测试应用编程构建数据库应用1应用B应用CDB分析应用需求SDLC方法方法DSS应用编程DBDB外部数据数据仓库建模理解需求数据获取与集成系统测试构建数据仓库DWCLDS方法方法“数据驱动数据驱动”1.3 “数据驱动”的系统设计思路n识别出当前系统设计与已做工作的共同性； 出发

4、点n从已有数据库系统出发，按照分析领域对数据及数据之间的联系重新考察，组织数据仓库中的主题；n利用数据模型有效识别原有数据库中的数据和数据仓库中主题的数据的共同性。 中心数据驱动系统设计方法的中心数据驱动系统设计方法的中心数据模型数据模型操作型数据库设计数据仓库设计数据库数据仓库操作型数据库应用开发与设计DSS应用开发与设计数据模型2 数据仓库设计的三级数据模型n概念模型现实世界到机器世界的中间层次信息世界E-R法(实体-联系法)n逻辑模型关系模型n物理模型逻辑模型在数据仓库中的实现。物理存取方式、数据存储结构、数据存放位置以及存储分配等。数据模型对现实世界进行抽象的工具。3 提高数据仓库的性

5、能n粒度划分粒度划分细节级、轻度综合级、高度综合级n数据分割数据分割分割的标准：时间、业务领域、地理分布n物理设计中的其他问题物理设计中的其他问题表合并引入冗余建立广义索引建立数据序列表的物理分割生成导出数据提高系统的物理提高系统的物理I/O性能性能粒度划分n粒度划分的决定性因素是表的总行数粒度划分的决定性因素是表的总行数 数据存取是通过存取索引来实现的，索引是对应表的行来组织的。因此与表的数据量无关。n估算数据仓库中数据的行数估算数据仓库中数据的行数对每一已知表 统计一年内数据行数的最大行数和最小行数； 统计五年内数据行数的最大行数和最小行数。n根据估算出的数据行，决定是否要划分粒度根据估算

6、出的数据行，决定是否要划分粒度一年105行左右细节级、综合级一年106行以上细节级、轻度综合级、高度综合级五年106行左右细节级、综合级五年107行以上细节级、轻度综合级、高度综合级表合并表合并n当查询涉及到分散在几个物理块的多个表的数据，表的存取和连接操作会影响系统的性能。n为了节省I/O开销，可以把这些表的数据混合存放在一起。n表的合并只是物理上的合并，并非逻辑上的合并ENCS3MABS2CSAS1系别D姓名N学号S#学生表CCC2S3BC1S3BC4S2BC1S2AC4S1BC3S1AC1S1成绩G#课程号C#学号S#学生选课表SCS1C4AS1ASAC3BS1C1AS3CS2BS2C1

7、BS3C1BS2C4BS3C2C物理存储块n处理最值问题的方法广义索引。这个月销售最差的十种商品是什么？n从操作型数据库抽取数据并装载到数据仓库的同时，根据用户需要建立广义索引。引入冗余引入冗余建立广义索引建立广义索引n一些表的某些属性经常会被使用到，且不常更新，就可以将这些属性复制到多个表中，从而减少处理时被存取的表的个数。n商品固定信息表（商品号、商品名、类别 ） 商品销售表（商品名、销售量、销售日期 ）商品销售表（商品名、商品名、类别、销售量、商品销售表（商品名、商品名、类别、销售量、销售日期销售日期 ）数据序列数据序列1356472物理块1物理块2物理块31234567物理块1物理块2

8、表的物理分割n“数据分割数据分割”表的逻辑分割。表的逻辑分割。将一个表按一定的分割标准分成两个或多个表。n表的物理分割表的物理分割依据数据的存取频率和数据的稳定性来进行；将一张表按照各属性被存取的频率分成两个或多个表。n事先在原始数据的基础上进行总结或计算，生成导出数据。减少了I/O的次数，免去计算和汇总的步骤；建立了公共数据源，避免了不同用户进行重复计算可能产生的偏差。生成导出数据4 数据仓库设计步骤n数据驱动的系统设计方法n设计步骤 概念模型设计 技术准备工作 逻辑模型设计 物理模型设计 数据仓库生成 数据仓库运行与维护n实例：商店的数据仓库设计2技术环境准备技术环境准备2确定主题域确定主

9、题域1技术评估技术评估1界定系统边界界定系统边界概念模型设计概念模型设计技术准备工作技术准备工作2数据分割策略数据分割策略4记录系统定义记录系统定义1粒度层次划分粒度层次划分3关系模式定义关系模式定义1确定存储结构确定存储结构4确定存储分配确定存储分配2确定索引结构确定索引结构3确定存放位置确定存放位置逻辑模型设计逻辑模型设计物理模型设计物理模型设计数数 据据 仓仓 库库 生生 成成 1设设计计接接口口2数数据据输输入入数据仓库运行与维护数据仓库运行与维护分析主题域，针对每一个当前实施的主题域分析主题域，针对每一个当前实施的主题域数据类型数据类型分析分析数据仓库设计步骤数据仓库设计步骤源系统源

10、系统分析分析程序程序说明说明技术评估技术评估粒度分析粒度分析编编程程数据数据装入装入数据仓库设计数据仓库设计运行与维护运行与维护技术环境准备技术环境准备1854327611109反反 馈馈循循 环环主题域主题域分析分析IBMnIBMVisual Warehouse(VW)Essbase/DB2 OLAP Server 5.0及管理器IBM DB2 UDBHyperion Wired for OLAP/Business ObjectsnInformixInformix Formation和Informix DataStageInformix Red Brick Warehouse数据库Infor

11、mix MetaCube OlAP服务器Informix MetaCube Exploer/Web ExplorerOracalnOracal8i关系型数据库引擎nOracle Warehouse BuilderingETL工具nExpress多维数据库引擎nDiscover关系OLAP查询工具nOracle数据挖掘套件其他厂商nMicrosoftSQL ServerPlato和Data Transformation ServicesnSybasenSASnNCR4.1.1 界定系统边界需求分析n要做的决策类型由哪些？n决策者感兴趣的是什么问题？ n这些问题需要些什么样的信息？n要得到这些信息

12、需要包含原有数据库系统的哪些部分的数据？商品的营销策略商品的营销策略顾客的购买趋势、商品供应市场的变化顾客的购买趋势、商品供应市场的变化趋势、分析供应商信用等级趋势、分析供应商信用等级商品销售数据、商品采购数据、商品库商品销售数据、商品采购数据、商品库存数据、顾客信息、供应商信息存数据、顾客信息、供应商信息销售子系统、采购子系统、库存子系统销售子系统、采购子系统、库存子系统4.1.2 确定主题域n确定系统所包含的主题域n描述每个主题域的内容主题域之间的关系主题域的公共码键充分代表主题的属性组商品、供应商、顾客商品、供应商、顾客商品商品供应商供应商顾客顾客商品供应关系商品供应关系商品销售关系商品

13、销售关系E-R图表示图表示主题的描述主题的描述4.2.1 技术评估：n确定数据仓库的各项性能指标管理大数据量数据的能力进行灵活数据存取的能力根据数据模型重组数据的能力透明的数据发送和接受能力周期性成批装载数据的能力可设定完成时间的作业管理能力4.2.2 技术环境准备n考虑相关的问题：预期在数据仓库上分析处理的数据量有多大？如何减少或减轻竞争性存取程序的冲突？数据仓库的数据量有多大？进出数据仓库的数据通信量有多大？ n确定软硬件配置：直接存取设备(DASD)网络管理直接存取设备的操作系统进出数据仓库的界面（数据查询和分析工具）管理数据仓库的软件4.3.1 粒度层次划分n确定采用单一粒度还是多重粒

14、度，以及粒度划分的层次。n商场数据仓库的粒度划分“商品”主题的数据量庞大，采用多重粒度商品销售记录的数据量最大，定义商品销售数据的层次要更丰富。 周统计销售数据 月统计销售数据 季统计销售数据等等4.3.2 数据分割策略n数据量 是否需要数据分割，如何分割n数据分析处理的要求 选择数据分割的标准n简单易行 数据分割要易于理解，易于实施n粒度划分策略 数据分割的标准与粒度划分层次相适应选择数据划分策略，需考虑的因素有：选择数据划分策略，需考虑的因素有：4.3.3 关系模式定义表维商品固有信息商品表商品号，商品名，类别，颜色细节级商品采购信息采购表1供应商号，供应价，供应日期，供应量细节级采购表2

15、商品号、时间段1，采购总量时间段不等的综合表采购表n商品号、时间段n，采购总量商品销售信息销售表1商品号，顾客号，售价，销售日期，销售量细节级销售表2商品号、时间段1，销售总量时间段不等的综合表销售表n商品号、时间段n，销售总量商品库存信息库存表1商品号，库房号，库存量，日期细节级库存表2商品号，库房号，库存量，星期样本数据粒度形式.库存表n商品号，库房号，库存量，年其他导出数据其他其他4.3.4 定义记录系统n数据来源于操作型数据库和外部系统数据来源于操作型数据库和外部系统系统的数据都是面向应用的，不能完整描述企业中的主题域；多个数据源的数据存在许多不一致。n从数据仓库的概念模型出发，结合主

16、题的多个从数据仓库的概念模型出发，结合主题的多个表的关系模式，定义记录系统表的关系模式，定义记录系统选择最完整、最及时、最准确、最接近外部实体源的数据作为记录系统；这些数据所在的表的关系模式最接近于构成主体的多个表的关系模式。商场面向应用的数据库n采购子系统采购子系统订单(订单号，供应商号，总金额，日期)订单细则(订单号，商品号，类别，单价，数量)供应商(供应商号，供应商名，地址，电话)n销售子系统销售子系统销售(员工号，顾客号，商品号，数量，单价，日期)顾客(顾客号，姓名，性别，年龄，文化程度，地址，电话)n库存子系统库存子系统领料单(领料单号，领料人，商品号，数量，日期)进料单(进料单号，

17、进料人，收料人，数量，日期)库存(商品号，库房号，库存量，日期)库房(库房号，仓库管理员，地点，库存商品描述)n人事管理子系统人事管理子系统属性名数据源系统源表名源属性名商品号库存子系统商品商品号商品名库存子系统商品商品名类别库存子系统商品类别供应商号采购子系统订单供应商号供应日期供应日期采购子系统订单日期日期供应价供应价采购子系统订单细则单价单价顾客号销售子系统顾客顾客号销售日期销售日期销售子系统销售日期日期单价销售子系统销售单价销售量销售量销售子系统销售数量数量库存量库存子系统库存库存量日期库存子系统库存日期库房号库存子系统库房库房号商品主题的记录系统定义商品主题的记录系统定义4.4 物理

18、模型设计n全面了解所选用的数据库管理系统(特别是存储结构和存储方法)；n了解数据环境、数据的使用频度、使用方式、数据规模以及相应时间要求等；n了解外部存储设备的特性(分块原则，块大小的规定，设备的I/O特性等）确定数据仓库实现的物理模型，要求设计人员必须做到以下几方面：物理模型设计n确定数据存储结构确定数据存储结构存取时间、存取空间利用率和维护代价n确定索引策略确定索引策略索引结构可以提高数据存储的效率，对各个数据存储建立专用的、复杂的索引n确定数据的存放位置确定数据的存放位置按数据的重要程度、使用频率和对响应时间的要求进行分类，分别存储在不同的存储设备中n确定存储分配确定存储分配块的尺寸、缓

19、冲区的大小和个数等4.5.1 设计接口n从面向应用和操作的环境生成完整的数据n数据的基于时间的转换n数据的凝聚n对现有记录系统的有效扫描，以便以后进行追加数据库数据库数据库数据库数据库数据库数据仓库数据仓库接口编程的注意点n保持高效性n要保存完整的文档记录n要灵活，易于改动n要能完整、准确地完成从操作型环境到数据仓库环境的数据的抽取、转换与集成4.5.2 数据装入n确定数据装入的次序；n清除无效或错误的数据；n数据“老化”；n数据粒度管理；n数据刷新等运行接口程序，将数据装入到数据仓库运行接口程序，将数据装入到数据仓库4.6.1 建立DSS应用nDSS应用开发是从数据出发的；nDSS应用的需求

20、不能在开发初期明确了解；nDSS应用开发是一个不断循环的过程，是启发式的开发。DSS应用不同于联机事务处理应用应用不同于联机事务处理应用开发的显著特点：开发的显著特点：DSS应用的种类n例行分析处理重复进行的分析处理。属于部门级的应用，如部门统计分析，报表分析等等；n启发式分析处理企业经营者受到某种信息启发而进行的一些即席的分析处理。属于个人级的分析应用，随机性很大。DSS应用开发大致步骤确定所需数据编程抽取数据分析数据合并数据结果满足分析要求否？回答问题例行化？循 环NY多个抽取源4.6.2 维护数据仓库商场的数据仓库设计n了解商场经营状况，跟踪市场趋势，制定商品采购和销售策略。n各部门已建

21、立一些分散的数据库：人事、采购、库存、销售数据库。2.1 E-R法法nE-R图描述的是实体以及实体之间的关系。n长方形表示实体(主题、主题名)椭圆形表示实体(主题)的属性菱形表示主题之间的联系(联系名)n主题、属性、联系均用无向边连接商品库存信息商品库存信息商品采购信息商品采购信息商品固有信息商品固有信息商品销售信息商品销售信息日期日期商品号商品号商品商品供应商供应2.2 关系模型关系模型n元组元组：表中的一行称为元组n属性属性：表中的一列，给每一列取一个名称即属性名n主码主码：表中的某个属性组，他们的值唯一标识一个元组n域域：属性的取值范围n分量分量：元组中的一个属性组n关系模式关系模式：用

22、关系名(属性名)表示姓名 顾客号 地址张平 C960100 北京王珂 C960101 上海刘辉 C960102 天津李强 C960103 成都 . . . 顾客信息表顾客信息表E-R图图供应商固有信息供应商固有信息供应商品信息供应商品信息日期日期供应商号供应商号供应商日期日期顾客购物信息顾客购物信息顾客固有信息顾客固有信息顾客号顾客号顾客商品库存信息商品库存信息商品采购信息商品采购信息商品固有信息商品固有信息商品销售信息商品销售信息日期日期商品号商品号商品主题的描述主题的描述主题名公共码键属性组商品商品号商品固有信息：商品号，商品名，类别，颜色等商品采购信息：商品号，供应商号，供应家，供应日期，供应量等商品销售信息：商品号，顾客号，售价，销售日期，销售量等商品库存信息：商品号，库房号，库存量，日期等供应商供应商号供应商固有信息：供应商号，供应商名，抵制，电话，供应商类型等供应商品信息：供应商号，商品号，供应家，供应日期，供应量等顾客顾客号顾客固有信息：顾客号，顾客名，性别，年龄，文化程度，住址，电话等顾客购物信息：顾客号，商品号，售价，购买日期，购买量等