中文Les17-管理数据仓库--数据仓库教学课件-中文oracle99版.ppt

1、Copyright Oracle Corporation,1999.All rights reserved.管理数据仓库管理数据仓库Copyright Oracle Corporation,1999.All rights reserved.总述总述项目管理项目管理(方法论方法论,维持元数据维持元数据)定义数据仓库的定义数据仓库的概念及术语概念及术语规划一个成功规划一个成功的数据仓库的数据仓库分析用户分析用户查询需求查询需求选择一个处理选择一个处理体系结构体系结构建模数据仓库建模数据仓库规划仓库存储规划仓库存储ETT(Building theWarehouse)满足业务需求满足业务需求支持最终支

2、持最终用户存取用户存取管理数据仓库管理数据仓库Copyright Oracle Corporation,1999.All rights reserved.目标目标完成本课后完成本课后,你应该能够做到以下几点你应该能够做到以下几点:为数据仓库由开发到运行的转换制定一个管理规划为数据仓库由开发到运行的转换制定一个管理规划确定数据仓库的增长所带来的挑战确定数据仓库的增长所带来的挑战描述文件备份和归档文件机制描述文件备份和归档文件机制确定数据仓库的性能问题确定数据仓库的性能问题Copyright Oracle Corporation,1999.All rights reserved.管理向产品的转换管

3、理向产品的转换提升转变的支持度提升转变的支持度对大规模运行的指导对大规模运行的指导文档文档测试测试培训培训运行后的支持运行后的支持维护数据仓库维护数据仓库Copyright Oracle Corporation,1999.All rights reserved.提升转变的支持度提升转变的支持度支持支持 不支持不支持管理管理 竞争竞争 改变的风险改变的风险业务的优点业务的优点 风险的避免风险的避免开发者开发者 新技术新技术 过时的技术过时的技术领先的前沿领先的前沿 最终用户最终用户更快更灵活的系统更快更灵活的系统瓦解瓦解改良的工具改良的工具改变改变增加的工作量增加的工作量Copyright Or

4、acle Corporation,1999.All rights reserved.提升支持的方法提升支持的方法了解了解反馈反馈通告通告技术技术教育教育方向方向控制控制Copyright Oracle Corporation,1999.All rights reserved.在导向和大范围运行之间选择在导向和大范围运行之间选择导向导向大范围运行大范围运行Copyright Oracle Corporation,1999.All rights reserved.仓库导向仓库导向被证实的优点被证实的优点:管理管理用户用户IT 职员职员与业务相关与业务相关 低技术风险低技术风险小并且可行小并且可行可

5、预期增长的使用可预期增长的使用集中在最初的业务问题上集中在最初的业务问题上保持上下文统一保持上下文统一Copyright Oracle Corporation,1999.All rights reserved.仓库导向仓库导向设计者设计者检验模型，数据和访问工具检验模型，数据和访问工具用户用户检验工具的使用情况检验工具的使用情况核对数据和查询性能核对数据和查询性能确定培训要求确定培训要求开发者开发者解决解决 ETT 和元数据问题和元数据问题确定用户数据和培训要求确定用户数据和培训要求测试安全性和访问级别测试安全性和访问级别,监控性能监控性能Copyright Oracle Corporatio

6、n,1999.All rights reserved.文档文档制作文本交付制作文本交付:术语表术语表用户和技术文档用户和技术文档联机帮助联机帮助元数据参考指南元数据参考指南仓库管理参考仓库管理参考新特征指南新特征指南Copyright Oracle Corporation,1999.All rights reserved.测试仓库测试仓库测试每个阶段测试每个阶段.使用现实世界中的数据测试数据库和环境使用现实世界中的数据测试数据库和环境.Copyright Oracle Corporation,1999.All rights reserved.培训培训用户用户元数据元数据DSS 工具工具特别查询

7、特别查询获得帮助获得帮助登记增加的请求登记增加的请求信息系统开发者信息系统开发者:分析技术分析技术硬件技术性问题硬件技术性问题 联网联网运行运行,构建和支持构建和支持 DSSCopyright Oracle Corporation,1999.All rights reserved.评价和审查运行情况评价和审查运行情况监控仓库监控仓库:对问题的响应对问题的响应进行性能调优进行性能调优 展开元数据，查询，过滤器以及条件展开元数据，查询，过滤器以及条件运行的安全性运行的安全性一体化新的用户一体化新的用户分配数据集市和目录分配数据集市和目录从从 IT中转移所有权中转移所有权运行支持运行支持Copyri

8、ght Oracle Corporation,1999.All rights reserved.管理的增长管理的增长扩大的用户数量扩大的用户数量Initial 3 Months6 Months12 Months24 Months050100150200250300Initial 3 Months6 Months12 Months24 MonthsCopyright Oracle Corporation,1999.All rights reserved.类型的增长类型的增长越来越多的用户越来越多的用户广泛使用广泛使用数据容量的增加数据容量的增加Copyright Oracle Corporati

9、on,1999.All rights reserved.扩张和调整扩张和调整不断的评估不断的评估:变化变化新增量新增量多余的组件多余的组件策略策略确保开放的系统确保开放的系统求证未来的发展过程求证未来的发展过程:计划编制计划编制成本分析成本分析问题评估和修正问题评估和修正性能评估性能评估Copyright Oracle Corporation,1999.All rights reserved.控制扩充控制扩充 受以下几点控制：受以下几点控制：确保工作人员的连续性确保工作人员的连续性证明方法、过程和规律证明方法、过程和规律为进一步的改进建立可运行的测试和产品的体系结构为进一步的改进建立可运行的测

10、试和产品的体系结构为维持数据的改变建立策略为维持数据的改变建立策略Copyright Oracle Corporation,1999.All rights reserved.存储大小存储大小考虑不同的方法考虑不同的方法.决定你所需要的最佳的方法决定你所需要的最佳的方法.了解业务需求了解业务需求.不要低估需求不要低估需求.为增量做好计划为增量做好计划.考虑多余数据的空间考虑多余数据的空间.Copyright Oracle Corporation,1999.All rights reserved.估计存储估计存储实际容量实际容量实际生命周期实际生命周期技术的有效性技术的有效性技术购买技术购买存储前

11、期摘要数据存储前期摘要数据镜像或其他技术要求的磁盘存储镜像或其他技术要求的磁盘存储 Copyright Oracle Corporation,1999.All rights reserved.需要空间的对象需要空间的对象ODS索引和元数据索引和元数据 概要数据概要数据 归档日志归档日志反转信息反转信息排序区排序区临时空间临时空间备份和恢复的工作区备份和恢复的工作区Copyright Oracle Corporation,1999.All rights reserved.测试加载样本测试加载样本分析统计有意义的数据样本分析统计有意义的数据样本使用不同的方法对加载进行实验使用不同的方法对加载进行实

12、验反映日常的运作反映日常的运作包括周期性的数据和最坏情况的特定情包括周期性的数据和最坏情况的特定情节节计算交易的数量计算交易的数量使用平均销售额方法使用平均销售额方法Copyright Oracle Corporation,1999.All rights reserved.平均销售额平均销售额假定交易水平所得假定交易水平所得.公司的总收入公司的总收入每个排列项的平均销售额每个排列项的平均销售额一年中排列项的数量一年中排列项的数量基础记录的数量基础记录的数量关键字段关键字段实际字段实际字段基础事实表的大小基础事实表的大小$20 billion$5$20 billion/$5=4 billion4

13、 billion x 3 yrs=12 billion4(x 4 bytes)4(x 4 bytes)12 billion x 8 fields x 4 bytes=385 GBCopyright Oracle Corporation,1999.All rights reserved.平均销售额平均销售额使用其他方法使用其他方法:很难获得精确的平均值很难获得精确的平均值你的计算结果可能不准确你的计算结果可能不准确不要原来的方法不要原来的方法Copyright Oracle Corporation,1999.All rights reserved.其他技术和需要考虑的事项其他技术和需要考虑的事项

14、排队模型排队模型单凭经验的方法单凭经验的方法所有的数据库的大小是基本实际表的所有的数据库的大小是基本实际表的3-4倍倍需要考虑的事项需要考虑的事项:稀疏稀疏维数维数索引索引概要概要排序操作的空间排序操作的空间Copyright Oracle Corporation,1999.All rights reserved.空间管理空间管理监控监控避免破碎避免破碎测试负荷数据测试负荷数据为增长作好打算为增长作好打算熟悉业务模式熟悉业务模式决不使空间成为一个问题决不使空间成为一个问题Copyright Oracle Corporation,1999.All rights reserved.管理备份和恢复管

15、理备份和恢复有效的业务需求有效的业务需求快速的恢复实质快速的恢复实质策略策略:定义定义测试测试论证论证进化进化Copyright Oracle Corporation,1999.All rights reserved.备份策略备份策略基于业务需求和成本收益基于业务需求和成本收益包括大容量的数据包括大容量的数据:除了临时表空间外所有的对象除了临时表空间外所有的对象增加的增加的包括第一次加载和更新的包括第一次加载和更新的Copyright Oracle Corporation,1999.All rights reserved.定义策略定义策略任务评价体系任务评价体系SLAs:定义停工期定义停工期可

16、接受的可接受的 MTBF有效率的备份和恢复有效率的备份和恢复不同技术的评价不同技术的评价Copyright Oracle Corporation,1999.All rights reserved.备份规划备份规划在每个设计阶段进行规划在每个设计阶段进行规划为为 VLDBs使用热备份使用热备份备份必不可少的组件备份必不可少的组件:事实和多维数据事实和多维数据仓库模式仓库模式元数据模式元数据模式元数据元数据输出输出/输入效用输入效用:磁盘空间磁盘空间 时间时间Copyright Oracle Corporation,1999.All rights reserved.备份工具备份工具Oracle8

17、企业备份组件企业备份组件Oracle9 恢复管理器恢复管理器效用效用:输入和输出输入和输出操作系统操作系统第三方第三方Copyright Oracle Corporation,1999.All rights reserved.并行备份和恢复并行备份和恢复并行备份并行备份从任一节点同时运行从任一节点同时运行脱机脱机联机联机并行恢复并行恢复从归档日志同时运行从归档日志同时运行Copyright Oracle Corporation,1999.All rights reserved.系统缺陷系统缺陷过程过程数据库实例数据库实例媒体媒体自然灾害自然灾害失败是昂贵的失败是昂贵的Copyright Ora

18、cle Corporation,1999.All rights reserved.灾难性恢复要求灾难性恢复要求复位和备用机器复位和备用机器磁带和磁盘容量磁带和磁盘容量用户和数据之间的通信线路用户和数据之间的通信线路软件拷贝软件拷贝数据库备份数据库备份管理部门和操作人员管理部门和操作人员文件文件Copyright Oracle Corporation,1999.All rights reserved.灾难性恢复规划灾难性恢复规划建立策略建立策略准备策略准备策略维持策略维持策略审核策略审核策略有规律的测试恢复规划有规律的测试恢复规划得到用户的赞成得到用户的赞成Copyright Oracle Co

19、rporation,1999.All rights reserved.归档数据归档数据确定数据的平均寿命确定数据的平均寿命.确定归档的频率确定归档的频率.使用只读的表空间使用只读的表空间.规划和设计早期的说明书规划和设计早期的说明书.Copyright Oracle Corporation,1999.All rights reserved.清洗数据清洗数据减少数据容量减少数据容量:创建概要创建概要.移出不必要的基础数据移出不必要的基础数据.选择最优效率的方法选择最优效率的方法.Copyright Oracle Corporation,1999.All rights reserved.改善查询效

20、率改善查询效率改进数据库设计改进数据库设计使用索引使用索引使用管理人员使用管理人员使用准备好的经过测试的查询使用准备好的经过测试的查询在上班时间外运行大的工作在上班时间外运行大的工作Oracle 8i 资源管理器可以保证特殊组资源的有效性资源管理器可以保证特殊组资源的有效性使用数据集市使用数据集市Copyright Oracle Corporation,1999.All rights reserved.网络性能网络性能提供足够的带宽提供足够的带宽 为访问提供最佳的配置为访问提供最佳的配置 确定中间件的需求确定中间件的需求了解更新容量了解更新容量考虑作业调度软件的交互作用考虑作业调度软件的交互作

21、用使用客户端处理使用客户端处理 配置数据集市配置数据集市 分析通信量分析通信量Copyright Oracle Corporation,1999.All rights reserved.回顾回顾监控仓库监控仓库:用途用途访问访问精确度精确度细目数据细目数据周期周期Copyright Oracle Corporation,1999.All rights reserved.成功的秘诀成功的秘诀从从大事大事着眼，从着眼，从小事小事做起做起Copyright Oracle Corporation,1999.All rights reserved.总结总结成功的仓库成功的仓库:由业务驱动由业务驱动集中于目的集中于目的增值业务增值业务可以被理解和使用可以被理解和使用交付良好的数据交付良好的数据很好的完成任务很好的完成任务属于用户属于用户