元数据管理-实用-课件.ppt

1、元数据管理冷鹏（2006年编写）1ppt课件2n数据集成技术数据集成技术n 数据展现分析数据展现分析n 数据仓库建模数据仓库建模n 厂商解决方案厂商解决方案n 谈元数据管理谈元数据管理n 数据仓库基础数据仓库基础n 项目开发管理项目开发管理ppt课件3元数据管理工具元数据管理工具n Informatica MetaManagern DAG MetaCentern IBM MetaStagen Oracle OWBn CA Decisionbase Transformern ppt课件4元数据元数据MDC的开放信息模型的开放信息模型分析与设计（Analysis and Design）对象与组件（

2、Object and Component）数据库与数据仓库（Database and Warehousing）业务工程（Business Engineering）知识管理（Knowledge Management）OMG组织的组织的CWM模型模型UML MOF（元对象设施）XMI（XML元数据交换）ppt课件5元数据的重要性元数据的重要性及时发现系统变化及时发现系统变化找出需要调整的找出需要调整的ETL程序程序给出仓库中数据和指标的来源及规则给出仓库中数据和指标的来源及规则调整仓库的数据模型调整仓库的数据模型促进项目组成员的沟通促进项目组成员的沟通监控数据质量监控数据质量采用元数据跟用户确认新

3、的需求采用元数据跟用户确认新的需求ppt课件6技术元数据技术元数据ppt课件7业务元数据业务元数据ppt课件8业务专家业务专家元数据元数据开发人员开发人员项目经理项目经理架构师架构师谁需要元数据谁需要元数据业务经理业务经理分析人员分析人员业务定义业务定义如：某销售指标不正确，找出销售指标的计算方法及计算项来源业务专家业务专家ppt课件9分析人员分析人员开发人员开发人员业务专家业务专家项目经理项目经理架构师架构师谁需要元数据谁需要元数据业务经理业务经理元数据元数据需求分析定义需求分析定义如：分析指标定义、报表如：分析指标定义、报表定义、数据来源定义定义、数据来源定义ppt课件10开发人员开发人员

4、业务专家业务专家项目经理项目经理架构师架构师谁需要元数据谁需要元数据业务经理业务经理元数据元数据不同开发小组之间的交流不同开发小组之间的交流如：DBA工程师与ETL工程师 DBA工程师与BI工程师 .分析人员分析人员ppt课件11元数据元数据开发人员开发人员业务专家业务专家项目经理项目经理架构师架构师谁需要元数据谁需要元数据业务经理业务经理业务管理与信息消费业务管理与信息消费如：数据分析、业务决策、给前系统提出改进建议，对数据仓库系统二期、三期提出更多的业务需求分析人员分析人员ppt课件12开发人员开发人员业务专家业务专家项目经理项目经理架构师架构师谁需要元数据谁需要元数据业务经理业务经理元数

5、据元数据数据仓库项目管理控制数据仓库项目管理控制如：定义项目范围、控制项目风险、评估不同系统集成时产生的影响（影响分析）分析人员分析人员ppt课件13元数据元数据开发人员开发人员业务人员业务人员项目经理项目经理架构师架构师谁需要元数据谁需要元数据业务经理业务经理项目架构设计项目架构设计如：了解多个业务系统的结构、关联关系，数据转换规则设计.分析人员分析人员ppt课件14元数据的存储区元数据的存储区ppt课件15数据仓库元数据结构图数据仓库元数据结构图ppt课件16元数据管理示意图元数据管理示意图源数据源数据EDW（ODS+DW+DM）前端工具前端工具connections暂存区暂存区元数据元数

6、据数据库数据库ppt课件17Informatica Metadata MangerMetadata Object Browser and Graphical ReportsPowerCenter Integration ServerSuperGlue WarehouseMetadata SourcesSG Integration RepositoryCWM Class MetaModelPresentation ServerMetadata XConnectsSG ConsoleRole based dashboards and Metadata ReportsWin NT,2000,XPWa

7、rehouse-Oracle 8.1.7,9.2.0.1 and above,10g-SQL Server 2000 SP3-DB2 UDB 8.x EE/EEEIntegration Repo-Oracle 8.1.7,9.2.0.1 and above,10g-SQL Server 2000 SP3-DB2 UDB 7.x EE/EEE and aboveREPOSITORIESppt课件18PowerCenter Integration ServerInformatica Metadata ManagerMetadata Object Browser and Graphical Repo

8、rtsSuperGlue WarehouseSG Integration RepositoryCWM Class MetaModelPresentation ServerMetadata XConnectsSG ConsoleRole based dashboards and Metadata ReportsWin NT,2000,XPSERVERSPC 7.1.1 Integration ServerPC 7.1.1 on:NT,SOLARIS HP Unix,IBM AIX(PC supported versions)PA 4.1.1 Apps ServerBrowser IE 6.0 u

9、sing:iPlanet 6.0,IIS 6.0 OR Apache 1.3BEA WL 6.1 SP4 on:-NT 4.0 SP5,NT 2000 SP2,Win 2003-SOLARIS 7.0,8.0-HP Unix 11.0,11i-IBM AIX 4.3,5.1Websphere 5.1 on:-NT 4.0 SP5,NT 2000 SP2,Win 2003-SOLARIS 7.0,8.0-IBM AIX 4.3,5.1Metadata Sourcesppt课件19Informatica Metadata ManagerMetadata Object Browser and Gra

10、phical ReportsPowerCenter Integration ServerSuperGlue WarehouseSG Integration RepositoryCWM Class MetaModelPresentation ServerMetadata XConnectsSG ConsoleRole based dashboards and Metadata ReportsWin NT,2000,XPETL-PowerCenter 5.x,6.x,7.x*-PowerMart 5.x,6.x,7.x*BI-PowerAnalyzer 4.x*-BOBJ 5.0,5.1.x,6.

11、x-COGN Impromptu 7.x-COGN ReportNet 1.x-MSTR Designer 7.x-DB2 CubeViewsXCONNECTS*(on Oracle 8.1.7 and above,SQL Server 2000 SP3 and DB2 7.x EE/EEE and above)Databases-Oracle 8.1.7,9i,10g-SQL Server 2000-Sybase 12.x-TERADATA V2 R5 -DB2 UDB 7.1,7.2,8.1 EE/EEE-IBM Informix 9.2Design Tools-ERwin 3.0 to

12、3.5.2,4.0 SP1 to 4.1-Oracle Designer 1.3.2,2.1.2,6.0,6i,9i-Sybase PowerDesigner PDM 6.1.x,7.5 to 9.5-IBM Rational ER 98(I)to 2000,2000e to 2002-Microsoft VISIO Database(ERX)-Embarcadero ERStudio 5.1 to 6.0 Metadata Sourcesppt课件20Source definition 源系统地址源系统地址,网络连接网络连接,访问方式访问方式Location,network connecti

13、on,access methods计算机系统计算机系统,操作系统操作系统Computer platform definition,operating system definition数据库服务器名数据库服务器名,访问方式访问方式,数据结构数据结构,有关的表有关的表,列列Database server name,access methods,schema,table,elements of interests源数据库链接说明源数据库链接说明 Source database links逆工程与源系统设计获取定义说明逆工程与源系统设计获取定义说明Reverse engineering and so

14、urce design capture specification元数据交换说明元数据交换说明Metadata exchange definition ppt课件21Staging area definition 源至暂存区映像（Source-staging mapping）暂存区至目标区映像Staging-target mapping中间文件的传输说明File transport specification中间文件的说明及使用File specification and usage中间文件的前后处理(清理与压缩)说明File pre/post event processing specifi

15、cation暂存区数据库的前后处理及中间处理说明及使用Staging database usage and pre/post process specification ppt课件22Target modeling definition 星结构Star schema事实表定义说明Fact table definition度量Measurement数字键Numeric key交替键Foreign key索引Index definition定义数据（如数据类型，数值大小和省缺值）有效性制约Validation constraint数据域值定义Data range validation分区定义说明P

16、artition specification存储说明Storage specification维表定义与说明Dimension table definition主键Primary key缓慢变化的维Slowly changed dimension维的等级/层次Dimension hierarchy维的共享Dimension sharing维的版号化Dimension versioning数据库完整性限定Database integrity constraintsppt课件23Target modeling definition 维表定义与说明Dimension table definition

17、主键Primary key缓慢变化的维Slowly changed dimension维的等级/层次Dimension hierarchy维的共享Dimension sharing维的版号化Dimension versioning数据库完整性限定Database integrity constraintsppt课件24Mapping definition 源至目标映像Source-target mapping基本数据到综合数据的映像Basic data-summary mapping标准字典Standard dictionary 转换字典Conversion dictionary参照表Look

18、up tables映像表Mapping tables ppt课件25ETL definition 转换规则和方法Conversion rule and method数据清洗说明Data cleaning specifications批作业说明Batch job specification加载频率Loading frequency累加时间片控制说明Incremental time slice control specification回退说明与准则Rollback specification and policy剥离与修改数据准则Strip and modification in bound d

19、ata policy 转换函数库Conversion function library传输定义与说明Transportation definition加载定义与说明Loading definitionppt课件26ETL definition 会期/对话管理定义与说明Session management definition预定作业排时Scheduling批作业前后事件说明及处理方法Pre-batch and post-batch job events批作业日志Batch logging会期/对话日志Session log拒收日志Rejected log坏数据日志Bad data log pp

20、t课件27Summary management definition 事实表/维表至总计方阵映像Fact/dimension-summary cube mapping总计至总计映像Summary-summary mapping总计方阵设计Summary cube layout聚合定义说明Aggregate definition实体化视图/方阵定义说明Materialized view/cube definition方阵间关系Relationships between cubes嵌入式实体化视图/方阵之间的依赖性Dependency of nested materialized views/cu

21、bes方阵组 Grouping of cubesppt课件28Summary management definition 刷新过程的定义与说明Refreshing definition刷新前后事件处理说明Pre-refreshing and post refreshing events刷新方法Refreshing methods刷新组Refreshing groups刷新执行顺序Refreshing sequence刷新频率Refreshing frequency刷新过程处理软件Refreshing procedures刷新作业的监控检查Refreshing monitoringppt课件29

22、OLAP definition 查询机制Query engine虚拟方阵/视图定义Virtual cube/view definition访问权限管理说明Privilege management specification用户接口定义与说明User interface definition访问方式Access method结果数据提交方法Delivery method and definition结果数据传输定义与说明Result set transportation definition用户登入/登出User log in/log off用户活动日志以及出错处理User logging an

23、d error handling联机分析用户手册OLPA User manual ppt课件30Application Software Specification 软件版号管理与说明Version control数据库应用版号Database application version软件与程序版号Software and program version程序与数据的参照所名Function-data object references包/过程软件/函数Packages/stored procedures/functions函数库Function library元件Components程序调用层次

24、模型定义与说明Hierarchical level model2-3级结构Architecture 2-3-tier structure程序库Library业务规则定义说明Business Rule definition业务规则表Business rule tables业务规则表与业务政策的联系Association between Business rule and business policies ppt课件31Quality control and security definition 安全政策Security policy审计日志Audit log错误捕捉Error trapping错误追朔方法及说明Error tracing method and specification数据库访问及网络交通日志Database access and network traffic logging ppt课件32元数据的应用元数据的应用 血缘分析血缘分析ppt课件33元数据的应用元数据的应用 影响分析影响分析ppt课件