NG2-BASS30规范培训-技术规范-元数据管理分册课件.ppt

1、2022年10月24日星期一目目 录录2 元数据管理体系架构1 本期规范修订目的3 本期规范新增与主要修订内容4 附件说明修订背景实现两级经分元数据信息互通，保障一、二经指标口径一致，使各省上报重点实现两级经分元数据信息互通，保障一、二经指标口径一致，使各省上报重点一经接口的真实汇总过程透明化，在发生数据质量问题时两级系统有共同的沟一经接口的真实汇总过程透明化，在发生数据质量问题时两级系统有共同的沟通平台，并防范部分省公司干扰指标真实性通平台，并防范部分省公司干扰指标真实性。修订背景修订背景经过NG1-BASS2.0元数据管理模块的建设，各省在元数据管理和应用方面积累了一些具有推广价值的经验，

2、同时也发现了一些存在问题 一级经营分析系统数据质量依赖于省级经营分析系统上传的接口数据质量，需要加强两级经营分析系统的数据理解一致性和重点接口的数据处理过程规范性；为提升经分系统数据质量，需要建立经分与数据源系统的协同管理机制；经营分析系统的发展对提出元数据管理模块提出新的要求，需要增强元模型管理、元数据获取能力和对外服务能基础能力，以更好支持经分建设和应用。修订目标和思路修订目标修订目标 建立经营分析系统核心元模型，规范数据处理过程的结构化描述 实现两级经营分析系统元数据互通，促进重点接口数据处理过程规范化 为经营分析系统基础技术模块提供支撑，扩充元数据服务接口 服务经营分析系统数据质量管理

3、子系统，为源系统联动机制提供基础支撑 修订思路修订思路 以CWM为基础面向经营分析系统建设和管理需要进行元模型细化和扩展，针对关键元数据对象建立核心元模型，实现两级元数据互通 增强SQL脚本解析，提升数据处理逻辑过程的展现能力 建立维表库管理、接口管理机制，支撑数据质量的源系统协同机制 提供数据封装和数据地图访问服务接口，增强元数据对外服务能力目目 录录3 本期规范新增与主要修订内容4 附件说明2 元数据管理体系架构1 本期规范修订目的元数据管理模块在经营分析系统中的定位本期修订内容本期修改内容本期新增内容 经营分析系统核心元模型 两级经分元数据互通 维表库管理 接口管理 数据地图展现 数据封

4、装元数据 客户隐私信息元数据 元数据变更管理 数据源接口元数据 维度数据 辅助安全管理 元数据服务接口（二期）SQL脚本自动解析（二期）二期建设内容目目 录录2 元数据管理体系架构4 附件说明1 本期规范修订目的3 本期规范新增与主要修订内容3.1 元数据获取层p 元数据获取新增SQL解析二期内容建设 在原有SQL脚本自动解析一期建设基础上，规范数据处理元数据的结构化描述、细化描述粒度、丰富解析效果展现层次，对SQL解析中的关键问题提出处理方法要求：数据处理过程元数据的生成 SQL脚本对象结构化描述 以ClassifierMap对象描述SQL脚本的数据转换处理逻辑 以RelationalOpe

5、rator对象描述SELECT子句的关系代数操作 以FeatureMap对象细化描述SQL脚本的关系操作 数据处理过程日志规范要求 SQL脚本的上下文关系处理要求 多路径问题和信息丢失问题处理要求二期建设：SQL脚本解析日志规范要求细化运行日志的输出形式：日志文件日志表日志内容中要求包含：提交到数据库执行的SQL脚本创建数据库链接的相关参数文件导入导出操作不要求包含游标操作信息二期建设：SQL脚本解析脚本程序描述和 SQL片段描述关系代数操作及其明细的描述数据转换处理单元描述脚本程序：TransformationTaskSQL片段：TransformationMapCREATE_SELECT句

6、型INSERT_SELECT句型INSERT_ALL句型UPDATE_SELECT句型MERGE句型RENAME句型简单Select子句复杂Select子句投影操作中嵌套SELECT子句FROM子句中嵌套SELECT子句交并差操作SELECT/COMBINATION/INSERTALL/MERGE/RENAME投影操作/交并差操作/改名操作二期建设：SQL脚本解析SQL脚本上下文信息处理多路径和信息丢失问题处理要求能够处理如下上下文相关类型：改变数据库连接临时表的处理命名空间的处理SQL脚本循环执行问题自动处理能力：将脚本多次运行日志自动合并对导入导出命令自动解析export/import/u

7、nload/load辅助人工处理能力：游标处理，可提供告警功能手工补充相关的元数据。3.2 元数据存储层p 元数据存储新增内容包括：经营分析系统核心元模型 数据封装元数据p 增强内容包括：维度元数据的存储：对维度元数据的属性要求进行细化，支撑维表库管理应用 数据源接口元数据的存储：对接口元数据的属性要求进行细化，支撑接口管理应用p CWM作为数据仓库领域的元模型标准，在元数据的集中管理、元数据互操作和元数据交换方面发挥重要作用。但是CWM作为一个国际性、厂商无关、平台无关的规范，本身只提供一个公共的元模型框架，将数据仓库领域的公共特性纳入元模型中，而不追求对物理实现的精确定义。p 经营分析系统

8、核心元模型以CWM元模型为基础扩展而成，是面向两级经营分析系统元数据互通的实际需要对关键元数据对象进行精确定义的元模型规范。新增：经营分析系统核心元模型派生新增：数据封装元数据p 数据封装元数据主要包括数据封装服务开发生成的逻辑模型，以及逻辑模型与数据仓库/数据集市物理模型的映射关系。p 数据封装元数据包括四类：逻辑模型实体、逻辑模型字段、映射关系组、映射关系逻辑模型实体元模型逻辑对象名称逻辑对象描述逻辑模型字段元模型字段名称字段描述字段类型字段长度是否为PK是否关联字段映射关系组元模型关系组标识逻辑对象运算表达式映射关系元模型关系组标识关系标识源对象目标对象关系类型是否主关联3.3 元数据功

9、能层p 元数据功能层新增内容包括：基于元数据的多层级数据地图展现 元数据服务接口二期建设内容p 增强内容包括：元数据变更管理：增加大版本管理功能，支持批量元数据定版；支持版本差异分析；支持元数据生成修订记录功能新增：数据地图展现p 作为元模型规范化的延伸，统一图形展现方式，消除图形表达的语义理解差异。p 解决图形展现缺乏层次控制、布局凌乱、难于看懂的现状。p 图形展现包括：p 作业层图形展现p SQL语句层的图形展现和布局作业层展现数据处理逻辑层展现SQL语句层展现数据处理逻辑层明细展现 数据处理逻辑层的图形展现 数据处理逻辑明细层的图形展现二期建设：元数据对外服务接口p 一期建设中，已实现元

10、数据封装原语定义和基础技术能力建设p 本期建设，重点增加元数据封装接口应用功能，包括：数据封装元数据访问服务接口 读取物理模型元数据 写入数据封装元数据 数据地图访问服务接口 关系分析图形接口 包含分析图形接口3.4 元数据应用层p 元数据应用新增内容包括：两级经分元数据互通 维表库管理 接口管理p 元数据应用增强内容：辅助安全管理新增：两级经营分析系统元数据互通p 通过实施两级经营分析系统的元数据互通，使各省经营分析系统数据处理过程对集团透明化，促进集团对各省营分析系统的数据处理过程的理解，进一步了解各省接口开发方案、新接口改造的实际进度并加强管理，有助于两级经营分析系统数据质量的整体提升。

11、数据仓库 数据处理过程 源系统接口 源系统维度互通内容 互通元数据维护 互通元数据转换接口 校验结果处理功能要求 XML文件 基于互通元数据接口标准互通接口新增：维表库管理p 维表库管理是指基于元数据系统，对数据源系统维表库、各省经分系统之标准维表库和集团一经维表库分别进行管理，从而建立一套标准的维表库体系。实现标准维表库与源系统维表库之间的关联管理，旨在有效处理源系统维表库与标准维表库之间的维度数据统一，促进经营分析系统与源系统协同。维表目录管理维表登记管理维表数据管理维表关系管理维表分类定义目录调整维表登记维表结构定义维表分类整理维表数据基本维护管理维表数据导入/导出 维表映射关系 维表映

12、射 字段映射 数据映射 维表引用关系 接口引用 事实表引用维表同步机制、维表变更日志管理、维表信息公告发布新增：接口管理p 省级经营分析系统与BOSS、CRM等系统和一级经营分析系统以数据接口形式进行大量数据交互。基于元数据进行接口管理，对于接口数据规格、数据内容以及接口管理过程进行规范管理，建立接口元数据维护机制，提高接口元数据质量，为源系统变更协同管理和两级经营系统元数据互通奠定基础。接口管理范围 接口元数据获取 接口元数据管理、维护 查询分析 变更管理 对外服务接口功能要求增强：辅助安全管理p 增加客户隐私信息元数据管理，支撑经营分析系统安全管理提供客户隐私信息的基本配置和存储：提供客户

13、隐私信息的基本配置和存储：定义是否为隐私信息：定义是否为隐私信息：附加隐私标识定义所属的隐私类别：定义所属的隐私类别：为个人客户隐私、集团客户隐私或集团客户成员隐私信息。定义具体的隐私属性：定义具体的隐私属性：如，手机号码、地址、客户姓名等。提供客户隐私信息服务接口：提供客户隐私信息服务接口：获取隐私信息相关的技术实体：获取隐私信息相关的技术实体：输入：需要查询的隐私标识、隐私类别或隐私属性等参数；输出：元数据实体，如数据库表名和字段名，以及相关技术元数据属性。获取技术实体的隐私信息定义：获取技术实体的隐私信息定义：输入：技术元数据实体信息，如数据库表名；输出：该实体的隐私标识、隐私类别和隐私

14、属性等客户隐私信息定义信息。目目 录录2 元数据管理体系架构3 本期规范新增与主要修订内容1 本期规范修订目的4 附件说明附件一：CWM元数据模型结构p CWM模型是OMG组织定义的数据仓库和相关系统的国际元数据标准，CWM标准的目的在于使数据仓库和商业智能软件的元数据在分布异构的数据分析工具、数据仓库平台、元数据存储等系统之间进行。p CWM元模型可用于描述数据加工链路中各种实体的平台无关的公共特性，但是对于特定应用场合，CWM元模型可能会缺乏实际应用所必须的某些信息的描述能力，这时需要对CWM元模型进行扩展。CWM提供了两种扩展机制：子类扩展机制 TaggedValue和Stereotyp

15、e扩展机制附件一：CWM元数据模型扩展机制从核心包扩展而成的XML元模型Stereotype类和TaggedValue类扩展机制p 经营分析系统元模型主要包括四个层面：基础层元模型 获取层元模型 数据层元模型 访问层元模型。附件一：CWM和经分系统元模型的对应关系附件一：经分核心元模型对CWM的扩展内容从Transformation包的TransformationTask类派生出TransformationTask类和TransformationMap类，用于描述脚本程序和SQL脚本；从Transformation包的Transformation类派生出ClassifierMap类，用于描述脚本程序或者SQL脚本中的转换处理逻辑；表级数据处理逻辑到字段级数据处理逻辑的臃肿的映射关系，建立直接从ClassifierMap到FeatureMap的映射；改进Transformation包的输入输出，ClassifierMap对象和FeatureMap对象的输入输出不仅限于数据实体，也可以是其他ClassifierMap对象和其他FeatureMap对象；针对SQL脚本的关系代数操作，从CWM核心包的ModelElement类派生出关系型操作类RelationalOperator及其子类，用于对SQL语句中的连接、选择、投影、改名、交并差、分组和排序等关系操作进行结构化描述。