数据治理解决课件.pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《数据治理解决课件.pptx》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 治理 解决 课件
- 资源描述:
-
1、如何实现有效的数据治理?数据治理要素1平台实施组织架构制度流程平台功能基于数据治理平台的实施包括数据治理的相关数据范围确定、梳理,以及数据的初始化及持续更新从事数据管理决策、规划、实施、管理、监控的团队的工作团队人员及组织结构数据治理过程中必须遵守的相关政策与规章制度,以及从事数据治理规划、实施、管理、监控的团队之间协同工作、报告、评估流程为顺利从事数据治理工作而必须准备的支持环境、包括软硬件环境、系统环境、数据字典、元数据等如何实现有效的数据治理?数据治理建设思路2组织架构平台功能平台实施制度流程组织架构3数据治理小组部门N部门1系统X数据所有者系统Y数据所有者系统A数据所有者系统B数据所有
2、者元数据管理员数据质量管理员数据经理1数据经理2数据经理M数据保管者1数据保管者2数据保管者M高层领导办公会委员会主任业务主管技术主管工作组数据治理管理委员会系统开发系统运维1233345数据标准管理员数据治理建设思路4组织架构平台功能平台实施制度流程数据管理(管控)思路:基于数标的全流程数据管理5数据质量流程6元数据管理流程7数据治理建设思路8组织架构平台功能平台实施制度流程9应用功能元数据管理接口二次开发权限集成数据访问分析服务元数据应用数据质量管理数据标准管理数据治理流程管理辅助业务应用元数据管理功能元数据技术功能元数据分析功能检核规则管理检核方法管理数据质量应用数据标准应用系统管理角色
3、管理在线用户密码管理权限管理用户管理日志管理参数管理配置管理辅助开发运维数据质量监控数据质量分析数据标准分析元模型管理检核任务管理质量问题管理标准体系浏览数据标准管理数据标准文档管理标准综合查询数据治理统一架构逻辑架构知识库管理信息管理数据治理数据标准流程系统元数据1.提供检核对象1.提供数据标准信息访问数据标准存储到元数据1.标准相关的指标检核结果数据质量数据质量流程报表需求流程数据模型流程元数据流程数据交换流程数据标准流程采集基准库、对象库反馈检核结果1.质量检核结果作为质量问题2.质量提升工作结果1.提出度量规则和检核方法2.数据质量问题存储3.数据质量需求1.提供数据标准定义2.数据标
4、准变更数据标准执行情况报表需求存储1.报表需求访问2.报表使用情况影响分析1.模型采集2.度量规则修改影响分析元数据采集2.提供标准代码2.系统代码与标准代码匹配情况3.数据标准执行情况2.度量规则、检核指标存储到元数据数据治理统一架构各模块关系数据治理建设思路11组织架构平台功能平台实施制度流程平台实施示例元数据实施范围CWM元模型物理模型ETL元数据PowercenterETL元数据shell日志Cognos元数据业务术语业务指标维度度量系统信息 表记录数报表访问数过程元数据技术元数据业务元数据数据源分析、报表工具数据挖掘工具EDWDM元数据元数据数据流元数据管理范围平台实施示例 数据质量
5、检核实施检核实施数据仓库平台数据质量系统平台内交互线平台外交互线公共检核组件生成检核脚本征集度量规则收集检核方法内容生成检核任务制定度量规则模板检核方法审核检核需求提出检核类别确定制定检核方法模板根据模板填写检核方法内容生成检核结果度量规则和检核方法建立映射关系执行检核组件依赖其他作业检核任务调度作业触发检核结果问题汇总检核结果分析数据质量多角度分析报告审核不通过,反馈,修改将收集的检核模板文件导入质量系统仓库内数据治理仓库外源数据协调治理问题数据治理流程启动问题处理流程问题数据分析问题知识库检核结果问题总结ETL Server123546789101113141516171819202122
6、质量系统调度作业仓库依赖作业根据模板填写度量规则内容12数据的检核过程13明确数据管控工作的主要参与者及职责划分,制定数据管控的办法及详细操作流程数据治理工作的目标将数据管控与业务流程结合,通过业务操作过程中对数据完整性、准确性的要求来提升业务的规范性实施数据管控相应的技术实施方案,通过数据管理系统等实现对数据管控的支撑123数据管控的主要对象是全行的数据,通过设计全行的数据管控组织、制度和流程,以及相应的技术方案和数据管理系统,实现对数据的有效管理,提升全行的数据质量。设计全行数据管控的组织,包括全行数据管控组织的层次划分、参与方及主要职责 设计全行数据管控(数据标准、数据质量、元数据)的策
7、略、管理办法和操作流程,提交行领导审阅并做好正式发文准备 设计全行数据质量提升的整体工作方案 基本完成全行数据管理系统建设,支持数据管控体系的运行 推动数据管控体系在全行的实施,完成数据管理系统的建设和应用 逐步完成全行主要系统的数据质量提升工作 逐步实现数据管控工作与业务流程的结合,实现对具体业务流程的控制 持续完善数据管控体系和数据管理系统 将数据管控工作与全行的业务流程紧密结合,确保对各业务控制环节的有效支持201220092013+案例1:国家开发银行数据管控整体情况案例1:国家开发银行数据管理建设思路 以数据服务流程管理为载体,元数据管理、数据质量管理、数据标准管理、数据调度监控管理
8、为手段,建立“一个流程,两个维度”的框架体系。结合开行数据管理办法梳理数据服务流程间流转关系,从而实现在管理维度提供系统支持。在技术维度上划分为元数据管理、数据质量管理、数据标准管理、数据调度监控管理和数据服务流程管理模块。数据标准管理从数据定义阶段入手贯穿于整个数据生命周期。数据生命周期管理流程数据标准管理流程元数据管理流程数据质量管理流程管理维度数据管理制度与流程体系(包括数据管理组织、制度、流程,覆盖数据标准、管控、数据应用支持及数据应用)技术维度数据标准发布数据标准制定管理数据标准变更管理元数据采集管理元数据使用管理元数据模板管理元数据采集元数据分析元数据检索数据质量问题库管理数据质量
9、检核维度管理检核规则管理检核方法管理分支机构数据管理专项考核仓库质量管理全景视图数据分类定义数据归档定义数据归档执行归档数据检索数据分类定义管理数据归档定义管理数据标准落地管理数据质量检核指标管理数据质量检核执行管理数据归档执行管理数据标准变更归档数据共享管理数据标准发布管理数据标准维护12负责代表本部门长期参与数据标准化与数据治理工作;参与各项数据标准化与数据治理制度的制定,并负责在本部门宣介;收集、整理并向小组办公室反馈元数据、数据标准、数据质量等相关工作需求;参与数据治理工作中相关问题的解决。1各相关部门数据管理综合岗职责2各分行职责负责按照数据标准和数据质量管理要求进行数据的录入与维护
10、工作;按照各项数据治理制度参与数据治理工作。案例1:国家开发银行数据管控组织架构案例1:国家开发银行数据管控组织架构数据标准类数据应用支持类数据治理类数据应用类所有领域数据管理管理制度与流程管理办法管理流程技术规范及模板数据标准管理办法各类数据标准管理细则数据标准管理相关流程数据质量管理办法数据采集录入管理办法数据模型管理办法元数据管理办法数据流管理办法数据安全管理细则外部数据管理办法历史数据归档管理办法数据质量管理相关流程数据模型管理相关流程元数据管理相关流程数据流管理相关流程数据安全管理相关流程外部数据管理相关流程历史数据归档管理相关流程数据平台数据交换管理办法数据平台运维管理办法数据平台
11、ETL开发管理细则数据集市管理办法数据仓库管理办法数据库统一运维管理办法数据平台数据交换管理相关流程数据平台运维管理相关流程数据平台ETL开发管理相关流程数据集市管理相关流程数据仓库管理相关流程数据库统一运维管理相关流程新协议实施数据管理和完善模块工作管理 报表需求管理办法数据服务管理办法数据应用手工数据补录管理办法管理驾驶舱系统数据管理实施细则开放数据服务支持系统管理细则报表需求管理相关流程数据服务管理相关流程数据应用手工数据补录管理相关流程数据管理与应用绩效管理流程数据质量度量规则及检核方法模板 数据模型设计评审/备案申请表IT系统改造、新建或变更投产元数据管理审核单元数据专项服务需求审批
12、表IT系统改造、新建或元数据日常变更通知单数据交换需求审批表ETL编写规范报表新增需求审批表报表变更需求审批表数据管理与应用关键指标及计算说明数据管理与应用绩效管理办法数据标准需求审批表案例1:国家开发银行数据管控制度与流程体系架构案例1:国家开发银行数据管控制度流程示例案例1:国家开发银行数据管控制度流程示例业务系统全流程信贷中小企业信贷核心系统CRM系统.产品业务客户业务资产业务公共代码数据管理系统产品种类完整性产品种类正确性数据标准检核涉及物理模型财务业务交易业务协议业务营销业务渠道业务表外产品一致性客户类别完整性客户是否金融机构完整性客户是否金融机构与金融机构类型一致性客户金融机构类型
13、与金融机构许可证代码一致性企业出资人经济成分完整性债权性质分类完整性合同状态正确性案例1:国家开发银行数据质量体系案例1:国家开发银行数据质量检查点22公路收费权公路收费权资产编号资产描述项目名称电力收费权电力收费权资产编号资产种类供应商收费权收费权资产编号资产管理系统数据仓库DW基础区收费权.资产编号数据整合度量规则表 字段必须存在于表 字段;表 字段必须存在于表 字段检核脚本select length(trim(siidno),count(1)from odsfdm.f_ci_per_cisia where siidtp=01 group by length(trim(siidno);se
14、lect count(*)from F_CI_PER_CISIA where siidtp=01 and length(trim(siidno)=18 and(substr(siidno,11,2)not between 01 and 12)or(substr(siidno,13,2)not between 01 and 31)or(substr(siidno,7,4)not between 1900 and 2010)规则来源度量规则案例1:国家开发银行数据质量-资产业务-收费权主外键规则案例1:国家开发银行数据质量考核指标24案例1:国家开发银行标准落地示例客户标准落地 案例1:国家开发银
15、行标准落地示例信贷类产品数据标准落地 平台建设制度流程平台价值平台实施一级功能6项,二级功能17项核心功能:元数据采集、元数据分析、版本管理、变更管理、数据地图、视图管理等一级功能5项,二级功能15项核心功能:数据质量问题发现、数据质量问题分析、数据质量提升、数据质量度量规则、数据质量考核、综合查询等功能一级功能3项,二级功能10项核心功能:基础类数据标准浏览、公共代码浏览、数据标准需求、数据标准发布、数据标准变更、数据标准执行、综合查询等一级功能6项,二级功能14项核心功能:报表需求管理流程、数据交换管理流程、数据变更管理流程、数据模型管理流程等元数据数据质量数据标准电子流程元数据类别:表、
16、字段、报表指标、表级映射、字段级映射、表到报表映射涉及系统:12个业务生产类系统、9个管理分析类系统、3个业务支持类系统、ODS、RDM、中间表集市和财务集市检核指标:2011年下半年12个考核指标由系统进行检核,5个考核指标人工检核检核范围:主要是对ODS数据进行检核六大主题管理:客户、产品、交易、财务、资产、协议公共代码管理:173个代码六个流程:报表新增需求管理流程、报表变更需求管理流程、数据交换需求管理流程、重要数据变更管理流程、后台数据变更管理流程、数据模型管理流程元数据采集流程元数据使用流程数据质量使用流程数据质量度量规则管理流程数据标准的制定、评审与发布流程数据标准执行流程数据标
17、准变更流程数据标准复审流程六个电子流程协助下游报表应用的数据问题的追溯企业级元数据的一致性、完整性检查和过程管控辅助EDW平台开发及运维提供完整的元数据视图,实现元数据信息的集成,便于从多角度查询、应用元数据辅助数据质量问题定位和分析支持业务部门提出的常效检核规则检核工作辅助数据标准落地执行满足数据管理处对数据标准浏览、检索辅助报表需求管理辅助数据交换需求管理辅助重要数据变更管理辅助数据模型管理案例1:国家开发银行数据管控效果案例2 2:中信银行数据治理元数据 建设方案:EDW存储及映射:分析EDW建设过程中使用的数据库环境、ETL加工处理所使用的ETL工具、编程语言、日志格式,设计EDW元数
18、据管理的采集方案;EDW数据文件管理:分析EDW供数需求,了解供数范围,分析EDW数据实体表和供数文件的关系,设计数据文件管理策略;EDW逻辑模型管理:开发逻辑模型展现功能将管理的EDW模型进行图形化展现,并建立逻辑模型和物理模型关联关系,协助用户快速的逻辑EDW模型设计及整合思路;元模型构建:对不满足数据仓库采集存储的元模型进行重新构建,如:文件存储元模型、表和文件的关系建立,Erwin元模型调整,逻辑模型和物理模型关系映射调整;元数据采集验证符合:数EDW元数据采集是从不同元数据载体中进行数据抽取得到的,在所有数据对象、数据关系采集完成后需要对采集结论进行初始化验证,这是后续元数据使用的前
19、提;EDW元数据更新机制:梳理可落地的EDW元数据更新机制,保障元数据的新增、变更能及时更新维护;建设目标:管理EDW建设过程中涉及的业务、技术元数据,元数据范围包括系统信息、数据库信息、表视图信息、数据文件信息、数据映射信息。提供图形化展现逻辑模型的功能;管理EDW对外供数的数据文件信息,为业务人员提供分析数据需求的查询平台。应用层功能层存储层获取层辅助开发逻辑模型展现多元分析资源展现视图可配置分析质量审核数据文件管理基于流程的变更逻辑模型管理元数据管理系统技术元数据业务元数据DB数据库采集数据仓库数据仓库数据记录采集Perl日志采集28案例2 2:中信银行数据治理元数据报表、指标、科目关系
20、分析应用建设目标:通过元数据承载和管理指标体系、科目体系,建立基础指标和组合指标的关联关系、指标和科目的关联关系、指标和数据源的关联关系,并建立相应的日常管理和分析应用功能,为指标口径变更影响、科目变更影响等提供支持。建立基础指标和组合指标的关系建立指标和科目的关联关系建立指标和报表的关联关系建立指标和报表的关系本期贷款余额贷款余额净增长率上期贷款余额5010350104贷款余额净增长率贷款余额净增长率贷款余额净增长率贷款余额净增长率贷款余额净增长率指标指标科目科目表表报表报表29案例2 2:中信银行数据治理元数据辅助科目改造场景科目13520调整为:16001、16002、16003会影响哪
21、些指标KJ_T048-存款准备金报表?客户贷款信息表?毕马威审计报数?让人迷惑的数据,如何确认范围,如何做?13520银行汇票中间业务收入确定确定指标指标范围范围中间业务收入支付工具结构情况季报表KJ_D001-业务状况表(表内)确定确定报表报表范围范围支付工具结构情况季报表KJ_D001-业务状况表(表内)确定确定系统系统范围范围支付报表系统综合业务报表 通过元数据系统的分析支持,得到科目13520科目变更会影响到:1、支付报表系统支付工具结构情况季报表2、综合业务报表平台的KJ_D001-KJ_D001-业务状况业务状况表表(表内表内)报表报表1 1、梳理报表所使用的上下游系统数据文件结构
22、,建立链路关系、梳理报表所使用的上下游系统数据文件结构,建立链路关系2 2、梳理当前报表信息项所使用到的旧科目信息、梳理当前报表信息项所使用到的旧科目信息3 3、梳理旧科目和新科目的对应关系、梳理旧科目和新科目的对应关系4 4、梳理表和科目的关系,即表的数据是从哪些科目中筛选来的、梳理表和科目的关系,即表的数据是从哪些科目中筛选来的30案例2 2:中信银行数据治理数据质量 建设方案:度量规则:数据质量管理平台作为数据仓库数据质量度量规则的收集平台,提供需求提出者进行度量规则需求的提交和保存的功能,对提出的度量规则需求进行分析。确定需求可行性;检核方法:根据数据质量度量规则接,开发完成与度量规则
23、对应的检核方法,由系统提供检核方法模板,根据度量规则和模板生成检核脚本;检核结果:提供数据质量检核结果的展示、分类查询、问题数据明细查询;检核调度:设置定时调度检核任务检核的周期为t+1;ODS临时区基础区汇总区集市区主键重复非法值总分核对空记录空记录主键重复非法代码非法值空记录主键重复非法代码非法值主键重复业务规则数据有效性历史拉链表业务规则总分核对数据有效性历史拉链表系统间一致系统间一致表间企业级数据仓库数据流向总数核对总数核对总数核对总数核对建设目标:建立主动发现数据仓库数据质量问题的方法。制定数据仓库的度量规则,基于度量规则在数据仓库内数据流向的各个环节区域上横向检查,区域之间的纵向检
24、查,形成在数据仓库的内数据的纵横监控网,有效发现仓库内的数据质量问题,并提供数据告警和质量问题分析报告。31案例2 2:中信银行数据治理数据质量32为业务人员带来帮助:支撑维护人员:将数据质量的发现前提到数据仓库,使得业务应用系统从数据仓库获取数据的质量得到保证数据质量管理员:监控数据仓库中的数据,及时发现质量问题,便于数据质量管理人员了解仓库内数据的质量,为下游应用提供高质量的数据。数据仓库检核方法数据仓库度量规则数据仓库检核结果检核方法规则案例2 2:中信银行数据治理数据质量数据仓库平台数据质量系统平台内交互线平台外交互线公共检核组件生成检核脚本征集度量规则收集检核方法内容生成检核任务制定
25、度量规则模板检核方法审核检核需求提出检核类别确定制定检核方法模板根据模板填写检核方法内容生成检核结果度量规则和检核方法建立映射关系执行检核组件依赖其他作业检核任务调度作业触发检核结果问题汇总检核结果分析数据质量多角度分析报告审核不通过,反馈,修改将收集的检核模板文件导入质量系统仓库内数据治理仓库外源数据协调治理问题数据治理流程启动问题处理流程问题数据分析问题知识库检核结果问题总结ETL Server123546789101113141516171819202122质量系统调度作业仓库依赖作业根据模板填写度量规则内容12数据的检核过程33案例2 2:中信银行数据治理数据质量辅助数据质量问题分析及
展开阅读全文