集团企业大数据分析数据治理平台建设方案.pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《集团企业大数据分析数据治理平台建设方案.pptx》由用户(ziliao2023)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 集团 企业 数据 分析 治理 平台 建设 方案
- 资源描述:
-
1、集团企业大数据分析数据治理平台建设方案2 019智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案XXXXXX集团数据分析综合服务平台集团数据分析综合服务平台大数据分析应用生产监控指挥专业领域服务辅助决策支持XXX集团大数据决策中心政府部门能源云监管中心减排产业发展布局工业宏观调控能源统计与能效分析上下游产业能源云综合服务中心能源交易服务数据开放服务用户评价/用户画像行业分析服务金融机构SIS企业内部数据财务系统生产系统手工填报资金互联网数据输电成本数据交易结算上网电量企业上网电量计算上网量相关部门数据地理信息数据用能数据经济环境数据能源数据法人数据智慧
2、小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案目录大数据治理概述某行数据现状及问题大数据治理阶段目标成效和特点数据管理系统建设情况智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案第一部分大数据治理概述智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案集团大数据应用四步法第一步第二步第三步第四步建立数据资源目录全集,理清组织数据家底,理清数据之间的关系借助数据交换平台,以物理+逻辑的混合汇聚模式形成组织大数据中心借助大数据分析平台实现数据共享、开放、引导全员发掘数据应用价值互
3、联互通数据梳理数据利用数据汇聚借助语义表述与语义关联等技术,实现各类数据融合联通集团大数据应用之路智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案集团大数据应用之数据梳理 信息架构信息架构 价值能力蓝图价值能力蓝图现状分析现状分析应用现状分析应用现状分析数据现状分析数据现状分析技术现状分析技术现状分析业务战略业务战略价值能力愿景价值能力愿景BIO最佳实践最佳实践数据资源规划数据资源规划企业现状图企业现状图分析价值能力图分析价值能力图数据支持能力图数据支持能力图企业数据架构企业数据架构支撑系统改进建议支撑系统改进建议智慧小区云服务平台整体解决方案智慧小区
4、云服务平台整体解决方案智慧小区云服务平台整体解决方案集团大数据应用之数据汇聚数据标准化清洗监管发布汇集浪潮浪潮MDMMDMp标准化标准化p匹配与去重匹配与去重p补充补充p验证验证p归档与更新归档与更新p变更管理变更管理p目录资源目录资源p事件与政策事件与政策p导入工作台导入工作台p数据辨识与匹配数据辨识与匹配p数据源历史数据源历史p整合记录整合记录p访问与搜索访问与搜索p发布与订阅发布与订阅p传送与链接传送与链接p报表报表智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案集团大数据应用之数据汇聚各类数采集四大采集工具:四大采集工具:p经营数据:聚数经营数
5、据:聚数IDIIDIp设备数据:设备数据:StormStormp网络数据:网络数据:droDatadroDatap填报数据:直报填报数据:直报SR SR ERPCRMSRM1.经营数据经营数据3.填报数据填报数据内部数内部数据据数据分析平台数据分析平台外部数外部数据据企业大数据企业大数据2.设备数据设备数据4.互联网数据互联网数据HROA智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案大数据治理意义、作用和价值意义是构建完善、共享、统一管理数据环境的基本保障和重要组成部分是把数据作为资产来管理的有效手段作用确定了一系列岗位角色和相应的责任及管理流程保证
6、了业务数据在采集、集中、转换、存储、应用整个过程中的完整性、准确性、一致性和时效性价值企业进行大数据治理的最大驱动力来自数据质量,通过提高数据质量实现更多的业务价值将实现业务目标作为数据管理和服务的核心驱动力,优化数据架构,提升数据仓库/信息化管理系统建设,支持管理能力的提高、精细化和决策的科学性智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据战略数据应用与服务数据管理保障机制促进支撑实现支撑数据战略与规划数据组织与职责数据制度与管理流程数据服务管理数据需求管理应用系统建设数据服务数据架构与模型管理数据标准管理数据质量管理元数据管理主数据管理数据保
7、留与归档管理数据安全管理内容管理大数据治理框架智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据调度与处理大数据平台数据结构化转换大数据分析计算分布式数据库分布式文件系统数据生命周期管理数据平台数据传输数据服务数据集市数据质量检核元数据管理数据管理平台数据应用统计报表基础数据平台贴源层整合层汇总层数据切分数据源业务系统物联网互联网数据交换平台内部数据外部数据其他系统数据接口数据架构数据挖掘高管驾驶舱智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案一、应用(需求)驱动主导数据平台的实现,加强业务的关注和参与二、
8、初期能够快速见效并体现建设价值,不盲目投入三、借鉴同业的成功经验和成果,选择成熟技术架构和解决方案四、重视内部人员培养,建设配套运营制度和管理体系应用是展现数据总线建设效果的门户,因此需要建设业务人员最紧迫和最关注的需求和应用,让业务部门最快参与数据总线的建设当中。实施周期不易过长,规模不易过大,能够快速的见到数据总线带来的效果和价值。尽量参考同行业、同规模、同类型企业行的建设经验,适当创新。前期让公司内IT人员尽量更多、更深入的参与到数据总线的建设中,后期角色以管理为主,尽量与合作伙伴共同建设二期以上。配套的管理规范、技术规范、运营体系。数据平台建设原则智慧小区云服务平台整体解决方案智慧小区
9、云服务平台整体解决方案智慧小区云服务平台整体解决方案第二部分某行数据现状及问题智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据应用现状分析-总体情况?综合业务系统信贷管理国际业务系统债券管理系统数据交换平台综合报表平台财务会计部信贷管理部国际业务部资金计划部.客户信息.贷款余额客户信息.贷款余额.客户信息客户信息.客户信息.业务职能不清晰或相互重叠,观察数据视角不尽相同,缺少数据标准与业务统一定义,语轨不一致 IT架构中中都是以部门级应用为主(如计财、资金计划部等),缺乏从大的管理职能(财务、风险、运营等)综合方面的数据整合、数据标准和统一业务定义
10、 缺乏数据梳理,造成行领导看到的数据相互冲突和矛盾 由于业务系统输入的随意性,导致部分关键业务数据质量较差X?567智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据应用现状分析-数据架构方面l 由于全行的数据散落在各个业务系统中,没有进行有效整合,形成竖井式架构,造成多个信息孤岛,整体架构缺少一个稳定的、抗源变化的保存最细粒度历史数据的数据层。无法支撑未来共享性应用。集市层客户风险客户一部中间业务汇总数据层主题层报表应用共用主题数据客户风险报表客户一部报表中间业务报表支付报表支付业务ODS层DEP层BDS层其它报表l 业务表现 信息孤岛 数据冗余
11、共享性差 历史数据缺失l 问题 数据分散,难以管理 没有一个稳定的,抗源变化的数据层综合业务信贷管理国际结算债券核算源系统竖井式架构,造成信息孤岛缺少一个稳定的、抗源变化的数据层客户管理绩效考核没有进行整合,无法共享,不能支持如客户管理等共享性应用智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据应用现状分析-数据应用难题l 业务表现 各集市系统指标存在重复 各集市系统在保有存量的同时,不断产生新的指标(增量)集市指标派生无法实现 指标逻辑视图(指标分类)不一致l 问题 重复投入 数据不一致 指标设计、口径不一致 指标难以共享客户风险集市客户一部集市
12、资金计划部借据号期末余额。借据编号期末贷款余额总资产我想看本期贷款余额,看哪个呢?主营业务收入负债总额。我想看客户经营情况信息,有哪些呢?活期存款指标数据怎么不一致呢?l 缺少统一的应用分析标准智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据应用现状分析-数据应用难题l 业务表现 各系统存在冗余数据 各系统存在业务含义一致,名称定义不一致的属性 各系统存在含义不一致,名称定义一致的情况 业务代码定义混乱l 问题 重复投入 数据不一致、不准确 难以利用和管理 各系统数据难以共享l 缺少统一的基础数据标准核心贷款分户账表贷款主档代码贷款余额。五级分类标
13、志计息方式信贷管理借据表贷款账号贷款余额。5级分类标志借据计息周期业务含义一致,名称定义不一致数据冗余相同业务代码定义不一致核心五级分类代码信贷管理五级分类代码1 正常01 正常2 关注02 关注3 次级(不良)03 次级4 可疑(不良)04 可疑5 损失(不良)05 损失智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据应用现状分析-数据质量方面l 没有归纳并总结数据质量问题,缺少反馈机制,导致长期存在各类数据质量问题。l 业务表现 指标难以共享 数据不一致、不准确l 问题 部分关键业务数据缺失 源系统校验关系缺失及业务人员操作随意18由于信贷管理
14、系统业务人员没有填写或填写错误借据的五级分类信息,导致报表数据不准确,需要手工补录修改不同系统相同客户号对应的客户简称不一致客户号客户简称75682839综合厂97326762国鑫资产客户号客户简称75682839粮食局粮油综合97326762乳山市国鑫资产智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据应用现状分析-总结l 随着业务的不断发展和信息化的不断深入,需建设的业务系统越来越多,随着业务系统的数据种类不断丰富完善,数据量的不断增大,如果不采取有效手段解决数据架构、数据标准、数据质量问题,随着信息化建设的深入,这些问题将像雪球一样越滚越大,
15、越积越多。综合报表平台适应性升级改造阶段(问题增加为451个)综合报表平台建设阶段(问题339个)智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案第三部分大数据治理阶段目标智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据平台逻辑架构数据调度与处理元数据管理数据传输数据生命周期管理非现场报表财会报表客户风险报表.机构客户账户.非现场监管集市财会报表集市风险报表集市高管驾驶舱集市.数据仓库源数据数据应用贴源层整合层汇总层集市层数据管理系统综合业务系统CM2006国际结算系统债券管理系统ETLETL数据切分数据质
16、量检查系统高管驾驶舱当事人协议事件当事人资产.外汇资金系统报文清算系统报价引擎系统整合层作业调度作业调度作业调度ETLCBSCM2006EEBONDPEFESMCS智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据平台部署架构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据平台项目建设目标1、发现数据质量问题,推动大数据治理工作的开展,建立数据质量检核系统 对源系统进行数据质量检核,发现数据质量问题并统计影响到的报表 对数据质量问题进行归类总结,分析成因和改进建议 建设数据质量检核系统2、分析、梳理业务系
17、统,推动数据标准的建立,统一全行口径 建立基础标准和指标标准框架 确定标准化范围,对重要属性进行标准化3、建立数据仓库模型框架,优化我行数据架构,建设稳定、可扩展的数据仓库 引进业内具有先进水平的金融数据模型,进行客户化改造后,建成符合某行特点的数据仓库模型框架 覆盖某行主要业务系统数据,以便快速高效的为应用系统提供数据 存储历史数据,解决新报表上线才有数的问题。汇总层建设(共性加工)智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案目标建设方法-发现数据质量问题建设内容分析源系统表数据,从及时性、完整性、准确性、有效性、一致性方面对源系统数据进行数据校
18、验,发现并记录数据质量问题,生成数据质量问题报告建设数据质量检核系统,对源系统基础业务数据的进行全面的数据质量检查,并实现重要业务数据质量的周期性动态检查,对发现的数据质量问题生成数据质量报告,反馈给业务部门智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案目标建设方法-发现数据质量问题源系统分析阶段全面分析主要源业务系统数据质量问题检查阶段根据制定的检查规则编写程序,对源系统数据进行检查数据质量问题分析阶段分析有质量问题数据对现有应用的影响;提出解决措施123工作阶段智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决
19、方案源系统分析阶段1、工作内容 全面分析和消化主要源业务系统 重点分析核心业务系统和信贷两个系统2、工作依据 源系统文档:源系统操作手册、源业务系统设计说明书、源系统数据字典 源系统环境及调研数据3、工作重点 系统内:梳理业务流程、业务逻辑、业务关联、数据库表和字段的设计 系统间:梳理业务关联关系、数据关联关系技术角度分析调研产出物 源系统表结构,包括主键、外键、唯一性约束 源系统表间关系 源系统字段长度和类型业务角度分析调研 源系统表和字段的业务含义 源系统业务规则和流程智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据质量检查阶段1、工作内容 梳
20、理和制定数据质量检查规则,定义标准模板 依据数据检查规则,编写程序,对核心业务系统、信贷管理系统的进行检查2、工作依据 系统调研和分析成果 数据质量检查规则的依据调研成果的以下内容进行梳理:业务流程、业务逻辑数据逻辑设计报表数据应用3、工作重点 重点报表用到的表进行分析智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据质量分析阶段1、工作内容 分析有质量问题数据对现有报表应用的影响 对数据质量问题的成因进行分析和总结 对数据质量问题的解决措施进行分析和总结2、工作依据 数据质量检查结果 源数据与报表依赖关系3、工作重点 重点分析报表平台的1104等报
21、表存在的部分数据质量问题智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据质量反馈系统概述建设目标对业务数据进行数据质量检核,准确掌握业务系统各种数据质量问题,促进基础业务数据质量的提高建设内容 质量检查规则定制 实现质量检查规则的灵活定制 数据质量检查 系统按照预定义的数据质量检查规则,对数据的准确性、有效性、关联性、一致性、及时性进行检查,生成并保存的数据质量检查信息。数据质量分析报告 生成不同类型的数据质量检查报表,对不同的数据质量问题进行分析和展示智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案 架构
22、和功能系统架构数据质量检核与反馈系统检核对象管理导入、查询、修改、删除检查对象检核规则管理新增、删除、修改检核规则检查频度管理制定检查周期和时间权限管理用户建立权限管理问题报告问题查询规则查询打包下载.问题管理维护并管理发现的数据质量问题日志查询报告管理功能分类功能名称功能说明检核对象管理对象编辑修改导入表,修改表和字段的相关属性检核规则管理有效性灵活定制自定义检核规则,实现可视化规则配置和管理关联性一致性准确性及时性检查频度管理检核频度管理质量监控周期频度,可按日、周、月、年等频度制定检核时间问题管理 问题管理对发现的数据质量问题进行进一步的描述和分析,并划分问题归属业务分类报告管理 报告管
23、理质量问题报告查询,并可按照部门、系统、问题进行汇总查询系统管理权限管理管理员、操作员权限设置检核对象配置管理需检核的表系统功能调度管理整合层汇总层集市层贴源层智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据质量检查及反馈系统界面智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据质量管理建议通过逐套的解决报表数据质量问题,以数据标准为依据,来切实解决基层手工修改报表的问题源头负责制,谁录入谁修改操作层面数据纠错管理层面形成数据质量管理的机制:发现问题,定位问题,解决问题的管理流程IT系统建设层面将数据质量
24、问题检查规则固化到系统中,形成数据质量台账,为解决数据质量问题和考核提供依据智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据平台项目建设目标1、发现数据质量问题,推动大数据治理工作的开展,建立数据质量检核系统 对源系统进行数据质量检核,发现数据质量问题并统计影响到的报表 对数据质量问题进行归类总结,分析成因和改进建议 建设数据质量检核系统2、分析、梳理业务系统,推动数据标准的建立,统一全行口径 建立基础标准和指标标准框架 确定标准化范围,对重要属性进行标准化3、建立数据仓库模型框架,优化我行数据架构,建设稳定、可扩展的数据仓库 引进业内具有先进水平
25、的金融数据模型,进行客户化改造后,建成符合某行特点的数据仓库模型框架 覆盖某行主要业务系统数据,以便快速高效的为应用系统提供数据 存储历史数据,解决新报表上线才有数的问题。汇总层建设(共性加工)智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据标准梳理及归纳数据标准梳理及归纳对我行日常业务开展过程中所产生基础性数据,从业务方面、技术方面、管理三个方面,对数据的业务表达、数据格式、数据关系等方面进行一致约定,从而规范数据在全行内外共享和使用中的一致性和准确性 对数据的管理、应用过程进行统一和规范,明确数据的定义、格式、规则以及数据与数据间的关系 为系统
展开阅读全文