大型能源集团公司信息化规划(二)数据架构规划课件.pptx

1、XX大型能源集团信息化规划二数据架构规划2 2目录应用系统架构规划数据架构规划3IT基础设施与信息安全架构规划4第二阶段工作概述信息化组织与管控架构规划53 3数据架构规划包括数据主题、数据标准、数据平台、数据管理四个方面明确主要的业务数据主题明确信息分类和数据编码规范明确数据管理职责和标准质量要求明确数据仓库和大数据平台技术n明确各级机构对不同类别数据的管理职责n制定数据管理流程，改进数据质量，不断提高数据质量水平，进行有效的数据管理n业务分类和信息应用架构中抽象出数据主题域，并明确主题域中基础类、交易类、统计以及决策类数据n构建数据仓库和操作数据存储，统一管理重要数据资源，实现数据的综合采

2、集、分析、挖掘和展现，全面提升数据分析和辅助决策能力n构建农业大数据平台，支持新农化业务发展，提供农业技术服务XXX集团数据架构框架n规定信息分类的方法，数据编码规则、信息代码体系构成，确定通用数据、专业数据、数据指标的编码规范4 4数据主题归纳整理主要业务领域的数据主题分类类别业务主题基础类数据事务型数据统计类数据决策类数据战略管控战略规划绩效管理预算管理投资管理经营管理财务管理人力资源管理科研项目管理生产管理规划信息规划指标规划汇总战略信息绩效指标绩效目标指标库信息指标统计绩效分析规划指标分解计划信息预算指标计划管理投资预算收入预算资金预算项目预算成本预算年度预算汇总预算执行信息决算信息年

3、度计划投资项目信息投资计划投资评估投资计划汇总投资评估投资后评价绩效考核关键业绩指标规划指标完成情况规划指标完成情况科目总账资产资金成本费用资产管理应收应付资金管理审计财务数据汇总结算合并报表主要财务指标管理报告组织机构人员能力模型绩效员工调配能力评估组织设计绩效管理招聘人力成本汇总培训发展绩效汇总关键人员信息关键人员绩效薪酬福利上岗离岗人力统计汇总人力统计汇总项目信息项目计划进度成本费用资源成本费用合同科研经费成本费用科研成果质量项目类别项目立项项目考核装置结构生产计划调度信息产品信息产量信息质量信息生产计划生产运行生产统计产品质量成本核算生产统计项目评估生产绩效生产统计生产绩效生产绩效费用

4、预算投资分析测算投资监控分析5 5数据主题归纳整理主要业务领域的数据主题分类类别业务主题基础类数据事务型数据统计类数据决策类数据经营管理物资管理销售管理资产管理客户关系管理业务执行科研项目生产执行信息资本运作供应商信息库存物资合同信息采购订单质检信息采购绩效采购成本分析供应商管理仓储管理需求管理品类目录物料信息合同管理物资出入库采购汇总大额采购信息客户信息市场分析销售汇总合同信息客户交易数据重点客户信息订单管理品类目录产品信息合同管理产品销售数量定价信息产品定价发票质量检验资产清单资产台账资产购进处置资产状态功能位置资产利用率维修记录资产价值管理项目类别项目信息实验室信息科研过程信息产品结构研

5、究文档客户基本信息客户分析科研客户交易信息产业客户交易信息客户分类营销分析营销活动信息客户服务信息重点客户信息客户档案生产主数据定义生产计划信息营销分析生产运作信息生产统计信息质量管理信息产品结构信息操作规程和标准投资项目信息项目机会评估信息项目监控信息投资回报投资项目汇总投资分析投资计划和预算管理投资者管理信息风险信息6 6以战略绩效、经营计划与预算为核心管控手段，实现对市场、客户、绩效、运营四类信息的统一管理市场信息客户/订单信息计划/绩效信息运营信息目标市场信息竞争对手信息行业动态信息市场分析信息经营计划与预算绩效管理客户基本信息产品基本信息销售结算信息需求变更信息售后服务信息客户分析信

6、息经营计划信息业绩指标信息业绩考核信息预算执行信息计划变更信息业绩分析信息生产/项目信息生产/项目指标信息成本控制信息生产/项目质量信息生产/项目分析信息市场与品牌市场研究品牌管理目标市场技术产品组合销售管理营销网络客户管理价格管理订单管理应收结算项目运营项目计划项目管理成本控制质量安全售后服务服务受理质量分析数据管理需求n集中进行市场、客户、绩效、运营信息管理n应用统一的应用系统，在公司层面统一进行信息管理n通过经营计划与预算管理体系，对经营计划和绩效进行管理数据分布n经营计划与绩效管理n客户关系管理n销售管理n生产管理n项目管理n市场研究与分析信息管理n经营决策分析数据主题分类7 7根据物

7、资分类要求进行相应的物料、战略寻源、供应商、采购、与结算信息的统一管理物料信息寻源信息供应商信息采购结算信息物料分类信息物料编码标准物料基本信息物料需求信息物料库存信息供应市场信息总体成本信息寻源分析信息合同信息 基本信息 供应商评价信息 供应商关系信息 供应商分析信息采购需求信息采购执行信息验收配送信息应付结算信息采购分析信息数据管理需求n集中公司物资分类策略，确定物料的分类，需求库存信息n建立公司物料采购的战略寻源信息n建立统一的供应商信息管理n对物料采购结算信息进行管理数据分布n采购决策分析n供应商信息管理n物资及存货管理n采购执行过程管理n合同管理采购组织采购的绩效考核和人员发展采购流

8、程采购的信息平台供应商策略分类物料策略总拥有成本采购支出采购需求分析外部供应市场分析采购战略寻源采购基础架构数据主题分类8 8依据集团统一的财务核算体系，实现对财务体系、资金、预算、财务报表与分析信息的统一管理财务体系信息资金信息预算信息成本信息财务政策信息股权结构信息会计科目信息财务审计信息资产管理信息银行账户信息资金头寸信息投资融资信息资金支付信息资金收入信息资金分析信息预算制度信息预算组织信息预算编制信息预算执行信息预算分析信息目标成本信息采购成本信息生产成本信息研发成本信息管理成本信息成本执行信息成本分析信息数据管理需求n建立集团统一财务核算体系及相应的信息标准要求，重点保证资金、预算

9、、报表体系、成本和财务分析指标信息的统一n实行公司统一的预算管理体系，实现预算编制与经营计划编制的集成数据分布n财务管理（核算、报表、分析、资产）n全面预算管理n成本管理n资金管理报表分析信息对内报表信息对外报表信息报表合并信息财务指标信息风险分析信息财务主要职能成本核算预算与绩效管理体系资金管理财务报告和分析内部控制体系会计政策数据主题分类9 9建立一体化的生产管理体系，实现对生产计划、调度指挥、生产作业、生产统计信息的管理生产计划信息调度指挥信息生产作业信息生产统计信息生产计划信息生产成本预算生产收入预算计划下发信息计划执行信息调度信息调度指令运输调度生产监督原料进厂信息原料库存信息装置生

10、产信息公用工程信息产品交库信息产品库存信息生产成本统计生产量统计产量指标统计技术指标统计数据管理需求n制定集团统一的生产管理信息标准要求。保证生产计划、调度指挥、生产作业、生产统计信息的统一标准n集团集中进行生产管理信息的汇总统计与分析n通过生产管理体系，对生产计划、调度、作业和统计进行管理数据分布n生产计划管理n生产营运管理n生产作业管理n技术管理n质量管理统计分析管理技术管理 化工生产技术规程与技术文件管理 煤矿采掘方案管理生产计划管理年度生产计划编制月度生产计划编制生产执行化工生产作业化工物料储运公用工程作业煤矿生产作业煤矿生产辅助和服务性作业质量成本监控质量管理标准质检计划标准检测方法

11、、样品跟踪分析产品成本核算成本模拟能力生产调度日生产计划生产执行调度生产运营协调运行统计分析数据主题分类1010促进统一的项目管理平台建设，实现对项目标准与政策、项目管理、资源、项目成果信息的统一管理标准政策信息项目信息项目资源信息项目成果信息项目管理制度项目管理流程技术标准信息开发规范信息设计平台信息项目基本信息项目计划信息项目进度信息项目质量信息项目成本信息项目分析信息项目组织信息专业技能信息项目资金信息技术工具信息资源分析信息项目研究信息项目设计成果项目交付成果公用技术单元数据管理需求n制定统一的项目管控标准和政策n建立统一的公司项目管理体系信息标准，统一管理公司的项目信息n对项目重点里

12、程碑材料，重要科研技术成果信息统一管理数据分布n项目管理n预研、可研、设计、建设与交付全过程协同管理n项目资源管理项目绩效管理公用基础单元过程管理IT工具及平台跨部门团队结构化流程市场/运营/管理需求预研、可研、设计实施建设交付使用数据主题分类1111各类主题数据对应不同的管理职责 信息管理部门战略管控类数据经营管理类数据业务执行类数据基础类数据事务类数据统计类数据决策类数据基础类数据事务类数据统计类数据决策类数据基础类数据事务类数据统计类数据集团领导使用使用下属企业领导使用使用使用使用使用集团职能部门创建、使用、维护创建、使用、维护创建、使用、维护创建、使用、维护创建、使用、维护创建、使用、

13、维护创建、使用、维护创建、使用、维护集团大数据中心标准控制标准控制标准控制下属企业使用、维护使用、维护使用、维护创建、使用、维护创建、使用、维护创建、使用、维护创建、使用、维护创建、使用、维护创建、使用、维护基础类数据属于主数据管理的范畴，用于定义数据标准，建议由集团信息部门集中管控；战略管控类数据和决策支持类数据应由集团职能部门集中管控1212基于数据主题分类，进而得到数据标准清单，为设计数据指标及未来的数据仓库建设打下基础ERP数据其它数据BI数据集市数据仓库抽取层提供标准定义的业务数据需求指导数据指标设计数据仓库合并层应用展示层数据需求规划清单数据标准清单需求数据分解对应到基础指标基于数

14、据主题分类，可以对业务数据需求进行汇总、整理、指标化、定义标准化、指标分解，并记录到数据仓库的基础指标的映射关系的过程。在公司层面建立有效的数据共享和抽取机制；提供一套完整、统一、没有歧义的公司业务分析指标，该过程将逐步产出以下三项内容：n数据分析框架：提供数据整理的载体，并用于指导广核分析型应用的分步建设方向n数据需求规划清单：用于提供汇总的、经过标准化定义的、无歧义的业务数据需求指标项n数据标准清单：用于指导数据仓库的数据指标的设计提供数据整理的载体业务数据主题分类是数据仓库和分析型应用建设的基础工作，数据仓库的建设，是满足分析型应用数据需求的基础。业务管理视角数据分析框架（数据主题分类）

15、1313数据标准 数据标准是信息化标准体系的一个重要组成GB/T 20000.1-2002 标准化工作指南 第1部分：标准化和相关活动的通用词汇中有如下术语定义：标准是为在一定的范围内获得最佳秩序，经协商一致制定并由公认机构批准，共同使用的和重复使用的一种规范性文件标准化是为了在一定范围内获得最佳秩序，对现实问题或潜在问题用标准来制定共同使用和重复使用的条款的活动标准体系是由一定范围内具有内在联系的标准组成的科学的有机整体术语定义：由XXX集团公司信息化建设范围内的具有内在联系的标准组成的科学的有机整体体系组成：由基础标准、数据标准、应用标准、安全标准、管理标准五部分组成标准标准化标准体系XX

16、X集团信息化标准体系信息化标准体系基础标准数据标准应用标准安全标准管理标准1414数据标准 数据标准的内容组成数据标准信息分类标准通用数据编码规范专业数据编码规范数据指标规范通用基础类数据单位类数据人力资源类数据财务会计类数据物料类数据质量类数据投资项目类数据合同文档类数据财务类指标生产类指标销售类指标.化工生产类数据煤矿生产类数据农技服务类数据环保工程类数据通用数据也被称作主数据，一般情况下企业实行的数据标准化工作，主要围绕主数据标准开展工作n信息分类规范，规定信息分类的方法，信息分类的编码规则以及信息代码体系构成n通用数据编码规范，规定多个信息系统内使用的、公共性、基础性的数据代码，如组织

17、机构、人员、物料、客户、供应商、财务会计等n专业数据编码规范，规定与专业性业务直接相关的，并局限在单一的专业系统或几个紧密耦合的系统中的数据代码，包括化工生产专业数据、煤矿生产专业数据等n数据指标规范，对不同层面的数据进行归纳、整理和规范化定义，形成一套完整的包含元数据、业务指标、管理指标的规范1515数据标准 主数据标准的工作主数据标准工作包含许多具体工作内容，同时要通过组织和流程加以保障，以规范信息的生成、存储和共享数据编码标准化数据项名称标准化统一数据编码的建立工作内容n建立主数据编码结构，并赋予标准值n为系统性分类和操作事项定义业务规则，包括设备、物料、备品备件、项目等n管理企业通用信

18、息，如客户和供应商信息、帐号编码等n建立数据项名称结构，并分配名称n要求所有的系统共享单个数据项名称集及其属性 n系统地管理企业数据编码、数据项名称、数据库位置等，关注最终用户的使用情况 工作方法n定义标准的数据项名称结构n一个标准的数据项名称必须有完整的中英文名称对照n采用产品工具n自力开发n建立数据编码标准化的主要原则与规范n建立数据跨部门的数据编码标准化管理组织n建立数据编码标准化管理流程单据报表格式设计n依照信息的分类组成、数据编码、数据项目标准名称、业务规则和流程要求，定义单据内容和格式n根据信息收集和分析要求，定义报表格式n手工进行单据和报表设计n利用工作流系统实现初步的单据与报表

19、自动化n通过系统实施，实现与业务信息集成的单据和报表自动化主数据标准1616数据平台总体技术框架基础设施层 服务器主机存储备份系统网络通信设备运行环境IAAS服务器虚拟化存储虚拟化网络虚拟化信息资源层 元数据模型数据仓库操作数据存储（ODS）应用支撑层 ESB数据交换平台全文检索统计报表数据交换系统监控性能管理元数据管理交换服务其他服务权限控制元数据管理数据采集抽取整合质量控制资源服务其他组件应用层 XXX公司信息门户业务系统决策分析查询与报表本地灾备中心应用级数据同步服务器HA网络可用性复制运维管理体系用户需求管理数据资源管理基础设施管理自动化管理运行管理安全防护体系应用安全数据安全系统安全

20、安全管理安全组织机构网络物理异地灾备中心数据异步复制1717数据平台元数据是构建数据仓库的基础n元数据（MetaData）就是关于数据的数据，对数据来源、定义、功能等进行描述n元数据分为技术元数据（Technical Metadata）和业务元数据（Business Metadata）制定总体的数据关系表，明确数据的依赖关系和转换流程；管理任何数据元素变更对其他系统上的相关数据、高粒度数据和分析报表的影响分析；监控数据质量相互影响；帮助建立数据质量检查和数据一致性稽核过程。暂存区数据仓库报表分析抽取转换BI应用/分析/报表数据集市数据仓库暂存区数据仓库ETLEAI/ETL业务系统应用抽取转换I

21、元数据管理抽取技术元数据管理 统一企业的数据定义；保证数据之间转换关系的正确性和一致性；统一报表和指标的定义、业务规则、计算方法和统计口径；加强业务最终用户/分析人员/技术开发人员对数据和指标的认识的一致性；提高报表/分析/数据转换应用的开发效率和正确性。业务元数据管理1818数据平台数据仓库、操作数据存储、主数据管理应用展示层数据集市数据的抽取/清洗/整合数据源层财务报表资产分析客户分析销售分析项目分析成本分析项目管理销售采购财务业务需求ERP合同管理项目管理主数据管理数据仓库采购项目成本销售财务投资资产人力资源客户数据仓库操作数据存储ODS构建数据仓库、操作数据存储ODS、主数据管理，集中

22、管理重要数据资源，实现数据的综合集成、多维分析、数据挖掘以及主题展现，全面提升数据分析和辅助决策能力业务数据库1919数据平台数据仓库、ODS与业务数据库之间的数据集成服务数据管理数据对照、数据同步数据抽取接口经营数据集生产数据集科研数据集数据仓库元数据模型数据粒度与聚集模型数据集市基于主题进行归纳、抽取、清洗、转换OLAP/数据访问机制数据安全数据标准体系数据交换标准数据仓库标准数据元标准数据运维管理信息安全管理信息安全技术技术流程信息安全控制组织手工数据文件统计报表预警、模拟和预测业务优化分析业务监控和分析绩效管理数据可视化风险管理预算和计划执行工程数据集（面向业务系统、OLTP）操作数据

23、存储ODS简单数据访问数据集成层数据应用层数据源层实时数据ERP数据生产管理数据 办公业务数据HSE数据关系数据库其他数据数据抽取、清洗、整合、转换机制采用企业服务总线ESB和数据集成ETL技术，建立各层级数据库之间的数据集成服务2020数据平台大数据平台大数据存储和处理算法、可视化Hbase(分布式列数据库)MR系统(定制的MR程序)Pig(数据流处理)Hive(数据仓库)MapReduce(分布式计算框架)YARN(资源调度系统)HDFS(分布式文件系统)Chukwa(数据监控)Zookeeper(分布式协作服务)R语言Tableau(可视化)R语言(算法建模)Flume(日志收集工具)S

24、qoop(ETL工具)数据存储和管理数据集成数据源结构化数据文本数据图片数据地理信息数据视频数据.农技应用服务建设大数据平台，面向不同业务需要提供相关大数据应用服务。比如，新农化业务可以应用大数据平台，可提供农作物种植分析、农业知识检索、农业生产关联分析等农业技术服务。农作物种植分析农业知识相似性检索农业生产关联分析其他大数据分析2121数据管理数据管理体系和运作机制建立数据管理体系及运作机制，实现组织、流程、评价考核和工具四个域相互作用、相互支撑，提供对XXX集团公司各个信息系统数据的管控管控组织 数据管控组织领导 数据所有人 数据认责人 IT支持流程n标准制定流程n政策制定流程n考评指标制

25、定流程n评价与考核 标准（数据标准、质量要求、安全要求）遵守标准所需要的政策 政策与标准遵从考评定义 考评 数据产生者 数据使用者 流程支撑流程支撑制定工具 工作流管理 标准/政策的查询与发布 管理评价仪表盘工具支撑工具支撑n数据必须明确所有人、使用者、产生者、认责人。数据管控委员会统一协调各类角色；n所有人制定数据标准，明确质量要求及安全要求；n认责人制定为遵守标准所必需的政策和考评定义。信息系统运行ERP系统电子商务系统其他信息系统n数据产生者与使用者接受政策与标准遵从的考评。n标准/规范的制定和遵从考评都基于统一的流程n工作流支持流程的自动可控；n管理评价仪表盘支撑考评结果的自动生成与发

26、布n数据管控体系将企业各信息系统数据的产生、加工、流转与使用纳入规范管理；n数据管控将与信息系统的建设与运行长期并存，并不断完善。办公系统2222数据管理数据管理组织架构数据管理组织信息领导小组主题域负责人(业务)n领导数据所有人n指派足够资源支持数据管理活动数据管理小组组长n负责制定并落实数据管理政策和考评指标n推动跨企业各部门数据合理的运用、共享n关注战略规划，设定整体目标及监控绩效n审查数据管控政策、标准和原则等n数据管理问题和例外情况的上报点n在整个组织内传达数据管控愿景和目标n审查和评估数据管控绩效和有效性数据认责人(IT)物资数据认责人人力资源数据认责人其它数据认责人数据产生者数据

27、使用者管控对象人力资源主题域所有人物资主题域所有人其它主题域所有人数据所有人（业务）n定义数据标准n定义数据质量要求n定义数据安全要求数据管理小组业务组织n指导委员会办公室下设数据管理小组，专职负责数据管控的日常活动图例：直接领导间接领导其他支持部门(人力资源,培训等)IT支持(DBA，技术支持)公司高层的直接领导和积极参与对数据管控组织的成功至关重要大数据中心人力资源主题域负责人物资主题域负责人其它主题域负责人2323数据管理数据管理流程框架1、表示该环节要制定流程2、表示流程设计中涉及到的产出物说明：1 组织建立和数据认责2.1建立政策2.2维护3.1建立3.2维护数据标准4.1建立4.2

28、维护质量要求6.1建立6.2维护6.3考核评价指标5.1建立5.2维护安全要求主数据管理系统其他系统组织和数据认责是整个数据管控的基础。一旦确定组织和认责，才能有效制定相关政策和标准，才能有效实施评价与考核数据标准是建立评价指标的依据质量要求是建立评价指标的依据安全要求是访问系统指标数据的权限情况政策用来描述数据在标准制定、录入、加工、使用、考核等环节的规章制度2424数据管理数据管控评价和考核数据认责政策n数据认责是将数据进行分类并与数据管控组织中的角色承担者进行映射，将角色承担者责任范围落实到位。n通过数据认责能够使各业务部门、IT部门更清晰地理解和定位自身在数据管控体系中的职责，并且协同

29、完成全面的数据管控。n数据管控政策是指在数据产生、流转及使用过程中要遵循的一系列规章制度，与数据管控相关标准相结合作为企业对数据进行管理的手段。n数据管控政策由数据认责人与数据所有人协同制定。评价指标管控标准n数据管控评价指标是用来评估及考核数据相关责任人职责履行情况，数据管控标准及政策的执行情况的方法。目的是通过定量/定性的考核指标来确保数据管控责任、标准及政策的切实执行，加强领导层对数据管控相关责任、标准与政策执行的掌控能力。n数据管控评价指标应由信息化指导委员会统一制定。n数据管控标准是指企业为了保障其数据资产质量而制定的一系列明确的规范及准则，要求企业在管理其数据时严格遵守，包括数据标

30、准、数据质量衡量标准、数据安全准则三个方面。n数据管控相关标准应由数据所有人与数据认责人协同制定。2525数据管理数据管理需要分阶段逐步建设 平台：数据管理团队的工作必须建立在自动化的高效的信息平台 接口：企业的信息系统之间应按照数据管理接口规范进行交互 模板：信息系统向数据管理平台提交数据可以通过标准模板IT基础设施建设 流程：根据管理要求建立可执行工作流程，并严格执行工作流程 规范：企业的各工作岗位有数据管理团队制订的工作规范 制度：企业须建立数据管理的制度制度建设 组织：建立企业级的数据管理团队是数据管理的基础 角色：团队中按照管控的内容进行岗位的设置，按角色分工 职责：不同的角色拥有详细的工作职责团队建设第一步建设主数据管理系统建立数据质量管理第二步强化数据质量管理建立数据标准体系第三步建设数据仓库强化并建设全面的企业级数据管理体系