数据质量管理系统建设方案.pptx

1、数据质量管理系统介绍目录现状及系统定位系统架构设计核心功能介绍系统特点数据质量管理现存问题及制约因素制约因素 系统应用对象不明确、系统应用层级定位不清 因定位不清导致系统的界面设计不能满足各层级需求 系统适应性不能满足地区性、个性化需求，差异明显 缺乏针对数据质量管理的标准化流程及沟通机制 系统适用性不强，未强调数据质量管理，更多偏向于数据上报及下发管理 数据质量校验规则不全面、针对网省的适用性相对较差 不具备自建指标校验能力 技术元素导致业务人员无法使用系统 运维等人员对业务不清导致数据质量无法及时得到确认 业务人员对运维人员依赖性强 数据质量不受控制直接上报国网 源数据提供人员无法使用系统

2、，无法对上报数据进行确认 不支持校验规则自定义修改 无数据质量预判机制 缺乏数据质量的问题分析、归集及经验共享机制 缺乏考核通报机制 数据质量查询功能不完善问题趋于严谨的数据质量评价考核规则上月28日 本月5日 本月8日 本月15日允许省（市）重复上报数据，截止5日统计各省（市）及时率本段时间允许省（市）修改各指标数据，截止8日统计各省（市）准确率、完整率、接入率截止8日不允许省（市）修改指标数据，从9日至15日出具运营监测控数据质量阅读通报123当前总部数据质量考核过程上月28日 本月8日 本月15日只允许省（市）上报一次，不允许修改系统生成较难明细数据与上报数据增加防修改加密码，增加上报审

3、计功能1后期总部数据质量考核过程一次性出具运营监测控数据质量阅读通报2省公司业务系统数据质量管理系统省公司运监系统国网运监系统123 提供友好、易操作的数据质量管理界面 系统应用满足运监人员、业务人员及系统运维人员需求 建立数据质量异常在线沟通及数据调整流程提升数据质量管理省公司运监数据质量提升系统建设目标及定位定制化开发 建设自定义数据校验规则，满足省公司实际业务运行现状 依托数据质量管理办法，有效结合制度及管理文件，通过系统落地建立省公司本地的数据质量问题归集共享平台 建立省公司数据质量评价功能，促进数据接入质量提升 提供数据质量问题继而辅助功能 缩短数据质量校验频度，提供预判功能接口及数

4、据链路监测能力提升数据质量监测能力提升 实现省运监中心对公司业务数据产生、数据接入到汇总计算结果的全过程、可视化监测管理，确保数据完整、准确、及时高质量接入及上报。目录现状及系统定位系统架构设计核心功能介绍系统特点系统应用设计功能清单功能点功能点描述系统管理包括资源监测、配置管理、安全管理、备份恢复、日志管理等数据加工通过对计算规则库进行配置，提供计算引擎和统计服务，实现数据加工数据存储对存入数据的转存需求进行处理，提供数据压缩服务数据处理对接入数据质量管理系统的数据进行正确性检查、格式转换、标准统一，并提供数据调整功能数据访问跨平台数据访问服务及数据访问服务数据接入传输提供数据接入及传输通道

5、元数据管理数据监测点管理及维护，映射关系模型维护等数据质量评价依照管理制度对数据接入情况进行排名比较数据看板对系统各个环节的运行情况进行统计、分析、展示支撑工具门户集成、二次开发接口等支撑服务系统集成设计物理部署设计系统安全设计安全控制点防护策略设计身份认证1、设置密码的存储和传输安全；2、保护身份验证Cookie；3、同一用户同时只允许登录一个；授权1、设计资源访问控制方案，验证用户访问权限；2、限制用户对系统级资源的访问；3、设计统一的访问控制机制；输入输出验证1、设计验证所有来源不在可信范围之内的输入数据；2、应在服务器端和客户端都应进行输入验证；3、应对输入内容进行规范化处理后再进行验

6、证，如文件路径、URL地址等，需要规范化为标准的格式后再进行验证；配置管理1、应使用最少特权进程和服务帐户；2、应避免应用程序调用支撑系统资源；3、单独分配管理特权；会话管理1、设计登录成功使用新的会话；2、设计会话数据的存储安全；3、设计会话的安全终止；4、设计合理的会话存活时间；加密技术1、不使用自创加密方法；参数操作1、确保用户没有绕过检查；2、应验证从客户端发送的所有数据；异常管理1、使用通用错误信息；2、程序发生异常时，应在日志中记录详细的错误消息；审核和日志1、审计功能的启动和关闭；2、应用系统的启动和停止；3、访问控制信息；4、用户对数据的异常操作事件；目录现状及系统定位系统架构

7、设计核心功能介绍系统特点明细查询数据看板（有好图换之）监测校验卡板采用“一页纸”的设计思路，面向省公司运监中心、省公司业务部门、地市公司运监中心、地市公司业务部门，实现四方面用户的定制化适用需求，并可实现自定义配置，用户可在看板完成所需的所有功能。根据用户权限及需求建立模块化的看板功能，基础功能为国网运监的数据接入要求，如接入率、及时率、完整性、准确性等，业务部门界面包括本期、往期数据接入情况，运监中心可以看到本层级及下级数据接入情况，监测看板数据依据等率时间随时刷新界面情况，第一时间了解数据接入请款个，同时提供接入情况的对比功能（如数据接入增长率等）。系统将集成门户待办功能，数据接入情况实时

8、进行通知，并根据内容同时发送运监中心及业务部门，用户可通过通知了解概要情况，同时也可进入看板了解详细情况。看板集成了系统的所有功能，类似于系统首页，用户可发起询问、数据下钻、调整流程、校验规则配置等多项功能。功能点规划功能点说明功能实现场景配置选择预判展示按业务对数据进行分类，并提供各指标的展示控件，即各类展示主题用户选择岗位权限内关注主题进行展示。看板集成预警功能，系统在后台实现自动校验后完成预判展示功能，将校验结果展示在看板上。看板集成钻取功能，实现预判数据、业务指标数据、业务明细数据的穿透查询数据加工 对监测点的计算规则进行设置，支持各类函数，脚本支持自定义函数 公式管理，公式由数据加工

9、服务进行存储和管理在数据加工服务中，计算点用于表示公式，包括公式的执行脚本、触发方式及其他相关配置信息计算点可以选择是否在实时库中对应测点和不对应测点用户可以对计算点进行增加、删除、修改 调用脚本执行计算算法，生成并保存计算结果 根据用户配置的周期，当周期到达时自动对脚本进行运算周期可以为年、月、日、小时、分钟、秒为单位进行设置等 计算结果存储，如果计算点对应了实时库的测点则脚本执行结果自动存储在对应实时库测点中，如果没有对应可以通过调用数据提交接口处理计算结果功能细分功能实现计算规则库函数支持周期触发计算公式管理事件触发计算脚本编辑器定时触发计算计算结果存储计算引擎规则设置数据处理对数据源发

10、送的数据进行校验，并生成告警对产生的异常数据进行同步 强调数据预判后的处理流程，用户通过发起流程的方式，提示业务部门重新推送数据 支持数据的即时、批量修正及重新推送调整功能细分功能实现数据校验数据校验判断校验告警发送数据同步批量修正流程修正数据修正数据接入接收不同数据来源的数据并解析成数据质量管理系统标准格式存入增删改接口服务器，分发接入接口、历史补招任务，设置运行计划数据源自定义监测点定义（增删改查），包含所属数据源、监测点名称、描述、计算公式、启用标志等监控运行的接口运行状态，包括内存使用、数据写入量、写入监测点列表等接入数据异常及时告警功能功能细分功能实现接入适配器管理接口服务器管理数据

11、源定义管理接口机运行状态监控接入监控管理自定义监测点管理接口适配器接入异常处理接口异常管理数据质量评价 根据省公司数据质量管理办法，在系统中固化数据质量评价规则，每周期内对各业务数据质量进行打分评比，按照及时性、准确性等要求，按天倒排。通报结果定期以模板形式发送各业务部门，抄送公司领导。功能细分功能实现评价流程流程定义流程及角色关联评价报告指标定义评价定义模板定义目录现状及系统定位系统架构设计核心功能介绍系统特点系统应用特点促进省公司大数据应用及标准化建设数据质量管理系统应用将有效结合结合省公司电力大数据技术研究、应用系统及多项目建设成果，促进包括大数据建设、运营与服务等统一的大数据标准规范体

12、系建设，为公司电力大数据建设提供保障。提升运监中心数据综合管理水平 通过对数据质量管理指标的重定义、监测校验频度的分析定义，构建由数据分析、数据接入、数据校验、数据展示、数据调整的一体化管理体系，做到数据的妥善保管、高质量有序存放、方便查阅，严防毁损、散失和泄密，从而大大提升运监中心数据综合管理水平。促进公司大数据管理标准化数据质量管理专业化系统建设重点数据质量管理需建立强有力的管理制度做支撑，有效保证数据管理执行的可行性，确保数据接入及时、准确，需与业务职能部门建立常态化的沟通协调机制。数据质量管理涉及业务面广，数据接入量大，时效性要求高，数据的处理和及时的异常告警对技术实现提出挑战，需充分考虑大数据的应用操作，保证数据监测管理执行有效。采用全面规划、逐步分批实现的原则，以切实关注点为重点，以监测、分析、展示数据核心需求为目标，充分考虑分析梳理数据质量管理的全面性，明确数据接入及校验规则，确保指标定义及管理规则的合理性和可操作性。