数据治理方法论及实践.pptx

1、教育大数据治理实践-CONTENTS 大纲大纲 业务背景 数据治理框架 数据问题及治理方案 总结网络日志教务课堂作业考试家校通业务系统数据机器数据硬件平台产品多，功能重复建设渐进性发展，业务竖井互联网业务，版本迭代快教师课堂教学课后作业全学科教育评价教育云推送个性化学习资源学生单元测验 智能阶段考试批阅数据说话 辅助决策 主管部门家长教学过程数据采集与汇聚教育大数据应用大数据实现123自动分析与评价个性化教学人工智能助力教育，因材施教成就梦想大数据大数据DI大数据大数据BI大数据大数据AI大数据交付项大数据交付项目目数据集市开发数据集市开发辅助产品辅助产品辅助决策辅助决策推荐推荐数据缺失不准确

2、信息共享困难问题定位难问题解决周期长口径不一致数据治理框架数据治理框架数据平台数据治理功能模块元数据管理主数据管理数据质量管理数据资产管理资产运维数据治理系统生命周期管理数据变更管理数据提供者数据运维者安全运维标准管理安全管理制度管理文档管理数据管理者文档管理文档管理业务文档技术文档架构设计模型设计指标设计数据字典业务定义领域模型业务流程业务规则数据使用规则在线文档管理数据安全管理数据安全管理管理安全安全策略数据访问控制统一认证评估审计安全规范数据存储安全日志和审计数据安全应用安全数据传输安全分级授权网络安全系统安全病毒防护网络隔离漏洞检修设备安全无线安全主机访问控制安全加固媒介安全环境安全物

3、理安全技术是关键、策略是核心、管理是保证数据安全管理数据安全管理安全机制安全审计访问控制认证数字水印数字签名数据变形日志审计安全等级数据溯源基于对象基于任务基于角色基于设备基于行为基于账号元数据管理元数据管理数据地图血缘关系使用热度任务依赖安全等级影响分析表标签管理变更历史业务元数据技术元数据 业务名称 业务定义 业务描述 业务规则 业务流程 领域模型 库表结构 字段定义 血缘关系 变更历史 使用热度 保留时长元数据应用主数据治理主数据治理映射转换主数据治理IDMapping数据补齐标准转换变更管理变更管理标准问题标准问题数据标准定义依据各异业务需求缺乏规划业务口径不统一信息共享困难数据统计口

4、径无法匹配业务沟通困难，存歧义对象定义标准化代码标准化业务指标标准化标准管理标准管理 数据代码类标准 词库编码工具 建模工具数据规范数据标准化 指标管理系统 标准检查工具管理流程技术工具数据质量管理数据质量管理质量策略协调与组织业务策略保持一致检测数据质量质量控制目标建立数据质量管理角色和责任维护、管理及应用数据职责角色流程方法支撑保障质量管理的支撑工具数据质量管理数据质量管理质量分析：提供不同值的频度分布，对每个字段类型和用途的洞察分析质量分析工具质量问题处理流程自定义规则库数据质量 数据量波动 枚举异常 主键不唯一 业务规则监控 数据质量报告周期性稽核报告质量监控工具异常监控告警数据生命周

5、期管理数据生命周期管理大数据归档和销毁定义大数据范围大数据采集大数据存储大数据整合大数据分析大数据应用大数据从产生和获取到销毁的过程 归档 销毁 可选择性恢复 严格审批流程 分析数据生命周期管理数据生命周期管理分类热数据高温数据中冷数据数据价值密度数据使用频度数使用方式数据使用目的数据存储量数据使用工具使用使用者低低高中静态报表支撑进行决策低数据分析分析有意义数据中数据检索寻找有意义的数据高可视化展现工具决策者可视化分析工具业务分析者编程语言和技术工具数据专家数据热度 高性能、高并发、高可用、高可靠 高性能、高可靠 低成本、低并发、大容量、可扩展 热数据 温数据 冷数据不同的热度采用不同的存储和备份策略制度管理制度管理质量保障规范 质量巡检制度 线上变更制度 模型复盘制度 运维值班制度 数据安全审计 指标设计规范流程管理规范 上线规范 采集规范 模型变更流程 生命周期管理规范 数据导出规范 仓库问题处理规范日志数据治理日志数据治理埋点管理埋点Debug埋点测试埋点监控技术可以降低成本，核心是业务驱动数据实施框架数据实施框架数据即资产企业文化依据业务发展需求，设立合理的阶段性实施目标；流程化，工具化，采用科学手段高效实施大数据治理合规管理与控制实施目标实施的关键要素组织架构和岗位职责标准规范数据治理治理的前提条件必要保障