电子政务领域的大数据解决思路课件.ppt

1、解决思路行业实践总结1问题分析电子政务领域的大数据解决思路行业实践总结2问题分析解决思路问题分析行业实践解决思路总结1234目录页ContentsPage行业实践总结3问题分析解决思路问题分析行业实践解决思路总结1234目录页ContentsPage解决思路行业实践总结4问题分析信息资源共享难缺乏统一数据标准信息孤岛现象严重面临的问题分析利用程度低信息共享难度大数据安全缺乏保障缺乏统一资源目录解决思路行业实践总结5问题分析电子政务建设的问题4项目建设运维成本高电子政务1缺少总体顶层规划2条块分割纵强横弱资IT3 源利用率低标准不一、重复建设、粗放式建设12各自为政、信息共享难、业务协同更难34

2、基础设施利用率低、数据价值没有发挥投资成本高、缺乏专业运维团队、运维成本高、时间成本高（部署、开发）。解决思路行业实践总结6问题分析电子政务的大数据建设目标（1）构建政务大数据处理的交换、整合、共享、分析与服务的软件平台（2）建立覆盖政务数据定义、存储、管理、共享、分析与服务的标准体系（3）不断整合各类基础设施资源、数据资源，支撑大数据业务的持续发展行业实践总结7问题分析问题分析问题分析行业实践解决思路总结1234目录页ContentsPage解决思路解决思路行业实践总结8问题分析分布式数据中心架构政府公共数据中心教育行业数据中心卫生行业数据中心交通行业数据中心其他交通监控系统公交调度系统机动

3、车/驾驶员管理系统停车引导系统摄像头GPSETC传感器解决思路行业实践总结9问题分析逻辑库与物理库卫生公安教育远程物理库基础库内存闪存硬盘分布式查询引擎逻辑库分布式资源索引资源调度分级缓存本地资源调度缓冲库本地物理库远程资源调度资源定位资源检索解决思路行业实践总结10问题分析以数据流为主线，实现从数据采集、数据管理、数据服务到数据应用4个阶段的全过程管理Web直报大数据生命周期数据库数据文件数据接口质量控制汇集规整标准化清洗转换元数据库结构化数据库数据仓库数据比对分析服务资源目录信息共享数据展现决策支持抽取报送分类存储数据接口服务提供非结构化数据异构数据源数据采集分布式文件库数据管理报表服务查

4、询服务数据服务数据应用解决思路行业实践总结11问题分析相关技术数据分散不规范问题数据一致性问题数据涉密不能落地问题数据标准不一致数据质量问题数据安全性问题数据深入分析不够数据可视化程度低结构化大数据存储非结构化数据存储解决思路行业实践总结12问题分析“三张皮”变“一张皮”业务应用1业务应用2业务应用N资源共享应用1资源共享应用2资源共享应用N数据分析应用1数据分析应用2数据分析应用N业务库 OLTP共享库三类数据资源主题库 OLAP数据整合共享数据数据建模大数据平台即席查询解决思路行业实践总结13问题分析政务大数据应用架构安全防护体系标准规范体系基础设施服务器存储网络资源整合、虚拟化管理、按需

5、分配发改委财政建委资源共享、业务协同、决策分析、信息门户、应用平台KPI仪表盘ESB SOA数据集市主题域数据库ODS采集、整合、服务、监管领导驾驶舱工作流引擎社管卫生环保交通教育业务报告Office集成建交委公安局规划局图表展现监测警报卫生局教育局应用支撑数据中心解决思路行业实践总结14问题分析实现数据采集、交换、整合、管理及共享等全生命周期管理，能实现数据的集中及分布式存储，为政府大数据项目提供基础支撑和保障达梦大数据平台解决思路行业实践总结15问题分析大型通用关系型云数据库安全自主联机分析处理（列存库）大数据处理（MPP数据库）DM7联机事务处理（兼容 oracle）安全保护统一接口OD

6、BCJDBCPL/SQLOCIADOPDO达梦大数据平台数据存储类（DM7）智能索引列存表DMMPP并行加载解决思路行业实践总结16问题分析达梦大数据平台数据存储类（MGBase）MasterMaster数据服务器数据服务器列实例列实例列实例Master数据服务器 面向列的分布式NoSQL型数据库 构建于分布式文件系统之上 适用于半结构化和非结构化海量数据存储分布式查询处理全局数据字典管理会话管理安全管理缓存管理数据访问代理解决思路行业实践总结17问题分析达梦大数据平台异构分布式查询关系型数据库综合查询系统资源目录系统中心节点内存闪存硬盘本地分级缓存TXT、EXCEL、XML和WebServi

7、ce等其他数据源数据访问代理非关系型数据库业务节点各类数据源业务节点前置节点分数据中心节点数据访问代理各类数据源数据访问代理各类数据源业务节点数据访问代理各类数据源数据访问代理各类数据源前置节点数据访问代理各类数据源 采用一致接口访问本地、远程数据源 支持多级代理，适应复杂网络部署 支持关系数据库、数据文件、数据接口、NoSql数据库解决思路行业实践总结18问题分析前置交换库前置交换库前置交换库前置交换库达梦数据交换系统数据中心 前置交换库交换管理 支持异构数据源采集 OracleSql ServerDM dbmsDB2MySqlSybaseExcel文件其它文件 支持多级单位间的数据交换解决

8、不同单位、不同系统之间的数据采集、数据交换等要求。业务信息库发改委业务信息库建委业务信息库财政局业务信息库规划局业务信息库审计局达梦大数据平台数据交换类（DMETL）解决思路行业实践总结19问题分析1.2.3.4.数据备份OLAPOLTP分离实时同步灾备达梦数据同步软件(DMHS)是支持异构环境的高性能、高可靠、高可扩展数据库实时同步复制系统。对源系统的资源消耗低，数据同步速度快，支持故障恢复后断点续传。达梦大数据平台数据交换类（DMHS）解决思路行业实践总结20问题分析达梦大数据平台数据交换类（请求服务引擎）分布式请求服务引擎穿透内外网请求转发远程服务代理中心/分中心一体化服务分布式请求服务

9、引擎解决数据不能落地的远程数据访问问题。请求响应列表请求响应协调器请求响应服务器请求监听列表数据查询器请求转发器比对请求交换请求查询请求任务池内网外网外网请求服务数据库内网请求服务数据库数据交换平台解决思路行业实践总结21问题分析达梦大数据平台数据管理类（元数据管理）版本管理 导入/导出 元数据应用元数据数据来源数据仓库设计业务分析业务视图数据仓库业务主题统一数据标准，全过程元数据记录，数据转换工具 数据标准 元数据仓库 自动获取 关系维护解决思路行业实践总结22问题分析利用ETL工具异构数据源支持图形化设计器丰富的清洗转换组件基于插件模式扩展实现数据的清洗、转换、规整、治理、标准化等达梦大数

10、据平台数据管理类（数据整合）解决思路行业实践总结23问题分析数据管理 数据维护 数据权限 数据发布 备份/恢复 导入导出 基于元数据，通过快速配置实现对数据的基本管理、访问权限控制与发布等功能达梦大数据平台数据管理类（数据资源管理）解决思路行业实践总结24问题分析达梦大数据平台数据管理类（资源目录）收集整理所有相关系统、相关数据、相关服务等资源信息方便用户寻找有用的信息行业实践总结25问题分析数据源n解决思路数据仓库数据共享库ETL数据源1质量报告质量治理质量规则监控完整性校验 质量标准定义 质量规则设置 问题数据采集 问题数据管理 问题数据分析 数据治理达梦大数据平台数据管理类（数据质量管理

11、）实现数据质量监控、报准确性质性校验数量告及治理据监探测控服数据质量管理包括：务解决思路行业实践总结26问题分析网络服务池服务注册中心服务总线(ESB)服务调度器其它系统用户异质异构服务集成；分布式服务集成。简化服务的提供和使用！达梦大数据平台数据管理类（服务管理平台）解决思路行业实践总结27问题分析达梦大数据平台数据仓库建模工具1.用于数据仓库建模2.辅助数据仓库实施人员完成 从数据仓库概念设计 到最终物理实现全程解决思路行业实践总结28问题分析达梦大数据平台OLAP分析1.支持ROLAP、MOLAP、HOLAP2.支持星型模型、雪花模型3.标准化MDX语言4.二次开发：支持OLAP访问接口

12、 支持XMLA协议 图形化查询工具解决思路行业实践总结29问题分析达梦大数据平台数据挖掘工具 数据源类型丰富 文件 关系数据 URL 多种挖掘分析算法 Apriori BFTree FarthestFirst 多种挖掘分析方式 分类与回归分析 聚类分析 管理分析 序列分析 可视化挖掘 应用系统可集成解决思路行业实践总结30问题分析达梦大数据平台BI工具 提供丰富的展现形式 网络报表 分组报表 多维行列统计 卡片报表 线图 面积图 提供应用集成接口解决思路行业实践总结31问题分析达梦大数据平台数据门户解决思路行业实践总结32问题分析达梦大数据平台一张图呈现基于地理信息、移动终端等多种方式呈现行业

13、实践总结33问题分析解决思路解决思路解决思路总结234目录页ContentsPage1问题分析行业实践解决思路行业实践总结34问题分析行业实践公安行业公安的数据来源？容量大公安数据的特点？结构多样化不断增长价值密度低物理分散视频监控卡口PGIS通信记录旅店网吧对比项警务平台生产库(oraclerac)平均响应时间警务平台分析库(dmmpp)平均响应时间人口统计100秒16秒接处警统计130秒13秒治安盘查统计110秒15秒治安管理统计120秒17秒案件查询统计140秒16秒主机类型节点数CPURAMDM-MPP4XeonE5-26202.00GHZ*4192GOracleRAC2XeonE5-

14、26802.70GHZ*4256G解决思路行业实践总结35问题分析行业实践公安行业异构OLTP、OLAP一体化，应用层透明切换Oracle RACDMHSEP01EP02EP04EP03DM MPP数据量：1.6T（不含大对象）数据库并发连接：200-300个解决思路行业实践总结36问题分析行业实践公安行业DM MPPXxx省公安厅最大单表：24.1亿行数据存储方式：MPP，哈希分布精确查询时间：db.xqpoint.find(geom.coordinates:122.53233,52.968872)精确查询邻域查询db.xqpoint.find(geom.coordinates:$near:

15、122,52)db.xqpoint.find(geom.coordinates:$near:122,52).limit(5)db.xqpoint.find(geom.coordinates:$near:122,52,$maxDistance:5).limit(5)范围查询 box=80,40,100,50 db.xqpoint.find(geom.coordinates:$within:$box:box)center=80,44 radius=5 db.xqpoint.find(geom.coordinates:$within:$center:center,radius)polygon1=75,35,80,35,80,45,60,40 db.xqpoint.find(geom.coordinates:$within:$polygon:polygon1)大数据研究带来的挑战多源数据的分析和挖掘空间大数据的位置安全结合地理计算的可视分析可扩展的动态海量数据管理新的数据共享机制需要建立