智慧城市与时空大数据技术之时空大数据云平台解决方案最新PPT课件.ppt

1、智慧城市与时空大数据技术之 时空大数据云平台解决方案 目录 时空数据组织与云平台搭建 ?第一部分：智慧城市时空信息云平台总体建设方案 ?第二部分：多租户、智能私有云平台建设 ?第三部分：智慧城市时空大数据组织与建模 智慧城市时空信息云平台智慧城市时空信息云平台 建设方案建设方案 内容 ?智慧城市的理解智慧城市的理解 ?时空信息云平台的理解时空信息云平台的理解 ?ArcGIS时空信息云平台建设方案时空信息云平台建设方案 ?时空信息云案例分享时空信息云案例分享 关于智慧城市 智慧城市 ? 截至去年底，国家智慧城市试点已遍布全国各地，达到 409个。其中，住建部智 慧城市试点两批202个，科技部智慧

2、城市试点20个，工信部信息消费试点68个， 国家发改委信息惠民试点80个，工信部和国家发展委“宽带中国”示范城市 39 个。 北京、上海、广州、深圳、宁 波、南京、佛山、扬州、浦东 新区、宁波杭州湾新区 领跑者 环渤海地区 14个，占总 数的20.3% 新疆 甘肃 内蒙 古 宁夏 山西 北 河北 京 山东 江 苏 安徽 黑龙江 吉林 辽宁 天津、武汉、无锡、大连、福州、 追赶者 杭州、成都、青岛、昆明、嘉定、 莆田、江门、东莞 武汉城市群、成青海 渝经济圈、关中- 天水经济西藏圈 四川 陕西 河南 湖北 湖 南 广西 上海 江西 福 建 浙江 准备者 重庆、沈阳、株洲、伊犁 XX 贵 州 珠三

3、角地区有8 个，占总数的 11.6% 广东 长三角地 区19个， 占总数的 27.5% 海南 智慧城市 ?关于促进智慧城市健康发展的指导意见 智慧城市是运用物联网、云计算、大数据、 空间地理信息集成等新一 代信息技术，促进城市规划、建设、管理和服务智慧化的新理念和新模式。 （空间地理信息在智慧城市建设中发挥重要作用） ?李德仁院士 “智慧城市=数字城市+物联网+云计算” （数字城市是智慧城市的基础） 从数字城市走向智慧城市 自动化自动化 发 展 提 升 跨 越 智能化智能化 网络化网络化 数字城市数字城市 后工业社后工业社 会的城市会的城市 形态形态 信息社信息社 会的城会的城 市形态市形态

4、智慧城市智慧城市 泛在化泛在化 数字化数字化 融合化融合化 与其他部门的关系 负责构建时空信息基础设施：数据服 务、基础设施服务、平台服务、功能服 务 牵头实施部门间衔接 标准和评价指标体系 的制定 智慧城市智慧城市 牵头顶层 设计、立 项审批、 产业发展 规划布局 负责关键技术攻关 负责推进云环境、网 络等信息基础设施 关于时空信息云平台 时空信息云平台的定位 ?智慧城市的基础支撑之一 ?四大库之一 ?占据重要位置 ?承担了四大库信息整合的职责 用户层 智慧应用 公共信息平台 时空信息云平台 公共数据库 时空信息大数据 公共设施层 感知层 网络层 时空信息云平台 2015 2014年年 20

5、13年年 2012年年 ?确立首批示范试 点：重庆、武汉、 太原、广州 ?成立专家委员会 ?发布时空信息云 平台建设技术大 纲、评价指标 体系 ?发布时空信息云 平台建设指南 ?提出时空信息云平 台概念 时空信息云平台建设内容 数字城市阶段 空间基准 基础地理 信息数据 地理空间框架 基础地理信息数据库 数据库管 理系统 支撑 环境 跨网 摆渡 基础地理公共平台 管理交换 系统 在线服务 系统 支撑 环境 公共平台 数据集 智慧城市阶段 时空基准 时空信息基础设施 服 务 总 线 时空信息云平台 时空信息 感知定位及 云服务 数据服务 解译服务 系统 地名地址 业务流 匹配引擎 引擎 时空信息

6、大数据 汇聚区 整理区 管理区 支撑云环境 时空信息云平台建设要求 ?时空信息大大数据库 ?实时数据接入能力 ?信息快速整合能力 ?大数据管理、应用能力 ?时空信息云云平台 ?个性化定制能力 ?智能化应用能力 ?智能化运维管理能力 时空信息云平台建设方案 时空信息云平台建设方案 智慧应用 软件即服务 （SaaS） 政府部门 企业 公众 ?Web API ? RuntimeSDK ? JS App Builder ? Portal for ArcGIS ?OneMap ? GeoCoding 时 空 信 息 云 平 台 技 术 大 纲 平台即服务 （PaaS） 服务共享 服务监控 弹性调度 服务

7、度量 个性化定制 地址匹配 业务流建模 时空信息云服务 时空数据服务 空间分析服务 空间处理服务 ?ArcGIS云管理软件 ? ArcGIS for Server ?GIS Tools for Hadoop ?ArcGIS for Desktop Envi /ESE 捷库 GeoEvent 时空数据库管理 时空信息数据库 矢量 地名地址 影像 动态时空信息数据 三维 新型产品 宿主环境 基础实施即服务 （IaaS） 服务器 基础设施云环境 私有云IDC 存储 网络 托管云IDC 服务器 存储 网络 ?HW FusionSphere ?阿里云 ?H3C ?Vmware ?OpenStack 时空

8、信息云平台 关键技术 智能化 云运维 大数据 应用 资源快 速整合 时空信息 云平台 数据 建库 实时数 据接入 智慧应 用创建 关键技术1：实时数据接入 ?GeoEvent 全新的流服务全新的流服务 Exact Earth 南极船舶与海冰南极船舶与海冰 PG&E 大数据大数据 OSIsoft 仪表盘仪表盘 实时传感器集成 关键技术2：数据建库 ?数据建库核心技术 数据建模数据建模 数据更新数据更新 数据数据ETL 数据质检数据质检 关键技术2：数据建库 建模：建模：面向数据整合，支撑全业务可扩展的空间数据模型面向数据整合，支撑全业务可扩展的空间数据模型 Geodatabase 矢量矢量 拓扑

9、 测量 应急预案 采集、存储、管 理、 维护 GIS数据 网络 影像 地形 CAD 监控视频 MIS系统 GeoDatabase GPS信号 指令、策略 抽象和管理空间信息 关键技术2：数据建库 数据数据ETL：数据的抽取、转换数据的抽取、转换 和加载，完成数据从和加载，完成数据从 数据源向目标数据仓库的转化数据源向目标数据仓库的转化 人口基础人口基础 数据库数据库 法人单位法人单位 数据库数据库 提取提取 转换转换 企业信息企业信息 数据库数据库 时空信息时空信息 大数据库大数据库 加载加载 其他专题信息其他专题信息 数据库数据库 关键技术2：数据建库 应用案例：应用案例：水利部 水资源管理

10、数据库 ETL动态整合 关键技术2：数据建库 数据质检：数据质检：数据质量控制“三剑客” 基于规则基于规则 灵活定义灵活定义 拓扑拓扑 面向对象面向对象 数据智能数据智能 规则驱动规则驱动 定时批量定时批量 全自动全自动 可视化可视化 高效、灵活高效、灵活 属性域 子类型 Data Review er 关键技术2：数据建库 应用案例应用案例 天津测绘院，天津市国情普查数据质检规则扩展天津测绘院，天津市国情普查数据质检规则扩展 灵活（定制）灵活（定制） DataReviewer（自（自 带带41条检测规则）条检测规则） 检查项对应 自定义自定义 多图层的批 量检查方案 扩展扩展 （19） 关键技

11、术2：数据建库 应用案例应用案例 ? 二调数据库质量检查、核查软件 ? 变更调查质检、核查软件 ? 土地利用规划数据库质量检查软件 ? 基本农田数据质检软件 ? 耕地后备资源质检软件 ? 土地整治规划数据质量检查软件 ? 矿业权核查工具软件 关键技术2：数据建库 数据更新：数据更新：基于基于GeoDatabase的空间数据建模的空间数据建模 ?同步复制和更新同步复制和更新 ?适用于分布式数据库环境适用于分布式数据库环境 ?在线编辑与更新（增量更新）在线编辑与更新（增量更新） 离线编辑与更新（增量更新）离线编辑与更新（增量更新） 关键技术3：大数据管理应用 ?GIS Tools for Hado

12、op GIS Tools for Hadoop不仅在GIS与hadoop之间搭建起了一个桥梁， 还定义和构建了一整套大空间数据分析的环境。 Marwa Mabrouk product manager at Esri 关键技术3：大数据管理应用 API 框 架 工 具 关键技术3：大数据管理应用 ?com.esri.core.geometry.* equals disjoint touches crosses within contains overlaps buffer cut clip convexHull intersect union difference 实际测试：京九铁路沿线用地分析

13、 京九线 1996年通车 我国第二大工程 第五条南北交通干线 影响范围 全长2553公里 跨越9省103县市 影响2亿人口 数以千万计的各种地块 庞大数据计算需求 土地类型、土地年产值、土地区位登记、农用地等级、人均耕地数量、土地供求关系、各地经济发 展水平、城镇居民最低生活水平保障 计算耗时对比 计算耗时对比（单位：小时）计算耗时对比（单位：小时） 120 100 103 80 60 40 20 0 传统方式计算耗时 采用大数据模式计算耗时 1.1 结果结果 指标项指标项 参与总数据量 提取数据量 传统方式计算耗时 采用大数据模式计算耗时 2000GB 12GB 103小时（约等于一周时间）

14、 66分钟（一个多小时） 关键技术4：智能化云运维 传统传统 业务系统业务系统 专题数据专题数据 IaaS 业务系统业务系统 PaaS 你你 管管 业务系统业务系统 专题数据专题数据 SaaS 业务系统业务系统 专题数据专题数据 你你 管管 理理 G I S服务服务 地理数据库地理数据库 操作系统操作系统 你你 管管 理理 专题数据专题数据 理理 GIS服务服务 地理数据库地理数据库 操作系统操作系统 G IS服务服务 地理数据库地理数据库 操作系统操作系统 GIS服务服务 地理数据库地理数据库 服务器服务器 服务器服务器 网络网络 存储存储 网络网络 存储存储 服服 务务 商商 管管 理理

15、服务器服务器 网络网络 存储存储 服服 务务 商商 管管 理理 操作系统操作系统 服服 务务 商商 管管 理理 服务器服务器 网络网络 存储存储 云中，GIS系统建设模式 应应 用用 层层 电电 子子 政政 务务 城城 市市 规规 划划 低低 碳碳 环环 保保 平平 安安 城城 市市 应应 急急 指指 挥挥 智智 能能 交交 通通 智智 慧慧 城城 市市 公公 众众 服服 务务 政 服服务务 策 平平 台台 法 层层 规 与 标 数数 准 据据 规 资资源源 范 层层 体 系 基基 础础 设设 施施 层层 门门 户户 目录 服务 服务 浏览 服务 注册 . 服务聚合 基基 础础 服服 务务 矢

16、量数据 服务 三维数据 服务 影像数据 服务 空间分析 服务 元数据 服务 空间处理 服务 服服 务务 管管 理理 服务监控 服务统计 服务日志 数据建模 数据更新 数据管理 数据汇交 符号库管理 标准化制图 遥感 数据 三维 数据 空间元 数据 业务 数据 其他 数据 运行 数据 安 全 保 障 体 系 矢量 数据 基于云计算的GIS建设模式 应应 用用 层层 电电 子子 政政 务务 城城 市市 规规 划划 低低 碳碳 环环 保保 平平 安安 城城 市市 应应 急急 指指 挥挥 智智 能能 交交 通通 智智 慧慧 城城 市市 公公 众众 服服 务务 政 服务自门户服务自门户 服服 浏览 发布

17、 注册 监控 统计 调用 基基 础础 服服 务务 遥感 数据 服务聚合 策 务务 法 平平 规 台台 与 层层 标 准 数数 规 据据 范 层层 体 资资 系 源源 池池 层层 基基 础础 设设 施施 层层 矢量服务 三维服务 影像服务 地理编码 服务 元数据 服务 空间处理 服务 服服 务务 管管 理理 服务监控 服务统计 服务日志 用户管理 矢量 数据 三维 数据 空间元 数据 业务 数据 其他 数据 运行 数据 安 全 保 障 体 系 GIS GIS GIS GIS GIS GIS Cloud Manager ArcGIS镜像 弹性调整 实例监控 资源统计 GIS 虚拟化虚拟化+自动化自

18、动化+流程化流程化 ArcGIS云解决方案 虚拟化虚拟化 Apps, developed by BP ArcGIS.com Cloud Builder on Amazon Esri Online Data SaaS PaaS IaaS CaaS Apps, developed by BP Portal for ArcGIS ArcGIS for Cloud Data Appliance 关键技术4：智能化云运维 ?ArcGIS云管理软件 ?基础设施层GIS资源池构建：易扩展； ?实现GIS资源池的智能化、自动化管理：易管理； ?多租户的资源隔离：更安全； 一个智能、高效的云 GIS管理平台 核

19、心技术4：智能化云运维 ?演示 关键技术5：资源快速整合 ?Portal for ArcGIS：Web GIS平台 Microsoft Office 电子表格电子表格 Cognos/SAP/SCADA/PI Web GIS使企业级GIS嵌入更加高效，提供地图可视化、位置分析与空间报表等功能 演示： ?交通运输综合地理信息平台 http:/ 关键技术6：快速应用搭建 ?Web GIS平台多种开发方式 ?“配置优先，定制其次” 可配置的可配置的 Apps Apps 应用模板应用模板 App Builders Widgets 组件组件 SDKs APIs Templates Builders API

20、s ArcGIS软件实现国产化 案例分享 XX省时空信息云平台 案例：XX省时空信息云平台 目前现状目前现状 ?数字城市地理空间框架建设成果在全省范围内进行推广 ?“XX省第一次地理国情普查”工作正式开展 新平台应当具备：新平台应当具备： ?XX省地质环境信息化建设试点之一 ? 高密集型数据存储能力高密集型数据存储能力 ? 高性能计算能力高性能计算能力 ? 高并发访问能力高并发访问能力 ? 高密集应用能力高密集应用能力 待解决问题待解决问题 ?“天地图”性能问题 ?数字城市扩展能力较弱，稳定性差，无法承受高并发访问的压力 ?对大数据（影像数据）的支持力度较弱：存储、应用、共享 ?无法提供强大的

21、地理空间分析计算服务 ?运维压力大：基础设施资源不能实现共享 XX省时空信息云平台 ? 目标 ? 采用先进的云计算技术，建成XX省统一的、权威的时空信息数据库和时 空信息云平台，更高效地为政府各级部门、企业和社会公众提供时空信息 资源服务，为全省的信息化建设、智慧城市的建设奠定基础。 测绘测绘 国土国土 地质环境地质环境 气象气象 数字城市数字城市 交通交通 农业农业 XX省时空信息云平台省时空信息云平台 专业专业G IS 平台架构 基于最新的云计算 技术Eucalyptus，基于 KVM虚拟化构建时空信 息云平台，从IaaS、 PaaS及SaaS三个层面为 私有云环境中的国土、 测绘、地环用

22、户提供服 务。 XX省时空信息云平台 部署模式 ?时空信息云平台部署在三个中心节点，XX省国土资源厅信息中心、XX省基 础地理信息中心、XX省地质环境监测院信息中心，三个节点逻辑上属平行关 系，互为备份。 部署模式（单数据中心） ? 每个节点从整体上平台可以分 为：云端管理、云存储资源 池、云GIS计算资源池和云应 用资源池。 ? 云端管理控制整个云平台，可 以使用系统API与外界进行交 互； ? 云存储资源池提供弹性块存储 （EBS）功能，同时使用 Hadoop分布式存储技术对云 存储进行管理； ? 云GIS计算资源池提供ArcGIS 集群、Skyline集群等时空信息 云计算资源； ? 云

23、应用资源池为用户提供应用 定制服务。 核心技术之一：分布式时空大数据 管理与应用 ? 研究方向： ?基于Hadoop的大数据分布式管理 ?云平台中大数据的同步和备份 ?如何根据用户数据的时空分布规律来优化数据存储/处理 核心技术之一：分布式时空大数据 管理与应用 ? 应用效果 图斑数图斑数(万个）万个） 0 single 5node 10node 0 0 0 5 12 25 26 50 112 31 27 500 354 50 43 3000 951 62 48 核心技术之一：分布式时空大数据 管理与应用 ? 应用效果 图斑数图斑数(万个）万个） 0 single 5node 10node 0

24、 0 0 5 12 25 26 50 112 31 27 500 354 50 43 3000 951 62 48 平台价值 ?XX省时空信息云平台： ? 打破“信息化建设烟囱”，实现IT资源、GIS平台资源的共享 （解决了基础设施资源共享，资源浪费的问题）（解决了基础设施资源共享，资源浪费的问题） ? 基于云架构，实现了云GIS资源服务的按需、弹性调度 （解决了应用高并发访问的问题（解决了应用高并发访问的问题 ) ? 基于分布式存储、并行处理技术，实现了复杂业务的建模 （解决了大数据存储、管理，高性能计算的问题）（解决了大数据存储、管理，高性能计算的问题） ? 兼容以往信息化系统建设的成果，

25、实现应用集中管理 （解决了应用系统管理维护的问题）（解决了应用系统管理维护的问题） 成功案例 ArcGIS私有云解决方案的应用于几十个用户单位，成功案 例覆盖多个行业。 ? 国土行业：“一张图” ? 住建部：“智慧城市” 行业分布行业分布 ? 测绘行业：“云共享” “数字城市” “时空信息云” ? 智慧城市 国土 教育 规划 测绘 地质 公安 建筑 水利 云GIS为用户带来的价值 ?简化运维管理 资源整合降低成本 大数据存储/管理 平台管理者 ?虚拟化、自动化的资源监控管理 ?资源共享、按需调整 ?灵活可扩展、高安全 ?资源租用 解决弹性扩展 大数据分析处理 ?即拿即用，降低业务单位应用建设的门槛（资金、技术） ?按需动态扩展资源，保持服务/业务稳定性和连续性 ?并行处理，提升用户体验，深化业务应用 总结 ?智慧城市建设离不开地理信息 ?“时空信息云平台”是智慧城市的基础设施 ? 四大库的基础支撑库 ?Esri与BP一起提供完整的时空信息云平台解决方案 ? 搭建云平台六步曲，轻松迈向云端 ? 提供专业的PS服务 谢谢！