智慧城市交通行业大数据平台课件.pptx

1、智慧城市交通行业大数据平台技术创新 变革未来2城市交通大数据技术应用与发展09年开始建设交通行 业数据中心，2014启 动大数据基础设施建 设基础设施基础设施可视化数据应用3基础平台基础平台Step1（十一五）Step2（十二五）Step3（十三五）数据采集和存储数据管理与应用平台化数据服务09年北京探索建设交通行业数 据中心，实现从无到有突破1. 以关系型数据库为主2. 数据接入与共享3. 梳理信息资源元数据标准4. 形成初步资源管理平台升级行业数据中心为交通行业大数据 中心1. 大数据存储与计算2. 智能动态监测与管理3. 规范化管理体系（ISO20000）4. 初步的数据服务和定制服务全

2、面打造开放数据服务平台，数 据开放共享不再以“搬家式”为 主，更强调以服务的形式1. 数据服务开放平台2.定制可视化平台3 . 信息服务资源平台4交通行业大数据中心交通行业大数据中心建设交通行业大数据中心高技术、强管理管理、重服务！以接入、管理和应用大数据为主；以接入、管理和应用大数据为主；存储方式更多样化；存储方式更多样化；处理和存储能力达到较高水平；处理和存储能力达到较高水平；更强调数据应用与服务；更强调数据应用与服务；数据中心发展的目标以技术和管理为基础，以服务为核心！5基础平台基础平台服务创新资源目录定制化服务大数据处理平台信息服务资源发布管理创新可视化管理与监测全流程规范化管理技术创

3、新集约化大数据中心整体框架、分布式数据存储与处理平台6基础平基础平台台-技术创新技术创新结合主流技术架构打造交通行业大数据中心框架，构建大数据存储、大数据计算、共享交换、应用服务和管理支撑五大平台。截止目前共接入业务系统41个，数据量40T， 处理速度可达3.3亿条/5分钟，日接入量26G。7虚拟化平台虚拟化平台对对前置前置器器、中中间间库库、处理处理服服务务器器进行进行 虚虚拟化拟化管管理理提提高服高服 务务器利器利用用率率和和管管理理精精细化细化水水平；平；SAN存储网络安全管理域VCENTER互联网域集群4 ESXI主机559G 内存100GHz CPU外部应用域集群4 ESXI主机57

4、5G 内存165GHz CPU外部数据域集群3 ESXI主机487G 内存108GHz CPU共享交换域集群2 ESXI主机127G 内存50GHz CPU内部应用域集群5 ESXI主机319G 内存159GHz CPU内部数据域集群3 ESXI主机 190G 内存 95GHz CPU8数据存储数据存储EMC-1（高速）6THDS（高速）25TEMC-2（低速）50T磁带库交互区存储0-1年数据整合区存储0-3年数据近线区存储3-10年数据归档区存储大于10年数据存 储 池业务库历史库备份库数据生命周期创新数据存贮管理技术应 用，一是历史库与业务库二元 模式，对存储进行合理划分和 功能定位；二

5、是，实现数据的 分级及周期管理，实现存储介 质的池化管理，最大化利用空 间资源；三是实现对关系数据 库数据和文件数据的统筹管理，根据数据应用特点选择合理的存储方式。9技术创技术创新新之分布之分布式式处理平处理平台台分布式处理技术创新，基于 开源平台在数据 安全、故障恢复、性能优化、中 间件和工具、平 台化服务。10管理创管理创新新之可视化监测管理之可视化监测管理11管理创新之规范化全流程管管理创新之规范化全流程管理理线下审批线下审批流程流程与运维考与运维考核核建立规范化流程,每年完成批办50余项，形成巡检报 告300300余篇，平均处理故障125125个！并于2014年4月通 过获得ISO20

6、000认证，同年12月规范化管理软件平台 投入试运行，实现线上线下全流程管理。线上规范线上规范化流程化流程12基础平基础平台台-服务创新服务创新结构定制权限发布资源识别智能检索配置向导信息展示数据报表定制分析图表定制在线分析定制科学数据下载服务页面定制发布权限定制业务规则定制大数据综合查询流程实例介绍API二次开发数据处理集群环境管理信息服务管理权限配置服务发布AK 密钥申请API 样例说明SDK 下载定制化服务大数据开放平台数据资源目录信息服务发布13城市城市交通大数据技术应用与发展交通大数据技术应用与发展围绕交通监测与 信息服务，致力 于大数据处理与 应用技术研究基础设施可视化数据应用数据

7、应用14处理应用案例分处理应用案例分享享-出租车出租车出租行业数据计算主要涉及GPS数据、交易数据、司机合同数据、审批数据、电召数据等，总数据 量1.11.2亿条/天，存储量约17-20G/天。这些数据主要用于计算运营指标（50余项字段）、设备 完好率、小时出车率、重点区域小时出车数量、电召日均订单数量等，主要服务于行业考核、监管 与监测。计算能力得到提升：计算33亿条出租车数据，计算耗时由原来20小时缩短到20分钟，提高 60倍。15处理应用案例分处理应用案例分享享地面公交地面公交地面公交数据与地理信息数据在线匹配 实时计算公交 走廊运行速度、预测公交到站时间和预测公交客流分布；基于稳态理论

8、的信号交叉口均衡延误模型、速度缺失 路段填补算法，实现对每个路口、路段的预测预报，提 高信息的准确度。16处理应处理应用用-移动信令技术移动信令技术研究基于移动终端定位数据的居民出行调查方法，处理每日数据总量100G的移动信令 数据。完成居民出行OD、出行时空分布分析，实现居民出行行为的自动、及时、准 确获取，为交通政策制定、交通规划、设计和管理等提供数据支持和决策依据。17城市城市交通大数据技术应用与发展交通大数据技术应用与发展依托交通行业大数据中心，打造交通映像平台，让数据会说话基础设施可视化可视化数据应用18数据可视化数据可视化将大数据以图形图像形式表示，并利用数据分析和开发工具发现其中

9、未知信息 的处理过程。直观化：直观形象地呈现数据直观化：直观形象地呈现数据关联化：挖掘、突出呈现数据之间关联化：挖掘、突出呈现数据之间的的关联关联 艺术化艺术化 : 增强数据呈增强数据呈现的艺术效果现的艺术效果交互性：实现用户与数据的交互，交互性：实现用户与数据的交互，增增强用强用户户对数对数据据的控制的控制19数据可视化数据可视化D3.JS+R语言+Google Charts+ProcessingOD分布图分布图公交路网路况公交路网路况轨道换乘图轨道换乘图轨道客流分布轨道客流分布出租汽车热点图出租汽车热点图在数据空间中描绘城市交在数据空间中描绘城市交通通出租数据+地铁客流分布数据+地面公交分布数据+手机信令与OD数据+省级客运实名制客流20创新创新在省际客运量分布、公交客在省际客运量分布、公交客流流 分布等方面开展可视化研分布等方面开展可视化研究工究工 作作公交全路网运行速度省际客运客流分布公共交通客流21数据可视化平台数据可视化平台以WebGIS的形式将统计对外开放对外开放，用户对数据进行自配置和展现自配置和展现区块层区块层数据层数据层谢谢聆听！