大数据应用数据中心介绍(大数据应用数据中心)课件.pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《大数据应用数据中心介绍(大数据应用数据中心)课件.pptx》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 应用 数据中心 介绍 课件
- 资源描述:
-
1、大数据应用数据中心介绍大数据应用数据中心概要全数据链的综合研全数据链的综合研发发+系统集成:系统集成:成熟开源组成熟开源组件件+自主研发验自主研发验证证+客户需求定制客户需求定制大数据平台简介大数据平台简介平台基本概念平台基本概念外部门户外部门户内部门户内部门户食品溯源舆情监控车辆机械环境监控智慧城市应用群应用系统应用系统大数据大数据平台平台应用服务器应用服务器应用服务器虚拟化虚拟化DB服务器DB服务器DB服务器平台平台内存内存CPU数据处理 数据存储内存内存CPU硬盘硬盘内存内存CPU硬盘硬盘内存内存CPU硬盘硬盘内存内存CPU硬盘硬盘平台管理系统系统状态监控虚拟化管理大数据管理资源管理应用
2、监控数据管理权限管理安全管理9平台产品介绍平台产品介绍1100应用应用分布式分布式 系统系统大数据大数据一体机一体机平台管理系统食品车辆机械环境监控舆情服务系统状态监控 虚拟化管理 大数据管理多路CPU基于LINUX内核的个性化定制操作系统 大容量内存多级存储RDMA分布式内存缓存持久化机制IO控制数据结构,分布式数据库索引算法 类SQL支持GIS支持,分布式文件系统分布式算法,副 本控制,协议支 持,多级存储,智慧城市应用群分布式系统管理锁机制 节点管理资源管理应用监控 数据管理应用系统共 通支持模块互联网数据 处理模块物联网数据 处理模块权限管理 安全管理大规模传感 器通信模块数据压缩 模
3、块数据加密 模块集群间 联动平台产品介绍平台产品介绍 平台管理系统平台优点平台优点高性价比高性价比使用通用硬件比使用存储设备节省30%以上便捷便捷平台管理通过专用图形化管理系统,操作便捷通过挂载立即使用应用系统与平台间的文件交互而无需修改应用易扩展易扩展在管理系统上简单操作即可通过增加节点来提升存储容量及性能平台存储量从10TB扩展到10PB也只需简单增加节点即可完成平台性能随节点增加线形增长整体一站式管理整体一站式管理管理作为前端主机的web/DB服务器(可为虚拟机)管理大数据平台的整体配置/硬件/组件/运行状态等丰富的管理功能丰富的管理功能Wizard向导功能:初期安装,节点追加等配置管理
4、:平台的初期设定及修改等运维管理:监控、报警等数据管理:文件及数据的访问控制,副本管理,内容检索等 功能更强功能更强 价格更低价格更低 响应更快响应更快 服务更好服务更好传统传统IBM+Oralce+EMC架架构构 VS 大数据平大数据平台台+虚拟化平台虚拟化平台=VSVS客户客户例例-警务云的大数警务云的大数据据平台平台大数大数据集群据集群警务云管理系统平台管理网络后台数据网络公安等 内网终端终端用户用户现有的70个应个应用用系系统统文档/视频等非结构化数据表警用警用手持机手持机外部外部VPN连接连接内网内网用户用户(Oracle,SQL Server,日 志,文档,视频等)数据收集处理结果
5、基于基于大数大数据据的新的新应应用用数据收集处理结果用户使用用户使用客户客户例例-警务云的大数警务云的大数据据平台平台HDFS主节点HDFS主节点(备)集群Meta数据数据及计算节点(HDFS or 独自DFS,Hbase,MapReduce)数据收集集群-Sqoop(RDB转换)-Flume(日志抓取)-文件迁移数据源应用Hbase主节点 ZookeeperHbase主节点(备)Zookeeper(备)数据利用应用Hive集群(非结构化数据 的SQL处理)大数据平台整体监控-集群各服务状态-任务进度-数据管理等高级内容处理集群-行为分析-Nutch(海量文档内容检 索)其他数据工具-Pig-
6、ETL tool等客户客户例例-北斗导航平台北斗导航平台作为移动位置服务的后端平台提供文件及数据的存储和访问客户客户例例-北斗导航平台北斗导航平台 初期系统规模:16台机架式服务器(其中8台用于大数据集群)初期数据规模:100T 20亿个文件(30KB/个的地图图片及500KB/个的卫星实景 照片)数十万台车的GPS信息(2条/分)用户上传的照片等文件 系统性能:地图访问并发:受限于互联网带宽(平台内部支持万兆 数据交换)GPS数据上传并发:每数据库节点1400条/秒客户客户例例-北斗导航平台北斗导航平台部部分设备分设备客户客户例例-采油设备综合采油设备综合监监管平台管平台用分布式数据库平台处
7、理来自物联网传感器的海量数据客户客户例例-采油设备综合采油设备综合监监管平台管平台 初期系统规模:2千口新式油井(国内油井数7万口)初期数据规模:容量:2TB+,数据条数:二十亿条以上(每口井每分发送2次1K数据包,保存1年以上)系统效果:提高生产效率及管理水平 中短期故障(结蜡,卡泵,短路,漏液等)自动分析,中长期生产经营信息(产量,电力成本控制等)自动分析解决方案解决方案物流综合服务平台物流综合服务平台物流综合服务平台功能物流综合服务平台功能示示意意22货物入园园内周转北斗卫星/无线基站 定位系统集装箱出园散件货品 出园集政府政府统一统一管管理服理服务务中心中心车辆车辆/货物货物追追迹管理
8、迹管理交易交易/手续手续服服务系统务系统面向货主、收货人、物流者、管理者,面向货主、收货人、物流者、管理者,基于卫星定位等传感器及大数据技术,基于卫星定位等传感器及大数据技术,提供物流相关综合服务的一体化平台。提供物流相关综合服务的一体化平台。物流综合服务平台架构物流综合服务平台架构示示意意外部门户外部门户内部门户内部门户物流车辆追迹管理场内视频监控物流园大数据平台应用群物流仓储管理货品追迹应用系统应用系统中科中科 重庆重庆 大数据大数据 平台平台应用服务器应用服务器应用服务器23分布分布式数式数据据库库 分布分布式文式文件件系统系统平台 管理 系统物流园物流园 管理部门管理部门某中型专业某中
9、型专业 物流公司物流公司某货某货运运某连锁超市某连锁超市 代理机代理机构构物流子公司物流子公司园区园区内内外外部部外部外部 商贸商商贸商家家发货发货人人收货人收货人统一平台,为多个发货人、承运人、收货人提供综合服务。统一平台,为多个发货人、承运人、收货人提供综合服务。平台优点概述平台优点概述 统一平台,多种服务:基于对货物及运输工具 管理的统一平台,面向所有相关业者进行服务。提高物流服务水平:基于物联网技术进行物流 精细化管理。高性价比:基于重庆中科院的大数据平台提供 服务,平台初期建设只需对业务应用进行开发。快速开始服务:只需开发业务应用无需考虑基 础软件、硬件等,平台投入使用周期短。高扩展
10、性:为同种业者提供服务只需提供新账 号(物流业者需追加传感器)。24物流业者应用概要物流业者应用概要25实时管理实时管理车辆调度 车辆监控 车辆诊断 车辆升级 车辆维护物流车辆 使用计划计划管理计划管理物流车辆 使用状况功能1:车辆调度 物流货物调配信息 装车,卸车货物信息 车辆入场,出场信息 中转仓储信息车辆运作状况 的远程监控功能2:车辆远程监控安装北斗GPS导航系统及无线定位系统功能3:车辆诊断,维护,升级基于车辆监控信息,对 现有车辆使用状况进行 分析,评估。及时对需 要维护升级的车辆进行 处理。位置信息 载荷信息工作状态信息 驾驶员信息等等建筑工地安全监控平台建筑工地安全监控平台建筑
11、工地安监平台功能建筑工地安监平台功能概概要要27重庆市某中心城区使用中的升降机管理,工地视频监控,噪音监重庆市某中心城区使用中的升降机管理,工地视频监控,噪音监 控等分散系统,正在计划进行整合至重庆中科大数据平台。控等分散系统,正在计划进行整合至重庆中科大数据平台。作为整体工地安全监控平台,增加功能,增强性能提升用户体验。作为整体工地安全监控平台,增加功能,增强性能提升用户体验。塔吊监控 通过传感器实时监控塔吊的起吊重量,起吊力臂长短,起吊高度等数据。监控平台对传回的数据进行分析,对不符合安全作业的操作提出警告升降机监控 系统对升降机的载物重量,升降速度等进行监控,对于超出正常范围的 监控数据
12、实施报警噪音监控 实时监控工地设备发出的噪音,可视化噪音分布,为整治噪声污染提供依据。对超出指标的噪声数据实施报警渣土车监控 通过车载GPS及其他传感器对渣土车进行监控,实时监控渣土车形式路线,载重等信息。对超出指定行动范围及规范的渣土车进行报警场内视频监控 实时视频监控,记录施工现场的视频信息建筑工地安监平台优建筑工地安监平台优点点-1整合建筑工地各种监控(升降机、塔吊、视频、噪音、渣土车等)到统一平台:各种角色使用工地监管统一门户统一数据存储,综合分析,多种展示各区县,局办使用平台时只需增加传感器终端扩展功能时只需追加相应程序模块,不需停服务28建筑工地安监平台优建筑工地安监平台优点点-2
13、 客户无需购买额外服务器及数据库软硬件 全B/S架构,任意地点自由访问 整合多个子系统为综合工地监控管理平台 一元化的监控管理及数据存储平台,便于整体管理 监控数据可视化,直观明了 底层平台采用易于横向扩展的分布式大数据平台 长期存储各种数据记录,高性能处理 其他区县简单扩展使用 优秀的系统稳定性,数据安全性,运维管理29系统构成系统构成30Internet分布式存储集群集群管理防火墙核心交换设备监控应用系统传感器数据 接收服务器流媒体数据服务器 数据保存在本地分布式大数据平台升降机,塔吊,渣土车,工程车,叉车等工程机械传感器与数据接收服务器保持长连接将传感器数据实时传到远程服务器工程机械设备
14、监控人员 最终远程用户访问图形化的监控管理界面重庆重庆IDC重庆IDC保证:ISP双线路冗余 电力供应冗余网络交换设备冗余 可靠的防火墙设备 硬件负载均衡设备扬尘监控扬尘监控现场示意图现场示意图通过粉尘浓度监测终端进行实时在线监测,通过喷水设备进行降尘通过粉尘浓度监测终端进行实时在线监测,通过喷水设备进行降尘。可扩展到矿物仓库以外的各种城市应用场景。可扩展到矿物仓库以外的各种城市应用场景。喷水终端作业状况监控摄像头粉尘浓度 监测终端系统构成图系统构成图粉尘浓粉尘浓度监测终端度监测终端喷水设备喷水设备摄像头摄像头监控系监控系统后台统后台通过浏通过浏览器览器 使用监使用监控系统控系统通过移通过移动
15、应用动应用 使用监使用监控系统控系统监控系统监控系统出入管理出入管理主要功能及优点主要功能及优点主要功能:主要功能:实时在线监测粉尘浓度;实时在线监测粉尘浓度;按照设定的粉尘浓度报警;按照设定的粉尘浓度报警;根据粉尘浓度自动控制喷水装置;根据粉尘浓度自动控制喷水装置;同视频监视、人员及车辆的进出管理系统联动,同视频监视、人员及车辆的进出管理系统联动,设定抑制设定抑制喷水条件;喷水条件;中长期的粉尘状况监测分析报表及其他监控数据报表。中长期的粉尘状况监测分析报表及其他监控数据报表。优点:优点:除摄像头外都可采用无除摄像头外都可采用无线线/有线传输方式,布线要求较低;有线传输方式,布线要求较低;可
16、将系统后台采用云服务模式,用户通过浏览器使用系统;可将系统后台采用云服务模式,用户通过浏览器使用系统;可根据客户需求采用高端粉尘传感器或中端经济型传感器;可根据客户需求采用高端粉尘传感器或中端经济型传感器;可将整体工地可将整体工地/道路道路/城市管理系统进行整合。城市管理系统进行整合。北斗导航北斗导航前端采用重庆院北斗导航工程中心终端设备,后端采用大数据应用数据中心平台解决方案智能终端高精度板卡及后处理软件地质及环境监测三维仿真实时监控平台北斗导航综合应用解决方案北斗导航工程中心北斗导航工程中心终端产品终端产品SD卡主机四路硬盘主机八路硬盘主机单兵智能公交调度屏红外云台红外大海螺摄像机红外小海
17、螺摄像机红外后视摄像机 北斗中北斗中心心红外美唇摄像机智能终端产品线智能终端产品线SMT生产线组装生产线测试生产线老化生产线负责生产目标计划与管理负责生产目标计划与管理负责半成品的制造负责半成品的制造负责成品的组装负责成品的组装负责成品的检测负责成品的检测负责合格的产品包装与负责合格的产品包装与准准时出货时出货生产计划生产计划贴片插件贴片插件组装组装检测检测包装出货包装出货生产管理生产管理生产管理及交付能力生产管理及交付能力HZ-VN-2000SHZ-VN-2000S工业级标准嵌入式设 计,低功耗,金属铝制 外壳,喷砂工艺,散热 性好系统软件双备 份设计,系统 升级永不死机,更加可靠,方 便维
展开阅读全文