Storm及交通实时数据处理课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《Storm及交通实时数据处理课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Storm 交通 实时 数据处理 课件
- 资源描述:
-
1、绪论知识绪论知识StormStorm架构架构一个简单的一个简单的StormStorm例子例子StormStorm在交通数据处理中的应用在交通数据处理中的应用目录1PPT课件GBTBPBEBZB数据量的增长:在2006 年,个人用户才刚刚迈进TB时代,全球一共新产生了约180EB的数据;在2011 年,这个数字达到了1.8ZB。有市场研究机构预测(2009年):到2020 年,整个世界的数据总量将会增长44 倍,达到35.2ZB(1ZB=10 亿TB)!1GB=230字节1TB=240字节1PB=250字节1EB=260字节1ZB=270字节2PPT课件 主要的处理模式可以分为流处理(strea
2、m processing)和批处理(batch processing)两种。批处理是先存储后处理(store-process),而流处理则是直接处理(straight-through process)。(有时也分为在线、离线、近线三种)batch processingstream processing3PPT课件 过去的十年是数据处理变革的十年,MapReduce、Hadoop以及一些相关的技术使得我们能处理的数据量比以前要大得多得多。但是这些数据处理技术都不是实时的系统 它们设计的目的也不是为了实时计算。然而大规模的实时数据处理已经越来越成为一种业务需求了,而缺少一个“实时版本的hadoop
3、”已经成为数据处理整个生态系统的一个巨大缺失。Storm填补了这个缺失。Storm出现之前,需要自己手动维护一个由消息队列(Queues)和消息处理者(Workers)所组成的实时处理网络,消息处理者从消息队列取出一个消息进行处理,更新数据库,发送消息给其它队列进行进一步处理,但是这种计算方式的局限性太大:复杂、不健壮且扩展性差。4PPT课件Yahoo的S4S4是一个通用的、分布式的、可扩展的、分区容错的、可插拔的流式系统,Yahoo!开发S4系统,主要是为了解决:搜索广告的展现、处理用户的点击反馈。在流式处理领域里,Storm的直接对手是S4。不过,S4冷淡的社区、半成品的代码,在实际商用方
4、面输给Storm不止一条街。5PPT课件Facebook 的PumaFacebook使用puma和Hbase相结合来处理实时数据,使批处理计算平台具备一定实时计算能力。不过这不算是一个开源的产品。只是内部使用。相关论文:Apache Hadoop Goes Realtime at Facebook。6PPT课件 Storm:“Hadoop of realtime”、Distributed and fault-tolerant realtime computation Storm定义了一批实时计算的原语。如同hadoop大大简化了并行批量数据处理,storm的这些原语大大简化了并行实时数据处理。
5、storm的一些关键特性如下:分布式系统分布式系统/运维简单运维简单/高度容错高度容错/无数据丢失无数据丢失/支持多种编程语言支持多种编程语言7PPT课件 最新版本:0.9.1 在GitHub上超过4000个项目负责人,全球共有29名代码贡献者。(12年)很多公司在使用Storm,这些公司中不乏淘宝,百度,Twitter,Groupon,雅虎等重量级公司。8PPT课件绪论知识绪论知识StormStorm架构架构一个简单的一个简单的StormStorm例子例子StormStorm在交通数据处理中的应用在交通数据处理中的应用目录9PPT课件 Storm集群主要由一个主节点(master node)
6、和一群工作节点(worker nodes)组成,通过 Zookeeper集群进行协调。主节点通常运行一个后台程序 Nimbus,用于响应分布在集群中的节点,分配任务和监测故障。工作节点同样会运行一个后台程序 Supervisor,用于收听工作指派并基于要求运行工作进程。每个工作节点都是topology中一个子集的实现。10PPT课件master11PPT课件 在Storm中,应用程序实现实时处理的逻辑被封装进Storm中的topology中。一个topology是由一组Spout组件(数据源)和Bolt组件(数据操作)通过Stream Groupings进行连接的图。12PPT课件uSpout
7、:在一个topology中产生源数据流的组件,从来源处读取数据并放入topology。uBolt:在一个topology中接受数据然后执行处理的组件。13PPT课件 流(Stream)Stream是Storm中的一个核心概念,Storm将输入的数据看成流,它是以tuple为单位组成的一条有向无界的数据流。tupletupletupletupletupletuple14PPT课件 Stream Groupings:消息的分组方法消息的分组方法。Storm提供了六种分组方法:提供了六种分组方法:1.随机分组(Shuffle grouping):随机分发tuple到Bolt的任务,保证每个任务获得相
展开阅读全文