美团万亿级数据通道架构实践.pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《美团万亿级数据通道架构实践.pptx》由用户(无敌的果实)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 万亿 级数 通道 架构 实践
- 资源描述:
-
1、43+3/s2 +3PB+5&6 7a IV a eTP f: Ia - dgTSJ , M ,-,K J gJgVc- -:slf4j+log4j2 -:+Socket+File - ScribeAppenderFileAppender - -DataLinkOLAP 12c ecce:C: a13 14 Fmemoryfile sinksink memoryfilesourcememoryfilesink VS IO18DiskSDKSDKDiskDiskSDKHTTPDisklogfile-agentlog-agentlog-agentlogfile-agentlogfile-agent
2、log-agentlog-agentlogfile-agent&log-collectorlog-collectorIDCIDCControllerKafka19 HD1T)(PH S1, Mp1,Mp0n0 TgB9 10nK n AeS00t020Tp9720MB, TP99sl27 1. 2. Disk28 29Camus Hadoop FFlink30 21%Kafka CheckPoint + Recovery CheckdoneETLF31 PageCache 33 vs SSDFlashCache,BCache,DM-Cache,CasFlashCache + SSD34 Wri
3、teThrough: DssdSWriteBack: D+ssdflushWriteAround: DFSDcacheD35ORBroker 37 Agent CollectorKafka-38ProcessTime-EventTimetp992s39Kafka Client40APPAPP&AgentAgentvsCollectorCollectorCollectorP&PPPKafka41 EventTime11:00-11:05 11:06-11:10T: A Cnt:100 T: A Cnt:120Appender11:00-11:05 11:06-11:10T: A Cnt:100 T: A Cnt:120Log_agent11:00-11:05 11:06-11:10collectorKafkaT: A Cnt:99T: A Cnt:12011:00-11:05 11:06-11:10T: A Cnt:99 T: A Cnt:12042D IDT+ +621042-5#TI43 ID ScribeAppenderID44 45
展开阅读全文