Apache Beam 领英流式计算平台的最新实践.pptx

上传人（卖家）：无敌的果实

文档编号：2527732

上传时间：2022-04-29

格式：PPTX

页数：36

大小：2.30MB

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

30 文币

交易提醒：下载本文档，相应价格的文币将全额进入上传人（卖家）的账号。立即下载优惠套餐（点此详情）

【下载声明】
1. 本站全部试题类文档，若标题没写含答案，则无答案；标题注明含答案的文档，主观题也可能无答案。请谨慎下单，一旦售出，不予退换。
2. 本站全部PPT文档均不含视频和音频，PPT中出现的音频或视频标识（或文字）仅表示流程，实际无音频或视频文件。请谨慎下单，一旦售出，不予退换。
3. 本页资料《Apache Beam 领英流式计算平台的最新实践.pptx》由用户（无敌的果实）主动上传，其收益全归该用户。163文库仅提供信息存储空间，仅对该用户上传内容的表现方式做保护处理，对上传内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知163文库（点击联系客服），我们立即给予删除！
4. 请根据预览情况，自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器，压缩文件请下载最新的WinRAR软件解压。

配套讲稿：: 如PPT文件的首页显示word图标，表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
特殊限制：: 部分文档作品中含有的国旗、国徽等图片，仅作为作品整体效果示例展示，禁止商用。设计者仅对作品中独创性部分享有著作权。
关键词：: Apache Beam 领英流式计算平台的最新实践领英流式计算平台最新实践

资源描述：: 1、 + ( K ,6(,( ,2), SIA BL D ,2,6, ,A RBPA RBP fIdkuoh= tI PIecaizrlzr v LeGpGQkcaMIwSng caJkA(=F camy +BD=)=,F IO.ReadIO.Read TPTransform / BI IP IOICPCollectionPipelineIO.WriteIO.WriteA Beam Pipeline )H )( ) )(GDW ) )(G ()? )DBC () ) .ParDo . , ) () .Join (IK A)D B FHJ ,C ,C D )( )( )( )( ( )( )( )(
2、 )( ( / )( /, ,111 ?12:00 12:01:1, ,111 ?12:01 12:02:14 11,11, ?12:02 12:03:13:withAllowedLateness(TEN_MINUTES) 8:9 (, 1 1,)- ? ) ( H PCollection counts = input.apply(Window.into(FixedWindows.of(Duration.standardMinutes(1).triggering(AtWatermark().withAllowedLateness(Duration.standardMinutes(10).acc
3、umulatingAndRetractingFiredPanes().apply(Sum.integer() 230A N1 N. + 2 )( ) A , ND ) YARN ClusterSamzaProcessorSamzaProcessorApplicationMasterSamzaContainerJVMProcessZooKeeperSamzaProcessorSamzaContainerSamzaContainerSamzaProcessorLocalYARN(cluster mode)Standalone(dev/debug purpose) A aeF)rPBl IpniR
4、),) eFmS,)(,k)A RBPPageView Event 1 124 ()SlidingWindow(1day, every min)Filtter.byCount.perKeyTop.largestPerKey(n)Sum.globallyPCollection counts = pageViewsRows.apply(SqlTransform querySELECT COUNT(*) AS count FROM pageViewGROUP BY pageKey,HOP(timestamp, INTERVAL 1 MINUTE, INTERVAL 1 DAY);PageView E
5、ventMobile ActivityDatabase Update- - )( SessionWindow(2 hour)SessionWindow(2 hour)SessionWindow(2 hour)Join by idCoGroupByKeyParDoUser Activity/ DB SessionWindowCoGroupByKeyParDo(online training)New ML ModelsA RBP T(,F P,), Java SDKPython SDKGo SDK 3(1F FD2.Beam Pipeline(Runner API) .2.).SparkRunnerSamzaRunnerDataflowRunnerExecution(Fn API)workerworkerworker PCJ, DP, ,SR FgRPCBeam PipelineJob ServerTranslate to SamzaHigh Level APIsPython ProcessgRPCSamza TasksSDK workerA RBP AB BAAABA

展开阅读全文