实时计算平台1课件.pptx

1、大纲1.我们现在的计算平台2.我们平台上的业务3.我们将来要做的工作大纲1.我们现在的计算平台2.我们平台上的业务3.我们将来要做的工作实时计算平台1v支持毫秒级别至秒级别的计算延迟需求v高可靠性，高可伸缩性，高可扩展性v支持DAG描述的流式作业v支持已在线运行作业DAG修改与升级vPer-Record的计算模式与底层架构vStreaming模式支持多语言扩展实时计算平台1v机群规模：500+-1000v机群QPS：10M-100M qpsv延迟保证：99.9%50ms-v在线系统v统一平台服务众多（20+）业务方实时计算平台2v支持十秒级别至分钟级别的计算延迟需求v高可靠性，高可扩展性v支持

2、DAG描述的流式作业/Queue-Worker模型作业v具备Transaction属性，保证计算数据的不重不丢v基于增量/小批量的计算模式与底层架构vStreaming模式支持多语言扩展实时计算平台2v机群规模：500+-1000v支持千级worker并发，百级业务流并发v多级Master架构设计v控制流与数据流分离v统一资源层大纲1.我们现在的计算平台2.我们平台上的业务3.我们将来要做的工作实时计算平台1v广告计算平台广告计算平台主要需求：v真正的实时需求：百毫秒级别的延迟指标v灵活的拓扑变化：新增用户数据业务流，支持各种策略实验v高稳定性：跨机房故障时，优雅的服务降级实时计算平台1v检索

3、端更新数据流检索端更新数据流 主要需求：v真正的在线需求：在线调整与升级，稳定v灵活的拓扑变化：新增用户数据业务流，支持各种策略实验v数据流频繁调整：分流，备份实时计算平台2v离线离线/在线云视频转码需求在线云视频转码需求主要需求：v视频分段并行转码；v潜在资源需求量大，短期无预算上线规模：worker并发数k级别业务收益：提升时效性，利用空闲资源实时计算平台2v业务日志后端计算业务日志后端计算主要需求：v分析前端Server日志，计算统计报表，精确v计算步骤较多：流式join，filter，aggregation，入库业务收益：提升报表时效性（5hour+-30min-）大纲1.我们现在的计算平台2.我们平台上的业务3.我们将来要做的工作现在/将来的工作1.业务推广2.统一资源层3.提升易用性谢谢！