小米服务端APM技术实践.pptx

1、服务端APM技术实践提纲APM全景概览服务观测平台Zander测试平台PeckerAPM全景概览-价值服务质量端对端性能、可性跟踪研发效率故障的快速发现、定位更精确的容量评估基于数据的架构分析、质量险预判成本降低研发时，优化机器成本，降低研发总成本收益红海竞争下，降低流量损失，提转化率APM全景概览APM全景概览ZanderServerInsight（服务可观测）Pecker路通CND质量评估端性能分析业务客户端打点压测试功能测试接监控 Trace Log Metric服务端络层终端组外项现有项/功能提纲APM全景概览服务观测平台Zander测试平台Pecker服务观测平台Zander-背景某

2、业务近百服务，如何理清请求调用哪些服务？某接口慢，如何快速定位耗时瓶颈?某用户下单失败，如何快速定位原因？服务观测平台Zander-背景法处理优点对运维较熟悉-缺点在堡垒机上发grep命令，到多台机器上执堡垒机+grep基于Hadoop基于ELK容易造成资源抖动耗费写MR任务分析志从ES中查询志相对较现代还是要靠分析服务观测平台Zander-理论基础理论基础 Google Dapper TraceID=hash(IP+进程号+时间+随机数等) SpanID=0|0.1|0.1.2|0.1.2.3.4服务观测平台Zander-平台构建中间件数据平台 提数据开发交付效率 降低计算成本控制台与功能端

3、 控制服务 架构可视化 SDK 中间件植 字节码适配数据标准化-Trace数据规范服务观测平台Zander-数据标准服务观测平台Zander-中间件中间件植 借助基础架构收敛能 RPC框架字节码适配 接成本低SDK 封装Trace标准核字段 依赖业务动埋点 试于有 的语vm 基础库 JavaPHP其他语推动客户按照Trace规范打点服务观测平台Zander-中间件业务志Trace 异步刻画 优化中间件IO性能JVM Metric 内存、 业务字段关联(UID等) TraceID 写业务志 业务志上报GC CPU 运环境信息、基于Java动态代理的性能侵接式服务观测平台Zander-整体架构环境

4、上报ControlServiceElasticSearch业务展示端SDKZanderWebTalosSparkAPM-AgentDashBoardOn SuperSetDruid客户进程数据基础设施APM中间件控制功能端服务观测平台Zander-数据平台提数据开发交付效率 轻：Spark层只做清洗和必要建模 重： 分析：好ESDruid等OLAP引擎 ETL： 定义数据清洗 前提：源头数据规范化降低计算成本 数据漏：系统刻画VS问题定位 刻画需求：模型数据即可满 定位需求：先查询模型数据，不命中时穿透到原始数据平台抽样数据全量原始数据定位场景下的数据漏服务观测平台Zander-数据平台控制台

5、与功能端 降低功能搭建试错成本 数据可视化：多种开源报表具组合，快速验证与试错(metabasesupersetpivot等) 架构可视化 服务画像全景重点：架构可视化服务观测平台Zander-产品架构Trace:调链服务观测平台Zander-产品架构性能瓶颈险，强依赖险逻辑耗时险Trace:调链服务观测平台Zander-产品架构服务观测平台Zander-产品架构Trace:路径聚合服务观测平台Zander-产品架构Log：业务定位服务观测平台Zander-产品架构服务观测平台Zander-产品架构Metric:定义报表服务观测平台Zander-产品架构指标m/Metric:JVM服务观测平台

6、Zander-价值落地价值落地怎么做 业务线险分析 帮助业务做险分析并反馈 业务拓展 从故障通报发现客户 根据场景主动找客户(交易、检索等)提纲APM全景概览服务观测平台Zander测试平台Pecker测试平台Pecker-背景不同负载下接口的性能和可用性表现如何？服务的负载极限是多少？本次上线后各项功能是否正常？测试平台Pecker-平台功能性能测试功能测试仅持http场景RPC压测Http压测定义接压测测试平台Pecker-平台构建操作者FDSPecker-ExecuteKubernetesRedisMysqlPodPod测试平台Pecker-平台构建性能测试核能功能测试核能两种压测策略（

7、QPS户增）数据统计功能Http 响应结果断数据报表展示公模块：被测服务JMX监控、定时调度、邮件通知、开放API定时调度+http功能测试+邮件通知=接可性监控测试平台Pecker-功能演示测试平台Pecker-功能演示测试平台Pecker-价值落地MIUI MiDiff 平台Based On Pecker爱、NLP等Pecker Open API测试平台（压测试、功能测试）未来展望-产品规划业务快速定位功能优化定义报警智能报警1. 接：标准、收敛2. 数据：成本优化、价值最化3. 功能：服务全景、业务定位优化1. 接性能&可性监控2. 业务流程监控&测试1. IOT打点SDK&规范测试平台（压测、功能测试）服务观测端性能分析终端设备有机房内络层