把一切都监控起来课件.ppt

1、把一切都监控起来把一切都监控起来-思路思路 vs 技术技术 vs 管理管理腾讯公司腾讯公司-吴凯华吴凯华2010-11-13运营网络环境错综复杂、不同操作系统/浏览器及版本、不同网络速度大量服务器测试环境跟外网差异大敏捷开发、快是生存的根本测试与开发人力比例很大提问：提问：团队自动化测试ROI目前是正值还是负值？质量与效率是否有清晰度量指标和平衡点？可能的现状？可能的现状？明知版本差、仍然要发布 辛苦自动化测试投入，一个产品变更，轻松抹杀所有产出 痛苦的外网问题定位，测试被频繁挑战思考思考/挑战挑战 敏捷开发下，如何更好体现测试的声音和价值？快速版本发布下，如何仍然把质量持续提升？除了测试（包

2、括工具开发），测试团队还可以做什么?自动化测试（B/S、C/S、后台）平台/框架建设安全测试黑盒测试白盒/单元/集成/灰盒测试性能测试（前后台）用户体验测试兼容性测试。配置管理（代码）变更和规范性开发/编译/测试环境稳定性外网发布部署过程质量外网产品运营质量IDC运营质量外网环境质量仅仅是开发和运营支持人员的责任？仅仅是开发和运营支持人员的责任？可用性测试可用性测试监控测试监控测试规律性比对的自动化测试+不确定性下检测预警+人脑智能分析通过各种不同工具和统一的测试平台从多个纬度给产品研发运营质量输出错误报告和预警分析让监控型测试工作无所不在！让监控型测试工作无所不在！代码规范性代码规范性高危函

3、数代码高危函数代码目录目录/文档文档Makefile静态代码检测静态代码检测SCM变更变更分支基线分支基线代码被评审度代码被评审度Base lib 变更变更Build 监控监控产品打包规范性产品打包规范性配置标准化监控配置标准化监控部署变更监控部署变更监控发布一致性监控发布一致性监控差异测试监控差异测试监控环境稳定度监控环境稳定度监控外网黑盒性能外网黑盒性能打开速度打开速度服务器运行服务器运行Coredump/crash网络状况网络状况程序上下线程序上下线数据正确性数据正确性返回码返回码代码代码环境环境运营运营缺陷进展监控缺陷进展监控项目项目MileStoneTesting PlanTask

4、Status流程流程持续集成平台依托在持续集成平台下的各种测试工具让工具自动化执行起来！一些测试解决方案技术和原理介绍一些测试解决方案技术和原理介绍充分利用SVN的hook技术让开发CI时更有乐趣和挑战压力 Pre-commit和post-commit利用 Html/CSS/JS给出变更的差异报告 Dom tree变更的提醒和分析 CI后的静态检测 C/C+代码：推荐开源cppcheck工具 高危险函数扫描分析预警 CI前的编码规范性、注视率、版本变更说明检测监控结果或错误邮件推送监控结果或错误邮件推送测试结果入持续集成数据库测试结果入持续集成数据库动态内存泄漏测试和监控 基于开源Valgri

5、nd工具的二次封装开发+持续集成平台(执行调度管理+历史结果存储+度量）静态内存/资源泄漏监控 基于开源cppcheck工具的二次封装开发+持续集成平台代码覆盖率监控 基于开源gcov/lcov工具的二次封装和开发+持续集成平台差异化比对工具 Python的difflib工具包，可以容易实现友好界面代码比对分析和支持 与自动化部署系统结合起来，部署完成后提供差异报告测试平台管理CGI等相关资源明确get或post参数结合XSS/CSRF等安全漏洞攻击原理给与input/output的自动化结果分析纳入持续集成平台统一调度执行和管理和度量让前台优化不再只是开发工作，测试继续延伸到产品的外网运营

6、把返回码（404/5XX）、cache、压缩、JS等混淆、http请求次数、打开速度、路由、ping速、打开耗时等统统以测试手段通过IDC间互访实现监控和问题定位分析【让测试继续延伸】通过IDC间的请求互访支持！IDC2IDC1IDC3Ruby+httpwatch+watir+优化分析工具+持续集成平台【仅支持IE】Selenium+Fiddler+Python/Ruby+优化分析工具+持续集成平台【可支持多浏览器】问题：日常测试工作开展，你的性能测试结果对外网产品运行指导价值有多大？100%价值参考？80%价值参考？不到50%价值参考？测试环境 vs 外网环境外网的访问毛刺持续攀升的峰值访问

7、次数最佳模式下突发网络故障产品架构容灾、柔性设计不够。业务访问频率是几十万次/秒场景下，一次功能探测测试结果代表了啥？一天里每秒执行1次后的测试结果又有何作用可分析和参考？同前台性能优化测试的部署执行思路在IDC间互相部署测试平台和执行agent探测性+自动化测试用例执行验证响应时间、超时率、错误率针对性做阀值分析并短信等方式告警最好的运营支持工具最好的运营支持工具 +最好的性能检测最好的性能检测/监测利器！监测利器！功能逻辑错误服务器性能/负载网络问题（网络不通、网络波动、网络丢包）架构合理性。开发、测试、运维终于可以睡安稳觉！开发、测试、运维终于可以睡安稳觉！接入层（CGI/HTML）后台

8、ServerDB/File CacheDatabaseOS海量服务产品简单架构层级海量服务产品简单架构层级HTTP Client Auto Test toolTCP发包发包+自定义协议结构自定义协议结构 Test Tool快慢快慢DB查询查询 Test ToolDisk/进程进程/CPU/coredump Test Tool用例管理和制作测试数据管理脚本语言支持任务管理和调度任务执行/控制结果上报任务执行/控制结果上报任务执行/控制结果上报统计分析配置管理告警推送结果展示测试平台统计平台规则定义工具开发规范工具配置管理任务定制、管理、调度和执行工具测试结果统计、度量监控型测试开展的最好支持平台轻量灵活化、插件化接口、集中管理和执行约束轻量灵活化、插件化接口、集中管理和执行约束质量、效率、速度、成本质量、效率、速度、成本案例1：一个体验界面，只需前台添加几行JS代码，体验便差异非常大，具体测试人员却提不出改进方案来案例2：农场的偷标记不正确显示率很高，开发和测试都无从解决案例3：魔法卡片需求文档推出后，被测试推翻重做单纯聚焦黑盒测试，测试凭啥想得到产品、开发和其他团队的尊重和支持？谢谢