性能测试诊断分析与优化课件.ppt

1、激发个人潜能 燃点企业动力性能测试诊断分析与优化陈能技嘉为IT培训学院培训讲师介绍 陈能技()11年软件测试与质量管理经验 著作：软件测试技术大全.NET软件测试实战技术大全QTP自动化测试最佳实践软件自动化测试成功之道性能测试诊断分析与优化培训课堂的注意事项 培训中 积极、主动不仅使您获得更多的收获，也使培训讲师能有的放矢、保持激情。持之以恒、集中精力，您收获的将不仅是知识；请您记得将手机调至震动状态或关机，以免影响您的同学。培训后 填写课程反馈表 删除桌面临时文件 关机培训后事项 填写课程反馈表 删除桌面临时文件 关机目 录1.性能监控方法2.性能诊断分析与优化3.性能测试新兴技术介绍一、

2、性能监控方法 操作系统层性能监控 Web服务器性能监控 中间件服务器性能监控1、操作系统层性能监控 CPU性能监控 内存性能监控 磁盘IO性能监控 网络性能监控 开源网络性能监控工具的应用 使用Spotlight监控操作系统CPU性能监控 查看CPU信息：cat/proc/cpuinfo Top Vmstat 2 3 Dstat -cip 1 Mpstat-P ALL 1 Sar 1 10 Pidstat-p 2 5Top使用方式：top-d delay q c S s i n b说明：即时显示process的动态d:改变显示的更新速度，或是在交谈式指令列(interactive comman

3、d)按sq:没有任何延迟的显示速度，如果使用者是有superuser的权限，则top将会以最高的优先序执行c:切换显示模式，共有两种模式，一是只显示执行档的名称，另一种是显示完整的路径与名称S:累积模式，会将己完成或消失的子行程(dead child process)的CPU time累积起来s:安全模式，将交谈式指令取消,避免潜在的危机i:不显示任何闲置(idle)或无用(zombie)的行程n:更新的次数，完成后将会退出topb:批次档模式，搭配n参数一起使用，可以用来将top的结果输出到档案内范例：显示更新十次后退出;top-n 10将更新显示二次的结果输入到名称为top.log的档案里

4、:top-n 2-b top.log Vmstat r表示运行队列的大小 b表示由于IO等待而block的线程数量 in表示中断的数量 cs表示上下文切换的数量 us表示用户CPU时间 sys表示系统CPU时间 wa表示由于IO等待而是CPU处于idle状态的时间 id表示CPU处于idle状态的总时间DSTAT dstat可以给出每一个设备产生的中断数 设备名和设备号的关系可以参考文件/proc/interruptsMpstatmpstat可以显示每个CPU的运行状况，比如系统有4个CPU。我们可以看到：#mpstat P ALL 1Linux 2.4.21-20.ELsmp(localho

5、st.localdomain)05/23/200605:17:31 PM CPU%user%nice%system%idle intr/s05:17:32 PM all 0.00 0.00 3.19 96.53 13.2705:17:32 PM 0 0.00 0.00 0.00 100.00 0.0005:17:32 PM 1 1.12 0.00 12.73 86.15 13.2705:17:32 PM 2 0.00 0.00 0.00 100.00 0.0005:17:32 PM 3 0.00 0.00 0.00 100.00 0.00sar%user列显示了用户进程消耗的CPU 时间百分比

6、。%nice列显示了运行正常进程所消耗的CPU 时间百分比。%system列显示了系统进程消耗的CPU时间百分比。%iowait列显示了IO等待所占用的CPU时间百分比%steal列显示了在内存相对紧张的环境下pagein强制对不同的页面进行的steal操作。%idle列显示了CPU处在空闲状态的时间百分比。sar 2 5 /每隔2秒，显示5次，CPU使用的情况 sar支持保存成两种格式的文件，一种是文本文件，一种是二进制文件（只有通过sar自己的命令才能查看）sar 1 10 data.txtsar 1 5 -o data /每隔1秒，写入5次，将CPU使用的数据写入二进制文件data中。s

7、ar-f data /查看data文件Pidstat监视某个进程的CPU使用情况 1.通过ps命令找到相应进程的PID：ps-e 2.使用pidstat命令监视进程，详细用法见：http:/pagesperso-orange.fr/sebastien.godard/man_pidstat.html pidstat 2 5 每隔2秒，显示5次，所有活动进程的CPU 使用情况 pidstat-p 3132 2 5 每隔2秒，显示5次，PID为1643的进程的CPU使用情况显示 pidstat-p 3132 2 5-r每隔2秒，显示5次，PID为1643的进程的内存使用情况显示 内存性能监控 查看内

8、存信息：cat/proc/meminfo Free m Vmstat 2 10 Top Psfree$free-m total used free shared buffers cachedMem:1002 769 232 0 62 421-/+buffers/cache:286 715Swap:1153 0 1153第一部分Mem行:total 内存总数:1002Mused 已经使用的内存数:769Mfree 空闲的内存数:232Mshared 当前已经废弃不用，总是0buffers Buffer缓存内存数:62Mcached Page缓存内存数:421M关系：total(1002M)=us

9、ed(769M)+free(232M)第二部分(-/+buffers/cache):(-buffers/cache)used内存数：286M(指的第一部分Mem行中的used-buffers-cached)(+buffers/cache)free内存数:715M(指的第一部分Mem行中的free+buffers+cached)可见-buffers/cache反映的是被程序实实在在吃掉的内存，而+buffers/cache反映的是可以挪用的内存总数。vmstatvmstatmemory swpd列表示切换到内存交换区的内存数量（以k为单位）。如果swpd的值不为0，或者比较大，只要si、so的值

10、长期为0，这种情况下一般不用担心，不会影响系统性能。free列表示当前空闲的物理内存数量（以k为单位）buff列表示buffers cache的内存数量，一般对块设备的读写才需要缓冲。cache列表示page cached的内存数量，一般作为文件系统cached，频繁访问的文件都会被cached，如果cache值较大，说明cached的文件数较多，如果此时IO中bi比较小，说明文件系统效率比较好。swap si 列表示由磁盘调入内存，也就是内存进入内存交换区的数量。so列表示由内存调入磁盘，也就是内存交换区进入内存的数量。一般情况下，si、so的值都为0，如果si、so的值长期不为0，则表示系

11、统内存不足。需要增加系统内存。监控单个进程占用内存的情况top-d 1然后shift+m（Sort by memory usage）Ps aux|grep HoldMemoryMaintop-b-n1-p 21642|tail-2|head-1|awk print$5VIRT=SWAP+RESVIRT 进程使用的虚拟内存总量，单位kbSWAP 进程使用的虚拟内存中，被换出的大小，单位kbRES 进程使用的、未被换出的物理内存大小，单位kb磁盘性能监控 df-hlT parted-l Vmstat iostat-d 2 3 sar-d 2 3 Iotop pidstat iodumpiostat

12、iotoppidstat pidstat-d 1 pidstat-C test_io-t-d 1iodump wget http:/ echo 1 /proc/sys/vm/block_dumprootkanga:#while true;do sleep 1;dmesg-c;done|perl iodumpC#Caught SIGINT.TASK PID TOTAL READ WRITE DIRTY DEVICESfirefox 4450 4538 251 4287 0 sda4,sda3kjournald 2100 551 0 551 0 sda4firefox 28452 185 185

13、0 0 sda4kjournald 782 59 0 59 0 sda3pdflush 31 30 0 30 0 sda4,sda3syslogd 2485 2 0 2 0 sda3firefox 28414 2 2 0 0 sda4,sda3firefox 28413 1 1 0 0 sda4firefox 28410 1 1 0 0 sda4firefox 28307 1 1 0 0 sda4firefox 28451 1 1 0 0 sda4网络性能监控 ping Netstat-i Sar-n DEV 1 3 Sar-n SOCK 1 3 ifTop、ipTrafifTop开源性能监控

14、工具的应用 Cacti、NagiosNmonCacti Cacti是一套基于PHP,MySQL,SNMP及 RRDTool开发的监控工具，可以监控主机的状态和负载情况，添加相应的模板后，可以用来监控 Apache、MySQL 等服务器的运行状态。Nmon Nmon是IBM提供的开源监控工具，可对AIX和Linux系统资源进行监控，可收集系统资源使用情况并输出到特定文件，并可利用Excel分析工具进行数据统计分析。使用Spotlight监控操作系统 2、WEB服务器性能监控 IHS性能监控方法 HTTP连接状态监控 Web服务器吞吐量监控 IHS性能监控 打开server-status监控 状态

15、监控页面打开server-status监控LoadModule status_module modules/ApacheModuleStatus.dll#Allow server status reports,with the URL of http:/servername/server-status#Change the.your_ to match your domain to enable.SetHandler server-status order deny,allow deny from all allow from 127.0.0.1 状态监控页面Scoreboard Key:_

16、Waiting for Connection,S Starting up,R Reading Request,W Sending Reply,K Keepalive(read),D DNS Lookup,L Logging,G Gracefully finishing,.Open slot with no current process Web服务器网络连接监控Linux下实时检测httpd连接数watch-n 1-d pgrep httpd|wc-l“查看TCP并发连接情况:netstat-n|awk/tcp/+S$NF END for(a in S)print a,Sa Web服务器网络连

17、接监控3、中间件服务器性能监控WAS性能监控 WAS自带监控工具的使用 perfServletApp的使用方法 LoadRunner监控WAS 使用AppDynamics监控WebSphere JVM性能监控方法及工具 GC日志监控分析 Thread Dump JVM远程监控 JDBC性能监控WAS性能漏斗模型WAS性能监控的方面 Session 线程池 JDBC连接 JVM性能WAS性能监控的方法和工具 WAS自带性能监控工具的使用 perfServletApp的使用方法 LoadRunner监控WASWAS自带性能监控工具的使用WAS自带性能监控工具的使用用TPV监控JVM发现内存泄漏现象

18、perfServletApp的使用方法 部署PerfServletApp.ear到WebSphere目录下perfServletApp的使用方法LoadRunner监控WASJVM性能监控通用方法 JConsole实时监控JVM GC日志分析 Heap Dump Thread DumpJVM性能监控通用方法-JConsole实时监控JVMJVM性能监控通用方法-GC日志分析打开 WAS GC日志 打开WAS GC日志 Java和进程管理-进程定义-Java虚拟机-详细垃圾回收(保存配置后重新启动服务生效)Java和进程管理-进程定义-Java虚拟机-运行时-详细垃圾回收(确认后立即生效)在通用

19、JVM参数输入框中添加：-Xverbosegclog:gc.log JVM GC日志的保存目录 WASHOME/profiles/yourprofile/logs/yourserver/native_stderr.log 和 native_stdout.log C:WebSphereAppServerprofilesAppSrv01gc.logGC日志分析工具 IBM Support Assistant-Garbage Collection and Memory Visualizer IBM Pattern Modeling and Analysis Tool（PMAT）GCViewer JV

20、M性能监控通用方法-Heap Dump heapdump文件是一个二进制文件，它保存了某一时刻jvm堆中对象情况，这种文件需要相应的工具进行分析，例如 heap analyzer。这个文件最重要的作用就是分析系统是否存在内存溢出的情况，通过heapanalyzer可以很简单地分析出溢出的位置。产生产生WAS Heap Dump的方法的方法JVM性能监控通用方法-Thread Dump线程监控和分析工具 Thread dump提供了当前活动的线程的快照.它提供了JVM中所有Java线程的栈跟踪信息 产产生生WAS Thread Dump的方法的方法 Jconsole VisualVM JProf

21、iler Thread Dump Analyzer IBM Thread and Monitor Dump Analyzer for JavaJVM远程监控 Jstatd Jconsolevisualvm Jprofile中间件性能监控与分析工具 HP Diagnostics JProfiler JProbe YourKit AppDynamics DomainHealth Javamelody JAMONAppDynamicsWAS的Session监控与分析 ActiveCount:正在处理请求的Session数量 LiveCount:目前缓存在内存中的本地Session的数量WAS线程数监

22、控分析 ActiveCount：处于激活状态的线程数。PoolSize：线程池中的平均线程数。PercentMaxed：所有线程在使用的时间的平均百分比。DeclaredthreadHungCount：挂起的线程数。WAS的JDBC连接池监控 WaitingThreadCount：当前等待连接的线程。FaultCount：在连接池中出现错误（例如超时）的数量。PercentUsed：当前连接池中被使用的平均百分比。JDBC性能分析 P6spy+sqlprofiler JDbMonitor JAMONJProfiler监控JDBC二、性能诊断分析与优化操作系统层性能分析与优化 HIS服务器配置优

23、化 中间件性能分析与优化 JVM性能分析 使用JConsoleJava VisualVM监控和分析WebSphere的JVM性能 JVM参数调整与优化 利用JProfiler分析定位Java内存泄漏问题Java代码线程死锁问题分析与定位 JSPServlet性能优化方法操作系统层性能分析与优化 Linux系统性能诊断 操作系统性能调优Linux系统性能诊断影响性能因素影响性能因素评判标准评判标准好坏糟糕CPUuser%+sys%=90%内存内存Swap In（si）0Swap Out（so）0Per CPU with 10 page/sMore Swap In&Swap Out磁盘磁盘iowa

24、it%=50%CPU 对于每一个CPU来说运行队列运行队列不要超过3，例如，如果是双核CPU就不要超过6；如果CPU在满负荷运行，应该符合下列分布，a)User Time：65%70%b)System Time：30%35%c)Idle：0%5%对于上下文切换上下文切换要结合CPU使用率来看，如果CPU使用满足上述分布，大量的上下文切换也是可以接受的。内存(-/+buffers/cache)的free和used Swap（si、so）内存分析案例上面是一个频繁读写交换区的例子，可以观察到以下几点：物理可用内存 free 基本没什么显著变化，swapd 逐步增加当脏页达到10的时候就开始大量使用

25、 swap，free目前的值约等于256MB*10%=2.56MBbuff 稳步减少说明系统知道内存不够了，kwapd 正在从 buff 那里借用部分内存kswapd 持续把脏页面写到 swap 交换区（so），从 swapd 逐渐增加看出确实如此IO 同一时间进行大量的I/O操作 在这种情况时我们会发现CPU的wa时间百分比会上升，证明系统的idle时间大部分都是在等待I/O操作。从这个输出我们可以看到CPU有50%的时间都在等待I/O操作，我们还可以看到系统的bi值很大，证明系统有大量的I/O请求将磁盘内容读入内存。IO将top的输出通过faults进行排序。我们可以看到vmware产生最

26、多的page faults。也就是说它进行了大量的IO操作。IO任何I/O操作都需要一定的时间，而且这些时间对于硬盘来说是确定的，它包含磁盘旋转的延时RD（rotation delay）和磁头搜索时间DS（disk seek）。RD由磁盘转速（RPM）决定。RD是磁盘旋转一周所需时间的一半。如RPM为10000（1分钟转1万次）.RPS=RPM/60=166（1秒转166次）。1/166=0.0006=6ms（磁盘旋转一周要6毫秒）。RD=6ms/2=3ms磁盘平均搜索时间是3ms，数据传输的平均延时是2ms，这样一次I/O操作的平均时间是：3ms+3ms+2ms=8msIOPS=1000/8

27、=125 这块磁盘的每秒IO数（IOPS）为125。所以对于10000RPM的磁盘来说它所能承受的IO操作在IOPS在120150之间。如果系统的I/O请求超过这个值，就会使磁盘成为系统的瓶颈。连续I/O vs.随机I/O 连续I/O常常出现在企业级数据库这样的应用中，需要连续的读取大量数据。这种系统的性能依靠它读取和移动数据的大小和快慢。我们用iostat来监控，会发现rKB/s和wKB/s会很高。Device:rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm%util/dev/sda

28、0.00 12891.43 0.00 105.71 0.00 106080.00 0.00 53040.00 1003.46 1099.43 3442.43 26.49 280.00从输出我们看到w/s=105,wKB/s=53040.所以53040/105=505KB per I/O.连续I/O vs.随机I/O 对于随机I/O的系统来说性能的关注点不在搜传输数据的大小和速度，而是在磁盘的IOPS。这类系统的I/O请求比较小但是数量很大，如Web服务器和Mail服务器。他们的性能主要依赖每秒钟可处理的请求数：Device:rrqm/s wrqm/s r/s w/s rsec/s wsec/s

29、 rkB/s wkB/s avgrq-sz avgqu-sz await svctm%util/dev/sda 0.00 633.67 3.06 102.31 24.49 5281.63 12.24 2640.82 288.89 73.67 113.89 27.22 50.00从输出我们看到w/s=102,wKB/s=2640.所以2640/102=23KB per I/O.因此对于连续I/O系统来说我们要关注系统读取大量数据的能力即KB per request.对于随机I/O系统我们注重IOPS值.操作系统性能调优 系统安装优化系统安装优化 RAID SWAP分区 系统安装后的初步调整优化系

30、统安装后的初步调整优化 检查系统是否正常 关闭不需要的服务 对TCP/IP网络参数进行调整 内核参数优内核参数优化化 针对Web服务器的网络参数优化 针对数据库服务器的内核参数优化IHS服务器配置优化 MPM对对Apache性能的影性能的影响响 影响性能的配置影响性能的配置 并发线程相关的设置并发线程相关的设置 日志对性能的影日志对性能的影响响 压缩 mod_cache中间件性能分析与优化 IHS优化 WAS Session优化 内存中最大会话量 Session超时 WAS线程池优化 WAS JDBC连接池优化 连接超时 最大连接数 最小连接数 JVM性能分析与优化性能分析与优化应用层攻击应用

31、层攻击数据库服务器数据库服务器JDBC数据库连接典型问题分析某电网公司企业网站标准化系统在100个并发用户压力下进行内网网站首页访问登录操作，发现该系统的应用服务器和数据库服务器连接异常，大量出现错误，测试软件报错信息如下：通过对分析，发现部分连接参数设置太小，对连接参数进行调整后，测试组对系统进行了再次测试，基本不存在连接失败的情况。应用层攻击应用层攻击某电网公司人力资源系统员工名册查询无法做压力测试，响应超时的问题，主要是请求的sql太长了com.sophia.hr.modules.employee.external.impl.EmployeeServiceImpl.java类修改了方法e

32、mpListSQL4Info方法再次测试，响应时间明显改善。JDBC数据库连接典型问题分析应用层攻击应用层攻击某电商网站JDBC数据库连接典型问题分析Caused by:java.sql.SQLException:We are already in the process of making 11 connections and the number of simultaneous builds has been throttled to 10JVM性能分析 JVM垃圾回收对性能的影响 吞吐量、GC停顿 JVM内存泄漏诊断 线程问题诊断 JVM堆大小对垃圾回收、系统吞吐量的影响 GC策略对系统

33、性能的影响JVM的堆JVM年轻代与年老代Minor GC的过程Full GC Full GC对性能的影响 jstat-gc pid 可以显示gc的信息，查看gc的次数，及时间。其中最后五项，分别是young gc的次数，young gc的时间，full gc的次数，full gc的时间，gc的总时间。GC日志人肉分析WAS GC日志分析工具 用PMAT分析GC日志java-Xmx512m-jar ga414.jar GCViewerWAS GC 日志分析 案例WAS GC 日志分析 案例可以看到Full GC非常多，占所有pause时间比达到65.9%，这是有问题的，GC应该尽可能在年轻代完成

34、，而不是到年老代JVM堆大小对垃圾回收、系统吞吐量的影响 案例案例-PlantsByWebSphere JConsole远程监控WAS JProfiler查看GC Activity（垃圾回收器的活动占用整体时间的百分比）案例 某电网公司可靠性系统 JVM内存不足、频繁GC、服务器CPU忙JVM参数调整与优化 JVM堆参数设置 GC参数设置GC策略对系统性能的影响 新生代串行收集器 老年代串行收集器 并行收集器 新生代并行回收收集器 老年代并行回收收集器 CMS（Concurrent Mark Sweep）收集器-Xgcpolicy:optthruput-Xgcpolicy:optavgpaus

35、e-Xgcpolicy:gencon-Xgcpolicy:balanced案例案例 PlantsByWebSphereJava代码性能问题诊断分析与优化 Java代码性能分析 JSPServlet性能分析与优化 JDBC性能分析与优化 JProfiler等性能分析工具的应用Java代码性能分析 代码执行效率 CPU使用 内存使用 IO使用 线程锁JAVA代码执行效率监控分析JAVA CPU使用监控分析查看java进程:jps确认java进程CPU性能:pidstat-p -u 1 3进一步查看线程CPU性能,定位到CPU高消耗的线程ID:pidstat-p 1 3-u-t根据定位到的线程ID,

36、使用jstack导出线程堆栈进行验证:jstack-l /tmp/t.txt 在导出的线程堆栈中查找引起高CPU消耗的线程ID(nid),需要从十六进制转换为10进制,从而定位到哪个线程的Java代码执行导致占用大量CPUJAVA内存使用监控分析JProfiler性能分析工具的应用案例演练-Java内存泄漏检测 TestMemJAVA I/O使用监控分析 iostat-dx 3 jps pidstat-p -d-t 1 3 jstack-l /tmp/t.txtJava线程锁监控分析Jstack监控JAVA线程死锁 jps jstack-l 1.txt 查找输出结果定位死锁WAS线程Dump

37、Linux下命令行启动WAS,Kill-3 /opt/IBM/WebSphere/AppServer/profiles/AppSrv01Idle线程线程：一个已经准备好接受请求的线程，但是没有和插件或者客户端建立连接 Keep-Alive线程线程：是一个已经准备好接受请求的线程，并且已经和插件或者客户端建立连接 正在接受请求的线程正在接受请求的线程：是一个线程正在读取request的内容或者头部WAS线程Dump分析工具 IBM Thread and Monitor Dump Analyzer for Javajava-Xmx500m-jar jca101.jarJSPServlet性能分析与

38、优化 JSP、Servlet常见性能问题分析与优化 工具 AppDynamics、JProfiler JAMONJSP、Servlet常见性能问题分析与优化 页面包含页面包含 Page Session JavaBean的生命周期的生命周期 Session过期时间过期时间 init()方法与缓存方法与缓存 压缩输出压缩输出三、性能测试新兴技术介绍 开源性能压力测试工具介绍 云性能测试服务介绍 端到端性能测试与性能监控方案开源性能压力测试工具介绍 早期：Jmeter、The Grinder Tsung GatlingTsunghttp:/tsung.erlang-projects.org/Jabb

39、er/XMPP 协议90万并发jabber用户（使用4个节点的tsung 集群）(3xSun V240+1 Sun V440)10万并发用户（使用3个结点tsung集群）（CPU 800MHz）HTTP and HTTPS 协议12万并发用户（使用4个结点的tsung集群）该测试平台达到每秒3000个请求1000万并发用户，（使用75结点的tsung集群，）并发超过100万个请求目前可以用来测试HTTP,WebDAV,SOAP,PostgreSQL,MySQL,LDAP,and Jabber/XMPPGatlingGatling是一款基于Scala 开发的高性能服务器性能测试工具，它主要用于对

40、服务器进行负载等测试，并分析和测量服务器的各种性能指标。Gatling主要用于测量基于HTTP的服务器，比如Web应用程序，RESTful服务等，除此之外它拥有以下特点：支持Akka Actors 和 Async IO，从而能达到很高的性能 支持实时生成Html动态轻量报表，从而使报表更易阅读和进行数据分析 支持支持DSL脚本，从而使测试脚本更易开发与维护脚本，从而使测试脚本更易开发与维护 支持录制并生成测试脚本，从而可以方便的生成测试脚本 支持导入HAR（Http Archive）并生成测试脚本 支持Maven，Eclipse，IntelliJ等，以便于开发 支持Jenkins，以便于进行持续集成 支持插件，从而可以扩展其功能，比如可以扩展对其他协议的支持云性能测试 SOASTA GomezNeoLoad的云测试方案端到端性能测试与性能监控方案提问及答疑培训后事项 填写课程反馈表 删除桌面临时文件 关机感谢您参与此培训！您的意见与建议对我们非常重要。请您填写反馈表。嘉为IT培训学院激发个人潜能 燃点企业动力谢谢！激发个人潜能 燃点企业动力陈能技