软件测试结果分析与评估测试评估过程的输入与活动课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《软件测试结果分析与评估测试评估过程的输入与活动课件.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 软件 测试 结果 分析 评估 过程 输入 活动 课件
- 资源描述:
-
1、软件测试结果分析与评估软件测试结果分析与评估 测试评估过程的输入与活动测试评估过程的输入与活动 软件测试的评估方法软件测试的评估方法 测试日志测试日志 测试报告测试报告 集成集成Rational ClearQuest跟踪缺陷和变更跟踪缺陷和变更请求请求 测试评估活动的目的是统计和分析测试结果,确定是否达到软件发布的标准。具体内容包括以下几方面:确定实际测试执行的有效性。测试执行是否完全?执行失败是否因为不符合前置条件?分析测试输出以确定结果。在执行测试过程中,查看测试结果报告中的数据来检验该执行是否是可接受的。查看统计后的结果以检查对测试计划、测试输入、配置等的覆盖程度。6.1 测试评估过程的
2、输入与活动测试评估过程的输入与活动6.2 软件测试的评估方法软件测试的评估方法6.2.1 覆盖评测覆盖评测 最常用的覆盖度量是基于需求的测试覆盖和基于代码的测试覆盖。测试覆盖是对需求(基于需求的)或代码的设计/实施标准(基于代码的)全面的评测,如测试用例的核实(基于需求的)或所有代码行的执行(基于代码的)。覆盖策略陈述测试的一般目的,指导测试用例的设计。1基于需求的测试覆盖基于需求的测试覆盖 基于需求的测试覆盖在测试生命周期中要评测多次,并在测试生命周期的里程碑处提供测试覆盖的标识,如已计划的(p)、已实施的(i)、已执行的(x)和成功的(s)测试覆盖。测试覆盖通过以下公式计算:测试覆盖=T(
3、p,i,x,s)/RfT 在制定测试计划活动中,将计算测试覆盖以决定已计划的测试覆盖,其计算方法如下:测试覆盖(已计划的)=Tp/RfT 在实施测试活动中,由于测试过程正在实施中(按照测试脚本),在计算测试覆盖时使用以下公式:测试覆盖(已实施的)=Ti/RfT 在执行测试活动中,使用两个测试覆盖评测,一个确定通过执行测试获得的测试覆盖,另一个确定成功的测试覆盖(即执行时未出现失败的测试,如没有出现缺陷或意外结果的测试)。这些覆盖评测通过以下公式计算:测试覆盖(已执行的)=Tx/RfT2基于代码的测试覆盖基于代码的测试覆盖 基于代码的测试覆盖用于评测测试过程中已经执行的代码的多少,与之相对的是要
4、执行的剩余代码的多少。代码覆盖可以建立在控制流(语句、分支或路径)或数据流的基础上。控制流覆盖的目的是测试代码行、分支条件、代码中的路径或软件控制流的其他元素。数据流覆盖的目的是通过软件操作测试数据状态是否有效,例如,数据元素在使用之前是否已作定义。基于代码的测试覆盖通过以下公式计算:测试覆盖=Ie/TIic 如将该比率转换为百分数,则可以通过以下的方式来描述基于代码的测试覆盖:x%的测试用例(上述公式中的I)已经覆盖,成功率为y%6.2.2 质量评测质量评测 测试覆盖的度量评价了测试的完备性,而对测试过程中发现缺陷的评估提供了软件质量指标。缺陷分析就是分析缺陷在与缺陷关联关系的一个或多个参数
5、值上的分布。缺陷分析提供了一个软件可靠性指标。对于缺陷分析,常用的主要缺陷参数有4个:u状态:缺陷的当前状态(打开的、正在修复或关闭的等)。u优先级:必须处理和解决缺陷的相对重要性。u严重性:缺陷的相关影响。对最终用户、组织或第三方的影响等等。u起源:导致缺陷的起源故障及其位置,或排除该缺陷需要修复的构件。6.2.3 性能评测性能评测 评估测试对象的性能行为时,可以使用多种评测,这些评测侧重于获取与行为相关的数据,如响应时间、计时配置文件、执行流、操作可靠性和限制。这些评测主要在评估测试活动中进行评估,但是也可以在执行测试活动中使用性能评测评估测试进度和状态。主要的性能评测包括:u 动态监测在
6、测试执行过程中,实时获取并显示正在执行的各测试脚本的状态。u 响应时间/吞吐量测试对象针对特定主角和/或用例的响应时间或吞吐量的评测。u 百分位报告数据已收集值的百分位评测/计算。u 比较报告代表不同测试执行情况的两个(或多个)数据集之间的差异或趋势。u 追踪报告主角(测试脚本)和测试对象之间的消息/会话详细信息。6.3 测试日志测试日志 回顾测试评估过程的输入与活动的介绍,我们可以看到测试日志是测试评估过程的一项重要的输入制品。使用TestLog窗口可以:打开测试日志查看测试结果。过滤测试日志的数据以查看满足过滤条件的信息。对测试用例进行分类,复查和更新所有未评估的测试用例。提交日志中失败的
7、事件所对应的缺陷。测试日志自动填写build、配置以及Rational ClearQuest缺陷表中的测试脚本信息。利用测试脚本开发工具打开基于脚本的日志事件的测试脚本。预览和打印Test Log窗口的活动测试日志数据。结合其他测试脚本生成工具,使用比较器(Comparator)分析结果。1 Test Log窗口介绍窗口介绍2 在在TestManager中打开测试日志中打开测试日志 选择“File”*“Open Test Log”。在测试资产工作区的“Results”标签中展开Build 树,选择一个日志,双击即可打开该日志。3 查看测试日志结果查看测试日志结果 在执行一个测试用例、测试脚本或
8、套件之后,可以在Test Log窗口中快速评估测试结果。查看测试用例结果查看测试用例结果1)按照不同的标准对测试用例进行分类2)根据不同的标准显示测试用例3)显示一个测试用例的事件细节 查看一组测试套件的测试日志查看一组测试套件的测试日志 测试套件的测试日志记录了一组套件执行的所有信息。该日志包含了build、日志文件夹、日志名称信息、套件验证的信息、测试脚本以及任何与该测试套件有关的警告和错误。要想查看一个测试套件的日志,可以右键点击TestLog窗口中一组测试套件的开始事件,然后选择“View Suite Log”。在一个打开的测试套间日志中,选择“File”-“Print”可以打印该测试
9、套件的日志。查看事件细节查看事件细节 每个事件的详细信息可以从Test Log窗口的“Details”标签中获得。在Details标签中,可以:收缩或展开事件列表。找出一个特殊的结果、事件类型、协议、失败原因、验证点或命令,或者寻找一个特定事件属性的名称和值。4 查看一个测试脚本查看一个测试脚本 可以在相应的创建测试脚本的工具中查看与日志事件关联的测试脚本。要查看一个测试脚本,首先打开一个测试日志,选择“Details”标签,右键点击一个测试脚本的开始或者结束事件,在菜单中选择“Open Script”。5 测试日志的其他操作测试日志的其他操作 在Test Asset Workspace(测试
10、资产工作区)中选择“Results”标签,右键点击一个测试日志,在弹出的菜单中可以选择重命名一个测试日志、查看一个测试日志的属性(名称、描述、build、和日志文件夹)。可以创建一个日志过滤器来减少在Test Log 活动窗口中显示的数据量。例如,可以创建一个过滤器只显示验证点或测试机启动。选择“File”“Print”可以打印在活动测试日志中显示的信息,以分析测试结果。如果要在打印出的报告中获得更多的细节,点击“Event Type”栏中的()号,展开详细的信息。如果要减少细节数量,点击Event Type栏中的()号,收缩信息。6.4 测试报告测试报告 TestManager 提供了灵活的
11、报告工具以方便用户创建各种类型的和格式的报告。同时TestManager还提供了许多预定义的报告,用户可以便利地使用这些定制好的报告分析性能和测试用例的结果。TestManager 提供了3 种类型的测试报告:测试用例报告(Test Case Reports)跟踪计划实施的过程以及测试用例的执行。列表报告(Listing Reports)显示了保存在一个Rational项目中的测试资产。性能测试报告(Performance Testing Reports)分析在指定条件下的某个服务器的性能。1 测试用例报告测试用例报告 测试用例报告跟踪测试计划的实施过程以及测试用例的执行。报告有多种表示格式,
12、包括柱状(bar)图、面积(area)图、折线(line)图、饼(pie)图以及树状(tree)图。测试用例报告又分为3种子类型:测试用例分布(Test Case Distribution)报告测试用例结果分布(Test Case Results)报告测试用例趋向(Test Case Trend)报告 测试用例分布报告包括了测试计划覆盖率报告和测试开发覆盖率报告,这两个测试覆盖率报告跟踪测试计划过程、测试开发以及测试执行的工作。测试计划覆盖率(Test Planning Coverage)显示测试计划中的测试输入的百分率和计划的测试用例的数量。测试开发覆盖率(Test Input Develo
13、pment Coverage)显示输入测试用例的数量、实现(手工或已有自动化测试脚本)的测试用例以及测试用例实现的百分比。测试用例结果分布报告测试用例结果分布报告 测试结果分布报告在一个项目的执行阶段使用。这些报告提供有关执行一个测试脚本、测试用例或者测试套件的关键信息。通过结果信息,可以评估一个指定的build 的质量以及这个build的测试过程。测试用例结果分布报告包括测试执行覆盖率(Test Plan Execution Coverage)报告,测试执行覆盖率报告显示计划的测试用例数、已执行的测试用例数和百分比、通过的测试用例数以及失败的测试用例数。测试用例趋向报告测试用例趋向报告 测试
14、用例趋向报告提供的信息包括测试的数量,已经计划的、开发的、执行的测试用例的数量,或者是在一段时期内符合测试标准的测试用例的数量,伴随通过builds、迭代或者日期的间隔描述和指定。下面的测试用例趋向报告展现了遍及所有迭代的计划的和实施的测试用例的数目。过滤测试输入的来源数据过滤测试输入的来源数据 有两种方法可以在测试用例分布报告或者测试用例结果分布报告中过滤测试输入的来源数据:在执行一个报告之前过滤可以过滤掉不必要的数据信息,以便缩小显示在测试用例报告中的数据数量。在执行了一个报告之后过滤执行一个报告之后,如果依然存在不必要的信息和数据,那么可以过滤掉这些不必要的数据信息。2 列表报告列表报告
15、 列表报告显示了保存在一个Rational项目中的不同测试资产。TestManager提供了针对builds、测试机、测试机列表、配置、迭代、sessions、测试套件、测试日志、测试计划、测试脚本以及用户的列表报告。设计布局定义每个报告的外观和包含在一个列表报告中的说明信息。每个列表报告可以使用一种或多种设计布局的组合。可以定制设计布局或者使用Crystal Reports创建新的设计布局(要定制已存在的设计布局或创建一个新的设计布局,必须安装Crystal Reports专业版,具体的有关使用Crystal Reports来创建或定制已存在的设计布局的信息,请参阅Crystal Repor
16、ts帮助)。3 性能测试报告性能测试报告 性能测试报告帮助分析在指定条件下一个服务器的性能。例如,可以决定一个虚拟测试者多长时间执行一个命令,以及不同的测试套件执行的响应时间的变化。性能测试报告包括:性能(Performance)报告 比较性能(Compare Performance)报告 响应时间(Response vs.Time)报告 命令状态(Command Status)报告 命令使用(Command Usage)报告4 选择要使用的报告选择要使用的报告目的目的使用的报告使用的报告利用指定的属性分类测试用例(例如,可以查看在每个迭代中测试用例得数目或在一个指定的测试用例组已创建的测试用
17、例的数目)测试用例分布报告确定符合测试准则的测试用例的数目测试用例结果分布确定某些builds、迭代或日期中计划的、已实施的或已执行的测试用例的百分比;查看某些builds、迭代或日期中已测试的、未测试的、符合测试准则或不符合的测试准则输入的测试用例的百分比测试用例趋向报告显示项目中的buildsBuild 列表显示项目中的测试机测试机列表显示项目中的测试机列表测试机表的列表显示项目中的配置配置列表显示项目中的迭代迭代列表显示项目中的会话会话列表显示项目中的测试套件测试套件列表显示项目中的测试日志 测试日志列表测试日志列表显示项目中的测试计划测试计划列表显示项目中的测试脚本测试脚本列表显示项目
18、中的用户用户列表显示响应时间和估计一个测试套件中针对每条命令的平均差和标准差以及百分位性能报告比较由多个性能报告估量的响应时间比较性能报告显示单独的响应时间以及一个响应是否已经通过或者失败响应时间报告获得命令通过或者失败的摘要命令状态报告查看累计响应时间和摘要统计,以及针对所有测试脚本的仿真命令和将一个测试套件作为整体执行的吞吐量信息命令使用报告5 创建报告创建报告 要创建一个报告,选择“Reports”-“New”,选择想要创建的报告类型。创建测试用例分布报告创建测试用例分布报告 创建测试用例分布报告时,可以选择结果的展现格式,例如,柱状图、折线图、饼图或者树状图,如下图所示。创建一个测试用
19、例结果分布报告创建一个测试用例结果分布报告 创建一个测试用例结果分布报告时,选择报告中希望显示的测试用例结果类型,例如,Passed、Failed、Warning等创建一个测试用例趋向报告创建一个测试用例趋向报告 创建一个测试用例趋向报告时,选择有关测试用例和测试输入的数据信息,例如,选择趋向报告是针对builds、迭代或者日期 创建一个列表报告创建一个列表报告 创建列表报告时,需要确定如何通过一个Crystal Reports设计布局来显示需要的信息,如下图所示。可以创建或者定制现有的Crystal Reports设计布局。创建性能测试报告创建性能测试报告 创建性能测试报告时,可以说明执行报
20、告的日志数据和如何操作这些日志数据以便能得到需要的信息。6 打开报告打开报告 创建和保存一个报告之后,可以打开它,如果需要,还可以修改报告。可以通过以下两种方法打开或者修改一个报告:选择“Reports”“Open”,从列表中选择一个报告,并点击“OK”按钮。在测试资产工作区的“Analysis”标签中,选择要打开的报告类型,然后选择要打开或者修改的报告。7 打印、导出报告打印、导出报告 执行一个测试用例报告之后,可以打印、保存或者将它复制到剪贴板中。执行一个列表报告之后,可以打印该报告,或者将它导出到指定的文件格式中,并将其保存在测试机上。TestManager 支持的导出的文件格式有电子表
展开阅读全文