嵌入式系统软件测试 OS-test课件.ppt

1、2022-11-151软件测试工程师培训嵌入式系统软件测试2022-11-152综述 不存在一个适合于所有软件的通用的测试方法和测试程序，必须以具体项目的特点和要求为基础，综合考虑测试活动要素及工程限制，制定和选择适当的目标、计划和规程，以保证测试质量和软件质量。本次讲课内容：结合实际测试实例，介绍与实时嵌入式系统软件测试相关的技术要点。2022-11-153要点 n嵌入式软件的特点n嵌入式软件测试设计n嵌入式软件测试工具n嵌入式软件测试环境n嵌入式软件测试案例2022-11-154嵌入式软件的特点n专用用户接口n实时信号/强实时性n软件与硬件并行开发n对代码规模有限制n难以测试n可靠性要求高

2、n 是基于Host/Target方法进行开发的，软件实际运行在特定的硬件环境下。2022-11-155嵌入式软件的特点n与用户的接口依赖于系统硬件n使用实时或专用操作系统2022-11-156嵌入式软件测试设计n单元测试n集成测试n确认测试n系统集成测试n系统测试/验收测试 每个级别的测试有不同的内容，发现不同方面的软件缺陷。语句、结构单元、部件配置项、子系统系统、大系统 2022-11-157测试设计单元测试n要重视静态分析和代码审查n确定软件单元粒度n用例设计的方法取决于被测单元的特点n性能测试（中断处理、实时性）旨在发现程序模块的编码和逻辑错误。2022-11-158测试设计关于代码审查

3、 人工测试技术在检查某些编码错误时，有着特殊的功效，它常常能够找出利用计算机不容易发现的错误。人工测试至今仍是一种行之有效的测试方法。一个对照实验发现，人工走查和审查会平均能查出被测程序的38%错误，IBM代码审查会的查错效率高达80%。2022-11-159测试设计关于时间特性测试 实时系统中对软件运行实时性有严格的要求。有些软件测试工具提供了时间测试的功能，使用的软件插桩可能会影响时间测试精度，但只要被测试的模块的时间特性在允许的余量范围（比如30）中，测试结果是有效的。自行编制驱动软件，使用时钟来测试模块运行时间也是行之有效的方法。模块的时间特性是一个统计数值而不是只靠一次测试得到的结果

4、。2022-11-1510测试设计集成测试n发现部分设计缺陷n分步骤逐步完成，增量过程n较多使用黑盒测试n辅助测试系统n软件与硬件的部分集成 检验与软件设计相关的程序结构问题；着重于测试软件模块间的接口和模块所体现的功能验证。2022-11-1511测试设计软件集成测试流程2022-11-1512测试设计确认测试 检验所开发的软件能否满足功能和性能需求。与通用软件的确认测试不完全一致软件配置项级确认测试系统级确认测试验收测试广度上有所要求（重视强度测试强度测试、安全性测试、可恢复性测试）2022-11-1513测试设计与通用软件测试的区别 没有可移植性、兼容性等的测试要求；多数嵌入式系统也没有

5、人机接口的测试要求；由于嵌入式系统的软件与硬件系统密切相关，确认测试完成并不表明软件测试的结束；软件最终的确认测试是完成系统集成测试以后的系统验收测试。2022-11-1514测试设计系统集成测试 对整个嵌入式系统进行考验的一系列不同的测试，每个测试都有不同的目的，所有的测试都是为了整个系统成分能正常地集成到一起以完成分配的功能。2022-11-1515测试设计系统测试/验收测试n最终在系统一级进行的确认测试n有顾客(用户)参加的测试环境试验可靠性测试压力测试 功能测试性能测试恢复测试安全测试2022-11-1516测试设计与通用软件系统测试的区别 通用软件的系统测试要求在各种系统硬件（兼容机

6、）和软件环境（操作系统）中完成测试，而嵌入式系统测试则要求在特定的硬件系统和接口环境（真实环境）中进行。系统安装测试的概念有所区别。多数嵌入式系统无GUI测试。2022-11-1517测试设计概述 系统集成和验收测试虽然不属于软件工程过程的研究范围，也不是由软件开发人员来进行的，但却是嵌入式系统测试不可回避的。在软件设计和测试阶段采用的步骤能够大大增加软件成功地在复杂系统中进行集成的可能性，但却不能解决系统集成的所有问题。2022-11-1518嵌入式软件测试工具n静态测试工具n动态测试工具2022-11-1519测试工具主要功能n静态测试工具测试软件调研报告.doc编程标准验证（Progra

7、m Standards Verification）数据流分析技术（Data Flow Analysis）质量度量（Quality Metrics）信息代码可视化显示（Code Visualisation）2022-11-1520测试工具主要功能n动态测试工具测试软件调研报告.doc代码覆盖率（Code Coverage）自动产生测试外壳程序（test harness）（单元测试阶段）性能分析内存分析执行追踪分析（TRACE）2022-11-1521测试工具比较n测试工具推荐.docn嵌入式软件测试工具比较.doc2022-11-1522嵌入式软件测试环境解决嵌入式软件测试过程中执行结果不易观察

8、的问题n逻辑仿真测试环境n系统联试测试环境n硬件模拟测试环境n全数字仿真测试环境2022-11-1523测试环境逻辑仿真测试环境n优点：可分解、记录任意中间数据状态，执行、中断和暂停任意指令，记录各语句、分支和循环的覆盖情况和执行次数等项功能均易于解决，是一种常用有效的测试和调试技术手段。n缺点：难于产生严格意义上的时序关系，当软件包含与外部接口相关的时序操作时，难以有效进行测试，测试时难于发现由被测软件造成的与硬件相关的故障，工具本身的正确性直接影响测试结果。2022-11-1524测试环境系统联试测试环境n优点：最真实的测试环境，易于发现由软件造成的软件接口与系统接口的不一致性问题，可检验

9、软件、硬件复合的性能，及在特定的物理环境下系统硬件是否能保证软件的正常运行。n缺点：对于大型综合系统，实际测试涉及多个单位，难于保证测试时间；设备本身的限制，无法提供支持测试用例的手段。2022-11-1525测试环境硬件模拟测试环境使用与产品的嵌入式系统硬件指令兼容的CPU,设计研制与之严格时序及逻辑等价的测试平台，以硬件或软件手段实现测试信息的设定和记录等功能。n优点：接近真实的运行环境，可记录部分中间结果.n缺点：难于统计覆盖率，响应时间测试不够准确，记录数据受硬件条件的限制。2022-11-1526测试环境全数字仿真测试环境 使用软件方法模拟被测试软件的运行环境，并记录软件运行的输入/

10、输出结果和中间数据。n优点：测试时便于根据测试用例设置各种输入，可通过记录的数据进行精度分析、覆盖率统计，便于修改和进行回归测试。n缺点：难以发现与硬件相关的问题，难于准确测试软件的响应时间。平台正确性影响到测试结果。2022-11-1527测试环境概述 嵌入式系统在完成测试的过程中，可能使用多种测试技术，完成不同方面的测试。对于大型复杂嵌入式系统，可根据需要建立多种测试环境，有时这样的系统本身就是一个复杂的综合系统 2022-11-1528测试环境基本要求n测试输入是可以控制的 测试输出应尽量能够通过自动化的方法记录和显示；对于不能自动记录测试结果的测试，只要测试输入是可以控制的，根据测试用

11、例组织测试，实时记录测试结果。各种形式的记录数据都是事后整理和分析的依据。2022-11-1529测试环境基本要求n测试是可以重复的，可以进行回归测试 测试是为了发现软件中的缺陷，由于错误出现经常是有条件的，在经过调试以后，为了验证缺陷是否消失，就要使用错误出现时的测试用例进行回归测试；回归测试时，不仅要使用先前出现错误时的测试用例，还要重复所有的测试，以避免调试引进的新缺陷。作为测试环境就必须满足测试输入可重复、避免随机产生测试用例的情形。2022-11-1530嵌入式软件测试案例n测试流程测试策略n测试计划n测试设计n测试评审n测试实现n测试实施n测试评价n测试配置管理n第三方测试2022

12、-11-1531测试案例测试流程xxxx软件测试流程软件配置管理系统集成测试配置项集成测试软件确认测试系统验收测试验收测试报告确认测试报告更 改报告问 题报告软件产品软件集成测试配置项测试报告系统设计系统分析配置项测试计划/说明确认测试计划/说明系统测试计划/说明回归测试中间状态软件编码单元测试代码软 件 需求文档软 件 设计文档2022-11-1532阶阶 段段标识标识被测对象被测对象目目 的的完成后产品状态完成后产品状态单元测试单元测试CSU单元获得可组装的单元可执行的单元部件集成测试部件集成测试CSC单元、部件、集成单元成部件部件环境中可执行的部件配置项集成测试配置项集成测试CSCI部件

13、、配置项组装部件成配置项配置项级环境中可执行的配置项配置项确认测试配置项确认测试CSCIV配置项、子系统确认配置项的功能和性能仿真环境中满足软件需求的配置项系统集成测试系统集成测试SYS子系统，系统动态协调开发环境下的各子系统实际运行环境中满足用户需求的子系统系统验收测试系统验收测试SYSV子系统，系统，关键配置项确认系统的功能和性能实际运行环境中满足用户需求的系统测试案例测试阶段2022-11-1533测试案例测试计划n软件配置项划分n测试定义n测试/管理工具的确定n测试环境定义n人员组织形式n时间/进度安排2022-11-1534测试案例测试设计n单元测试n集成测试n确认测试n系统测试测试

14、说明文档测试基准部分或整体关键模块的选择分步骤集成结构测试和功能测试2022-11-1535测试案例测试实现n测试工具n测试脚本（测试步骤的计算机表示）n测试环境2022-11-1536测试案例测试用例的复用 低层被测对象的测试用例或其部分内容可以复用在对高层被测对象的测试中。如：n部件确认测试阶段可以复用单元测试阶段的测试输入；n部件确认测试阶段的测试用例组可以复用在配置项集成测试阶段和配置项确认测试阶段中；n配置项确认测试阶段的测试用例组可以复用在系统集成测试阶段和系统验收测试中。2022-11-1537测试案例测试实施n软件测试记录：n测试运行结果的计算机表示n测试比较结果的计算机表示n

15、测试日志n软件问题报告 2022-11-1538测试案例测试评价n软件测试报告n 测试结果的统计信息n 测试结果的分析/评判 2022-11-1539测试案例配置管理nClearCase工具n不同级别的测试评审n测试用例库n测试问题报告2022-11-1540测试案例第三方测试n单元测试n使用工具进行静态度量n工具和人工结合代码走读n软件配置项确认测试n在第二方测试环境下n变换测试用例n复现测试用例2022-11-1541总结n编程人员要有意识地学习和掌握测试工具，而不能认为是测试人员的事。n在软件测试中应该根据实际情况实施测试，无需刻意追求使用测试工具。n实现软件工程和软件测试，更多地是软件流程管理，不只是强调软件开发（编程）质量。n有了环境和工具并不意味完成了测试。n软件工程应加强软件流程的有序性和有效性管理，而不应该片面追求大而全的瀑布模型。2022-11-1542谢谢！