常用的可用性测试方法课件.ppt

1、设计调查Design Investigation张煜Email：zy_ 029-82663859西安交通大学机械工程学院工业设计系02周6周10周16周确定选题访谈调查 定性分析调查专题：1.高档产品设计因素调查2.与产品相关的生活方式调查3.移动终端设备的用户研究方法4.眼动仪在用户界面交互研究中的应用5.SNS的用户行为研究与分析6.游戏调查与设计7.可用性测试方法分析与改进4周8周问卷设计试调查 正式调查数据分析报告撰写授课内容1.1 设计调查基本目的1.2 文化与设计调查1.3 使用动机调查1.4 生活方式调查1.5 设计审美调查1.6 可用性调查1.7 如何调查用户的行动需要 1.8

2、 如何调查用户的认知需要1.9 用户情景分析 1.10 语境分析1.11 用户调查基本方法 1.12 调查效度分析1.13 调查信度分析1.14 抽样方法1.15 数据统计方法设计调查基础专题讨论问卷设计1.6 可用性调查(usability survey)本节目的：初步掌握如何设计可用性调查过程，包括：专家用户访谈、设计调查问卷、进行调查和分析调查结果。为什么要进行可用性测试？ 可用性测试是建立“以人为本”的软件质量检查标准。 ISO/IEC 9126把可用性作为软件产品质量的6个主因素之一：软件质量功能性 functionality正确性（accuracy）适当性（suitability）

3、协同工作能力（interoperability）安全性（security）可靠性reliability成熟性（maturity）容错性（fault tolerance）可复原性（recoverability）实用性（availability）可用性usability可理解性（understandability）可学习性（learnability）操作性（operability）吸引力（attractiveness）有效性efficiency时间行为（time behavior）资源（resource）实用性（utilization）维护性maintainability分析性（analysabi

4、lity）可变性（changesabilitgy）稳定性（stability）可测试性（testability）移植性portability适应性（adaptability）安装性（installability）共存性（co-existence）互换性（replaceability）为什么要进行可用性测试？ 可用性测试是用户调查的方法之一，是最终检验产品可用性的主要依据。 可用性测试是发现产品可用性问题，提高产品可用性的主要途径。 如软件开发项目先开发Beta版进行可用性测试，找出设计的问题点，完成改进设计后再发布正式版本。 可用性测试是选择软件和界面设计方案的方法之一。 如有人提出用可用性测

5、试的结果比较不同的网站、软件、手机等产品的可用性，还有人提出用测试结果比较改进前后界面的可用性。1. 可用性定义ISO9241Ergonomic requirements for office work with visual display terminals-11中可用性指“特定用户在特定使用情景中，以有效、具有效率、并满意地达到特定目的的程度”。 Dumas和Redish(1999)可用性的定义：人们能够快捷地使用产品，从而能简单地完成他们的任务。可用性关注的是用户；人们使用产品的目的是为了更好地产出；用户愿意更快地完成任务；由用户决定何时、便于使用产品 。可用性工程师 Usabilit

6、y engineer 制作培训教程；搭建服务网站；等2. 参与可用性研究的相关人员可用性科学家Usability scientist在可用性研究和开发相关学科方面受过正规训练的拥有认知科学领域的高级学位之人。这些学科包括： 可用性科学；可用性工程学； 人机工程学；工效学；等用户体验专家 User experience expert在类型上可以归类为上述2类型中，但他们不是公司、办公室或某部门中的正式可用性工程师或供职于可用性工程部门中、却提供可用性相关服务。技术文档的编写者除了编写尽可能便于阅读和使用的打印或在线文档，还必须对应用程序代码、网站设计、甚至是软件和硬件设计编写注释的文档。因此，这

7、些人逐步成为可用性工程师，或简单地通过学习可用性测试和相关技术来提升自己的个人能力，从而晋升为对内部或外部客户提供可用性相关的服务。分为3种主要产品类型：1.文档设计设计纸质的或在线帮助的文档，作为用户参考。由文档的编写者负责文档设计和可用性技术的应用，包括用户和任务分析等工作。3. 可用性设计分类2.界面设计是一个旨在设计出对用户有吸引力并易于使用的软件或硬件接口的过程。GUI 设计需求与软件设计不同，而且有了GUI并不意味着这就是一个好的软件界面设计。3.网页设计是一个网站设计的过程。是将一系列网页连接起来、向读者提供信息。Wilson(2005)给出了未来一段时间内应当特别关注的6个关于

8、可用性的趋势：1.产品设计和评估的焦点一定是完全用户体验。2.软件拥有者会更多咨询可用性从业者，从而让他们对公司的投资回报有更多的信心。3.在新型协作和电子商业技术设计中，社会心理学的重要性越来越突出（协同工作）。日常生活中的心理学及其对用户的影响的分析。4.在可用性和用户体验从业者的聘用中，是否拥有商业技巧和智慧将会成为一个重要的判断标准。5.简化能力和技巧（如何规划可用性测试），将变得与设计技巧、与评估技巧一样的重要。6.现行可用性测试方法的有效性和可靠性将得到检验。目前并没有可以遵循的可用性测试过程、测试数据分析和测试报告的标准，许多可用性测试和相关研究仍然处于成型阶段。4. 可用性研究

9、趋势可及性 (Accessibility) 就是指残疾人也可轻松自如使用信息通讯技术，比如因特网。万维网内容可访问性指南”：对于盲人，网站必须有诵读文本的软件程序进行翻译；对于弱视者，网站网页需要设有可调字体，并且色彩对比度鲜明；对于聋人或有听力障碍者，提供音频内容的同时也应提供对话文本。在2006年通过的联合国残疾人权利公约，也提请人们注意有必要确保残疾人在与他人平等的基础上获得信息和通讯技术。欧洲联盟电子可及性标准。用户界面设计应当考虑到满足那些由于身体功能障碍、或者年龄原因等导致的具有特殊可及性问题的用户需求。会影响计算机使用的身体功能障碍包括：完全或者部分视觉障碍。颜色识别障碍。听觉障

10、碍或者听觉困难。认知障碍，如孤独症和诵读困难。身体活动限制，如麻痹和手腕管综合症。协助技术，如替代键盘和鼠标的设备、摇杆和摇棒、可吸吹系统、触摸屏等。5. 可用性研究中可及性问题盲文显示行508法令条款1998年美国政府修订1973年的康复法案（Rehabilitation Act），补充了包括由联邦政府维护的电子和在线内容的可及性规则的第508条款。强制执行其他一些国家和地区，包括澳大利亚、英国等，也有相应的反身体功能障碍歧视的相关法令，影响着用户界面的可及性设计。无论是软件还是硬件产品的开发者，包括网站设计师在内，都必须注意在产品中包含可及性相关特性：软件应用程序必须包含针对有视觉障碍用户

11、的可及性特性，如替代键盘向导以及与语音识别产品的接口，等。通讯产品必须包含针对听觉障碍用户的可及性特性，如集成TTY设备（用于人体侦测控制 ）等。视频或多媒体产品必须包含针对与显示内容同步的字幕，而且字幕的开启和关闭是可控制的。自主式服务产品必须包含可及性特性，如内置的、可以将与用户的交互信息清晰的出的扬声器系统。网站和应用程序必须使用ALT标签描述网页上的图片信息，所谓ALT标签就是与图片绑定在一起的小段文字，用以简要描述图片的内容。当用户将鼠标移动到图片区域上时，ALT标签就会出现在鼠标箭头旁边。5. 可用性研究中可及性问题6. 可用性测试标准及测试方法谁是被测人？被测人可以是新手用户，一

12、般用户，经验用户，偶然用户，或者专家用户。要根据测试目的去选择被测人。如何选择被测人？测试时要抽取一定数量的用户人群。抽取方法可以采用随机抽样或非随机抽样方法。如何确定测试方法？一般有两种方法：测试全部任务和任务链，反复测试容易出现问题的那些任务。不论采用哪种方法，都要事先设计好测试任务，测试步骤，观察方法。如何确定测试标准？（1）按照ISO9241-11的3个因素：有效性，效率和用户满意度。（2）按照ISO9241-10的7条因素：适合任务，能够自我描述，用户可控制，符合用户期待，容错，适合个性化，适合学习。（3）设计人员要按照用户模型，自己建立可用性测试标准，然后确定测试什么因素（参数）。

13、具体评价方法？主要包括：（1）专家观察用户操作后写出评价结果；（2）用户操作后回答评价问卷；（3）专家操作后评价等方法，这种方法叫专家评价法。其实每一种评价方法都依赖专家进行评价。6. 可用性测试标准及测试方法1.依据国际标准ISO9241第11部分的可用性测试问卷2.依据国际标准ISO9241第10部分的可用性固定问卷3.其它各种可用性结构框架4.固定问卷可用性测试方法爱尔兰 SUMINielsen 专家问卷5.四种网站调查问卷比较6.设计可用性测试方法（对目前可用性测试方法的改进）评价：以上测试方法的问题是：只能进行评分，不知道问题出在哪儿，当然也就很难，甚至无法改进。按照用户任务模型：目

14、的、计划、实施、评价按照用户任务模型：感知、注意、理解、交流、 设计一个表格，记录测试的结果，等。1采用国际标准ISO9241的第11部分它规定了可用性应包含三个因素：有效性（effectiveness）：用户达到目的的正确性（accuracy）和完整性（completeness）。 效率（efficiency）：用户达到目的完成各种任务所耗费的资源。满意度（satisfaction）：用户对使用该系统的主观反应，产品使用的舒适度和可接受程度。6. 可用性测试标准及测试方法该标准没有给出测试可用性三个参数的具体方法，只是在其附件中列举了一些例子（3个可用性测试问卷） ，用于说明在若干具体实际产

15、品设计中如何测试这三个因素。此外，在二十多年实践中，人们发现该标准的三个参数存在若干问题。如，“用户满意度”是一个模糊概念，没有一个比较一致的心理学概念。国际标准ISO9241第11部分可用性是取决于使用情景，而且所达到的可用性水平取决于产品所使用的环境。使用情景包括用户、任务、设备（硬件、软件和材料）、以及会影响产品在一个工作系统中可用性的各种物理和社会环境。图：ISO9241建立的可用性因素结构框架6. 可用性测试标准及测试方法用户任务设备环境使用情景产品目的可用性测试 有效性 效率 满意度预期目标互动结果如何描述用户情景？用户的知识、技能、经验、受教育程度、培训、体力特征、技能动作特征。

16、包括硬件、软件和材料，按照可用性评价所需要的操作特性的品质进行描述。包括：技术环境（例如，局域网），物理环境（例如工作站，家具），气候环境（温度、湿度），社会文化环境（例如，工作惯例，组织结构和特点等）。用户的工作系统是依据总目的建立的，这个总目的包含一系列行动目的。行动四个阶段目的，计划，实施，评价及结束行动，评价时需要依据反馈信息，描述用户任务。用户设备环境目的任务可用性测试中的情景因素用户目标环境个人详细信息用户类型观众以及二级用户技能和知识产品经验系统知识任务经验组织的经验培训键盘和输入技能资格语言技能普通知识目标子目标组织环境结构工作时间团队工作岗位功能操作惯例辅助工作异常中断管理架

17、构通信架构报酬用户目标环境个人特性年龄性别体力特性体力限度和障碍智力能力态度动机目标子目标态度和文化电脑使用的政策组织的目标劳动关系岗位设计岗位灵活性执行性能监控执行性能反馈性能与成本估计自治判断能力 6. 可用性测试标准及测试方法ISO9241可用性测试方法 6. 可用性测试标准及测试方法192采用国际标准ISO9241的第10部分规定了用户界面设计的7条标准。德国若干机构采用了这7条规定作为可用性标准因素。该标准对这7条标准还具体规定了54条设计指南。这些都可以作为可用性测试的依据。列举了7个可用性固定问卷。6. 可用性测试标准及测试方法适合任务 当任务支持用户有效地、高效率地完成任务，就

18、认为该对话适合任务。能够自我描述 当每步对话通过系统反馈或按照用户要求进行解释，那么就认为这个对话是自我描述的。用户可控制 如果用户能够启动和控制人机互动的方向和节奏直到满足目的，就认为该对话是可控制的。符合用户期待 当对话一致并符合用户特性，就认为该对话符合用户期待。容错 尽管输入出现明显错误，用户不需要修正行动或投入最少的干预，仍然能够达到预期的结果，就认为该对话是容错的。适合个性化 如果软件界面能够被修改以适合用户需要、个人偏好和技能，就认为该对话具有个性化能力。适合学习 如果对话系统支持并引导用户学习如何使用系统，就认为该对话适合学习。3采用固定调查问卷1980年代以来西方若干国家（例

19、如爱尔兰、美国、德国等）的大学或研究机构都建立可用性调查结构框架和调查问卷。这些标准依据不同于上述两种国际标准的因素结构。1987年美国施奈德公布了QUIS（Questionnaire for User Interaction Satisfaction，用户交互满意调查表）固定问卷；1990年代爱尔兰的University College Cork的人因素研究组（HFRG）建立的SUMI（Software Usability Measurement Inventory，软件可用性测试量表）固定问卷，等。注意：这些问卷受知识产权保护，不能盗版使用。6. 可用性测试标准及测试方法3采用固定调查问卷

20、SUMI提供了三种测试：1）整体行的评价。2）可用性分解因素：喜欢程度效率帮助性用户控制程度可学习性3）测项交感分析：把被测软件与标准相比好坏，列出被测软件各项得分。6. 可用性测试标准及测试方法严格说，以上各种固定问卷的方法并不适合各种具体设计项目。因为每个设计项目针对的问题不同，设计要解决的问题不同，具体要求不同，测试项目也不同，因此不可能用统一测试标准去衡量各个设计项目。采用统一标准进行测试，往往比较适合横向比较同类产品的某些指标特性。4通过用户调查建立产品的可用性标准每个软件产品的用户要求都应该是通过用户调查分析而得到的，各个软件的用户要求都不完全相同，因此每个软件的可用性标准也都应该

21、通过用户调查分析而得出。这就需要由比较高水准的专业人员，能够进行用户调查，能够建立用户模型，能够针对具体设计项目建立可用性标准。当前，国内外企业往往达不到这种要求。（许多企业甚至不知道应该这么做，而误以为应该使用统一的国际标准）6. 可用性测试标准及测试方法5. 可用性测试方法：主观评价法：6. 可用性测试标准及测试方法用户通过操作判断评价软件的可用性。这种方法往往用于评价无法观察的内在心理互动，这些心理活动只能通过用户自己描述表达出来。例如，测试飞机加速度时，要求飞行员描述什么情况下，接近失去控制意识。这类问题几乎无法采用客观的测试方法，依赖于飞行员主观评价必须是很直观可信的。采用主观评价方

22、法，要求用户具有一定操作经验，能够评价和表述出产品的可用性。优点是这种方法比较直观，成本低等。缺点是有时表达含义比较模糊，缺乏一致性度量，或有夸张倾向。 5. 可用性测试方法：主观评价法：6. 可用性测试标准及测试方法可用于评价用户以下几方面的操作特性：用户的行动心理。例如软件是否符合他们的目的、任务、行动计划、评价方法。用户的认知心理。例如，显示的信息是否符合用户感知特性，图标是否容易被发现等。用户操作出错。让用户操作各个任务，看出错率为多少，哪些地方容易出错。用户学习特性。例如，哪些新概念不容易理解记忆，哪些图标不容易理解，哪些操作过程不容易记忆等。用户情绪感受。例如，用户是否满意，是否乐

23、意的使用。用户的行动特性，用户的大脑认知处理，以上这些用户操作特性，只能通过用户调查后的主观评价去获得，无法用其它方法代替。5. 可用性测试方法：客观评价法：6. 可用性测试标准及测试方法通过外界观察用户操作行动去评价可用性。通过摄像机记录用户的操作过程，出错情况，学习时间。用眼动仪显示用户操作时眼睛的运动过程。优点是这种方法能够评价明显的操作行为，不用主观解释去影响结论。缺点是只对可观察的明显行为有效，无法观察用户的内心认知情况。5. 可用性测试方法：按照清单的评价法：6. 可用性测试标准及测试方法这些方法介于主观评价和客观评价法之间。在这些方法中，由专家检测可用性，而不是由用户。专家评价使

24、用的清单主要是依据软件人机学所提出的问题，而不是依据用户操作任务。由于专家通过自己的个人评价回答问题，因此这些方法是主观的。由于对各种测试都采用统一的人机学的测试标准，评估者回答问题是建立在清晰的测试规则和可查阅的环境的基础上，那么这些方法就是客观的。优点是这些方法中的专家判断比较快，使用资源少，能够提供一个综合的评价，评价机动性好，很灵活。缺点是它的评价信度随着专家不同也会发生变化，因为它的评价不可避免的带有主观性，它的报告可能不很完整，而且有时带有偏见。在评价准则中，详细的规则(例如详细的过程描述、清晰的记录、可观察的测试点，等)能帮助减少这种方法的主观性。 5. 可用性测试方法：经验评价

25、法：6. 可用性测试标准及测试方法在设计过程中，或者完成纸制作的原型后，设计人员根据以往设计经验，根据用户调查中获取的信息，对可用性进行评价。这时往往采用认知预演法（cognitive walkthrough）。如同表演节目时的“彩排”，设计人员把自己当作用户，通过“纸上谈兵”方法，把各个功能操作一遍。这种“纸上谈兵”也就是“认知预演”的含义。 5. 可用性测试方法：常用的可用性测试方法：6. 可用性测试标准及测试方法用户访谈设计前进行采用的主要用户调查方法之一，分别访谈新手用户、普通用户和专家用户，主要目的是使你成为专家用户。日志研究自报告，长期跟踪研究，记录真实环境下的使用情境、行为和感受

26、。焦点小组通过8-12人的群组共同讨论关于某一个特定的话题，了解目标人群的愿望、动机、态度和看法。实验室观察模拟环境下通过摄像头、眼动仪等记录用户的交互行为并进行分析。用户测试真实环境中用户完成特定任务。问卷建立可用性框架，对影响可用性的各个因素提出问题。产品开发完成原型后常用的方法。有声思维用户一边操作一边口述自己的思维。口述会干扰思维，因此这个方法只适合于某些短小的专题任务，而不适合复杂任务。专家评价法（heuristics）：由人机学专家结合系统分析人员和程序设计人员，共同分析评价用户界面.清单核查法：建立一个标准清单，列出要调查的各个问题，由专家根据这份清单进行评价或调查。经验法：最常

27、采用的经验法是认识预演法。如同彩排节目或演习一样，设计人员在构思产品概念时和用户界面时，想象各个任务各个功能各个命令的操作过程，从中注意困难出现的问题加以改进。此方法是产品开发前期的测试方法。5. 可用性测试方法：常用的可用性测试方法：6. 可用性测试标准及测试方法这些方法都有各自特点，然而每一种方法都不能完全胜任可用性测试的全部要求，因此要把各种方法结合起来，充分发挥各自的特点，相互弥补不足。 1980年代后期才建立用户模型及有关的许多概念，1990年代逐渐形成了一个“以用户为本”的概念体系，并成为用户界面设计的一个基本方法。这些理论和方法建立了许多的设计概念术语，例如，用户意图，操作计划，

28、感知，认知等，这些“以用户为本”的设计体系的结构与国际标准的三个概念（有效性，效率，满意度）的整体结构差异很大，缺乏一致性，也就是说，这两个体系中的概念很难一一对应。7.可用性的国际标准存在什么问题？1.缺乏心理学用户模型概念。2. 国际标准ISO是按照1985年的计算机硬件软件的水准和设计思想建立的。如今天仍然把“有效性”作为可用性标准，那么标准的水准就太底了。那时美国德国心理学界才集中研究动机心理学和认知心理学，也就是说，这些新知识都还没有进入计算机应用领域，那时建立的可用性标准基本不符合如今人们所熟悉的动机心理学和认知心理学观点和方法，因此那时还比较缺乏“以人为本”的设计观念和设计思想，

29、仍然保留了机械论和“以机器为本”的观念。7.可用性的国际标准存在什么问题？以“效率”衡量用户操作。如今人们知道，许多软件可用性并不是把效率作为衡量标准的，而是把“符合用户目的意图”作为最基本标准的。7.可用性的国际标准存在什么问题？迄今没有测试标准和测试方法，此外满意度是一个相对量。因此各国各地在研究用户满意度时，是采用的日常生活中的口语概念，而各人对满意度的解释差异很大，无法比较各自对满意度的实验调查结果。如果要采用满意度概念，首先要在心理学心理学中对它进行定义和结构因素分析，并通过实验搞清楚这些问题。3.“满意度”的概念迄今在心理学中也缺乏定义和实验研究。目的结果评价标准满意不满意yesN

30、o满意的心理过程7.可用性的国际标准存在什么问题？ ISO9241-11中的这三个因素（有效性，效率，满意度）或者ISO9241-10的那7个因素之间（适合任务，能够自我描述，用户可控制，符合用户期待，容错，适合个性化，适合学习 ），往往存在彼此相关性。 当改变有效性后，可能也改变了效率，用户满意度也会提高。从ISO9241-10来看，如果用户界面“适合用户任务”了，就意味中它“能够自我描述”，也意味中“用户可控制”，“符合用户期待”或“适合个性化”，这些都是彼此相关的因素。4.因素之间彼此相关。无法确定出错原因，也就无法改进设计。 7.可用性的国际标准存在什么问题？也就是说，其作用是横向比较

31、各个软件对这些指标的分数高低，而无法测试出产品什么地方出现的问题，因此无法建议改进哪里。而企业公司需要通过可用性测试后，知道该软件硬件哪里存在可用性问题，以及如何改进。当前造成这种局面的原因在于：在建立用户模型时所采用的理论依据（心理学），不同于可用性测试中所采用的理论依据（人机工效学），使最后可用性测试的标准，不同于前期设计时的依据，这种矛盾可能会给设计与测试造成冲突。5.国际标准的两种测试方法都只能给出评价分数。 建立可用性标准的基本依据：1传统的人机学测试。主要产品与用户生理因素是否一致，产品适应用户人群的人体尺寸等生理条件。2测试各种任务行动的操作。测试目的是看产品使用与用户人群的行动

32、特性是否一致，产品界面操作使用适应用户人群的行动心理特性，也就是符合用户行动特性（行动模型，任务模型）。完整的任务测试主要包含三个方面。测试用户界面是否符合用户任务的各个行动阶段（意图、计划、实施、评价）。测试任务链是否协调。用户操作时，往往会把有关任务交叉，或者把有关任务组合成为一定顺序，这些任务被称为任务链。非正常情景中的行动特性和认知特性。如，在黑暗、吵杂、高温等环境中，用户的操作行动特性。8. 可用性测试基本思想建立可用性标准的基本依据：3测试行动过程中的认知特性。看软件各种信息符合用户的认知特性（认知模型，智力模型）。一般说，用户的认知测试不是单独进行的，而是在用户任务行动过程中进行

33、测试的。4产品界面是否能够弥补用户的行动生理或心理缺陷。例如人不善于识别机器参数、物理量和化学量，用户界面是否能够弥补用户的这些弱点。这是对用户界面可用性的特殊要求。5测试用户学习特性。例如，测试学习时间，学习困难程度（哪些概念或操作过程难理解，难记忆）。测试哪些操作没有采用用户所掌握的操作技能，不符合用户使用经验（知识）的连续性，哪些概念是设计人员生造的。目的是使用户要记忆的新概念最少，要理解的新概念最少，要理解记忆的新操作过程最少，新操作方式最少，新型的反馈信息最少。6测试用户操作中出错程度。通过用户出错去发现设计问题，是一个比较直观方法，其结果也能逐步符合可用性的基本目的。因此这是一条捷

34、径。8. 可用性测试基本思想应该按照用户行动模型和认知模型，从以上6方面建立测试标准和测试方法。设计人员可以按照这6方面要求，设计可用性测试标准和测试方法。9. 以用户为本的可用性测试方法 以用户为本的测试方法。测试前将测试目的给用户讲清楚。告诉用户软件存在问题，测试是请用户帮忙找出这些问题，而不是测试用户。记录各种用户操作的问题是什么，希望用户在操作过程中，附带记住所发现的问题。把测试要求告诉用户，希望把所有的任务操作一遍，按照真实任务过程去操作。“真实任务过程”的含义是在正常操作下进行测试。测试前要对测试问题有基本估计，可以通过自己预先自己操作，初步有一些估计。建立测试表格： 每个任务把观测点列出来 用三类用户（新手、经验、专家）做测试 每次测试一个任务，时间大约10秒。