《多媒体计算机技术》课件第6章 多媒体系统的人机交互.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《《多媒体计算机技术》课件第6章 多媒体系统的人机交互.ppt》由用户(momomo)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多媒体计算机技术 多媒体计算机技术课件第6章 多媒体系统的人机交互 多媒体 计算机技术 课件 系统 人机交互
- 资源描述:
-
1、 传统的信息处理环境一直是“人适应计算机”,而当今的目标或理念是要逐步使“计算机适应人”,人们要求通过视觉、听觉、触觉、嗅觉,以及形体、手势或口令,参与到信息处理的环境中去,从而取得身临其境的体验。这种信息处理系统已不再是建立在单维的数字化空间上,而是建立在一个多维的信息空间中。计算机包括3个主要部分:人机信息交互、信息处理和存储以及信息显示,其中,“信息处理和存储”和“信息显示”技术更新和发展的速度相当快。第6章 多媒体系统的人机交互技术多媒体系统的人机交互技术人机界面 多通道用户界面 三维人机交互技术 视频点播和交互电视 虚拟现实 人机界面概述 人机界面又称用户界面、人机交互、人机接口等,
2、是人与计算机之间传递交换信息的媒介,是用户使用计算机系统的综合操作环境,人机界面的设计在计算机系统设计中占有重要地位。人机界面的发展历史 人机界面是计算机与人(使用者)之间通信和对话的接口,是计算机系统的重要组成部分。计算机的发展,推动着人机接口技术和人机界面的发展。人机界面指人类用户与计算机系统之间的通信媒体或手段,它是人机双向信息交换的支持软件和硬件。人机界面的发展历史 就用户界面的具体形式而言,经历了批处理联机终端(命令接口)(文本)菜单等多通道多媒体用户界面和虚拟现实系统。就用户界面中信息载体类型而言,经历了以文本为主的字符用户界面(CUI)、以二维图形为主的图形用户界面(GUI)和多
3、媒体用户界面,使得计算机与用户之间的通信带宽不断增加。就计算机输出信息的形式而言,经历了以文本为主的字符命令语言、以视觉感知为主的图形用户界面、兼顾听觉感知的多媒体用户界面和综合运用多种感官(包括触觉等)的虚拟现实系统。就人机界面中的信息维度而言,经历了一维信息(主要指文本流如早期电传式终端)、二维信息(主要是二维图形技术,利用了色彩形状纹理等维度信息)、三维信息(主要是三维图形技术,但显示技术仍利用二维平面为主)和多维信息(多通道的多维信息)。人机界面设计技术 1三维用户界面 2多媒体和超媒体界面3多通道交互界面4虚拟现实技术5组件及可视计算用户界面的设计目的以及设计原则(1)以用户的行为为
4、基本出发点。(2)考虑用户操作时间长短。(3)以用户操作中的出错率为依据,改进界面设计。(4)分析用户在操作中需要记忆的东西,减少用户短期记忆、长期记忆和学习负担。(5)采用日常生活的常识和比喻,较少计算机逻辑思维和专业术语。(6)从用户的思维和感知能力出发,减少各种脑力负担,包括视觉寻找、区别、识别负担、解决问题负担和决策难度。这些都可以表示为“减少注意”。(7)注重用户的个人特性和区别,例如老年人、残疾人的需要。(8)为提高通用性,用户界面最好采用一致性原则,用户希望工具顺手简单。软件界面的设计的特殊性(1)用户界面软件标准化。(2)用户界面的一致性。(3)用户界面的有效性、可靠性、安全性
5、、可移植性(各种软件的数据可以交换)和数据的一体性。多媒体界面设计的艺术原则 1对比原则 2协调原则3平衡原则4趣味原则对比原则(1)大小的对比(2)明暗的对比(3)粗细的对比(4)曲线与直线的对比(5)水平线与垂直线(6)质感的对比(7)位置的对比(8)多重对比 协调原则(1)主与从(2)动与静(3)入与出(4)统一与协调 平衡原则 界面是否平衡是非常重要的平衡并不是对称中心也是平衡必须考虑的一个方面。趣味原则 在界面设计中注意趣味性可使用户“寓用于乐”。运用形象、直观、生动的图形优化界面是提高软件趣味性的有效手段。(1)比例(2)强调(3)凝聚与扩散(4)形态的意向。(5)变化率(6)规律
6、感(7)导向(8)空白区(9)屏幕上的文字 多通道用户界面 多通道人机界面技术基于视线跟踪、语音识别、手势输入、感觉反馈等新的交互技术,允许用户利用自身的内在感觉和认知技能,使用多个交互通道,以并行、非精确方式与计算机系统进行交互,旨在提高人机交互的自然性和高效性。多通道概念 1通道2通道和模式3多通道、多媒体与虚拟现实4通道整合 多通道用户界面的特点(1)交互自然性(2)交互高效性(3)吸取已有人机交互技术的成果 多通道用户界面的主要研究内容 2界面模型及描述方法1认知心理学3软件结构 4多通道整合5多通道的错误纠正机制多通道用户界面评价 1互补性2指派性3等效性4冗余性 多通道用户界面的应
7、用 1办公自动化2网络通信服务3电话信息应用4计算机辅助教育和远程教育5计算机辅助设计三维人机交互技术 三维人机交互技术与传统的WIMP(Window,Icon,Menu,Pointer,窗口、图标、菜单和指点装置)图形交互技术不同。它采用六自由度输入设备。所谓六自由度,指X、Y、Z轴平移和绕X、Y、Z轴旋转,而现在流行的用于桌面的交互设备,如鼠标、轨迹球、触摸屏等只有两个自由度(沿平面X、Y轴平移)。由于自由度的增加,使三维交互的复杂性大大提高。另外,窗口、菜单、图标和传统的二维光标在三维交互环境中会破坏空间感,同时也使得交互过程非常不自然。三维交互设备(1)浮动鼠标(Flying Mous
8、e)(2)数据手套(Data Glove)(3)手持式操作器(Wand)(4)力矩球(Space Ball,也叫空间球)三维交互方式1直接操作2三维widgets 二维图形界面中用户通过鼠标在二维图形中进行直接操作,一个由六自由度的三维输入装置控制的三维光标可以进行三维交互操作。三维光标存在于三维空间中,需要解决新问题有:三维光标必须有深度感,必须确定光标在三维空间的方向。三维交互设备在用户界面中应该有统一的表示形式。三维widgets 是从X-Windows中的widgets(如菜单、按钮等)概念引申而来的,用户可以通过直接控制它们使画面或画面中的三维对象发生改变,这就好像工人拿着螺丝刀拧螺
9、丝一样。现有的一些widgets包括在三维空间中漂浮的菜单、用于点取物体的手形图标、平移和旋转的指示器、透视墙等。人机交互中的视线跟踪技术 由于视线跟踪技术可能代替键盘输入、鼠标移动的功能,可能达到“所视即所得(What you look at is what you get)”,在早期就引起心理学家、交互技术专家的关注。1视线运动的特点2视线跟踪技术3视线跟踪技术的应用4多通道用户界面中的视线跟踪技术视线运动的特点 视线(Visual Line)反映人的注意方向,这是将其用作计算机输入的前提。视线运动通常表现为点到点的跳跃式扫描(saccade),而并非平滑移动(这只在追踪运动物体时才会发生
10、)。例如,阅读是人眼在一行中通常包含47个跳跃定位的动作,注视一般持续200600ms,只是我们通常并未在意。但是我们的眼球为看清物体总是需要不停的眼动而不是突然的扫视。因此,利用视线进行书写和画图这样精细的动作是不可行的,换言之,我们不能利用眼动产生的轨迹。另一类眼动如眼球颤(Nystagmus)、会聚(Convergence)和扭转(Torsionalrotation)对人机对话也没有显著意义。视线跟踪技术 视线跟踪技术及装置有强迫(Intrusiveness)与非强迫(Nonintrusiveness)、穿戴与非穿戴式、接触与非接触(Remote)之分。视线跟踪技术的应用 实现跟踪技术早
11、期主要应用于心理学研究(如阅读研究)、助残等领域,后来被应用于图像压缩及人机交换技术。从理论上说,由于几乎所有的人机交互形式都离不开视觉介入,因此,当用户凝视其感兴趣的目标时,如果系统能“自动”将光标置于其上或触发必要的动作,则比利用鼠标器等间接指点设备甚至触屏这样的直接指点设备更为直接。2008年北京残奥会期间就展示了大量的这种产品。另一方面,将视线应用于人机交互的基本出发点是希望将它作为一种“更为直接”的直接指点设备,以及代替或部分代替鼠标器(目前的主流交互设备)的功能。但这必须克服所谓的“米达斯接触”(Midas Touch)问题。多通道用户界面中的视线跟踪技术 在多通道用户界面研究中,
12、将视线输入作为一个辅助通道加以利用,可充分发挥视觉与语言的互补作用。研究者认为,视线跟踪技术固有的不精确性与视线的随意性使其不宜作为精确输入,而作为附加约束信息则有重要价值。多通道用户界面可以将视线输入作为一种自然的、辅助的交互通道加以利用,从视线输入给出“兴趣区域”(Area Of Interest,AOI)约束,再利用语音或手动输入进一步加以约束,从而达到“精确输入”的目的。基于手势的人机交互技术 手势是人或者手和臂结合所产生的各种姿态和动作,它包括静态手势(指姿态,单个手性)和动态手势(指动作,由一系列姿态组成)。近年来,手势逐渐成为人机界面中一种新颖的交互手段,研究手势识别的主要目的就
13、是把手势这种既自然又直观的交流方式引入人机接口中,实现更符合人类行为习惯的人机接口。此外,手势识别还可以用于虚拟现实、三维设计、临场感、可视化、医学研究、手语理解等领域,手势识别问题的解决方法对于表情识别、唇读、步态识别、临空纹理、视觉导航、图像拼接和基于内容的视频检索等研究都有直接推广的意义。因此手势的识别是一个多学科交叉的、富于挑战性的研究课题。基于视觉的手势识别流程 手势建模 手势建模问题是直接影响到人机交互接口性能好坏的关键,而手势模型的建立很大程度上要依赖于人机界面环境的应用意图。目前手势建模的方法大致可归为两大类:基于表现的手势建模和基于3D模型的手势建模。手势分析 手势本身具有丰
14、富的形变、运动以及纹理特征。手势分析阶段的任务就是估计选定的手势模型的参数。分析阶段一般由特征检测和参数估计两个串行任务组成。手势分析中的最后一个阶段便是估计模型参数,在手势识别系统中,识别工作一般跟随在这一过程之后,而在手臂的跟踪系统中,通常计算完模型参数便能得到最终输出结果。手势识别 手势识别就是把模型参数空间的轨迹(或点)分类到该空间里某个子集的过程。静态手势对应着模型参数空间里的一个点,而动态手势则对应着模型参数空间里的一条轨迹,因此它们的识别方法有所不同。静态手势识别算法包括基于经典参数聚类技术的识别和基于非线性聚类技术的识别。动态手势涉及时间及空间上下文,绝大多数动态手势被建模为参
15、数空间里的一条轨迹,不同用户做手势时存在的速率差异、熟练程度会在轨迹的时间轴上引起非线性波动,如何消除这些非线性波动是动态手势识别技术必须克服的一个重要问题。考虑到对时间轴的不同处理,现有的动态手势识别技术可以分为两类:基于隐马尔可夫模型(Hidden Markov Model,HMM)的识别,基于动态时间规整(Dynamic Time Warping,DTW)的识别。视频点播和交互电视 视频点播与交互电视的概念 视频点播与交互电视的结构 用户接入网技术 视频点播的应用 视频点播与交互电视的概念 VOD能根据用户的需要播放相应的视频节目,实现了交互式视频点播,从根本上改变了用户过去被动式看电视
16、的不足。打开电视,可以不看广告,不为某个节目赶时间,随时直接点播希望收看的内容,就好像播放刚刚放进自己家里录像机或 VCD机中的一部新片子,但是又不需要购买录像带或者VCD盘,也不需要录像机或者VCD机。视频点播的出现改变了人们的生活和学习方式,影响着人们的未来,是近年来网络多媒体重点研究的应用领域。视频点播与交互电视系统(1)视频服务 所谓视频服务,就是用户可以根据需要,主动选择所需视频信息,并可以控制相关视频信息传输过程的有偿服务。视频服务允许用户通过电视机遥控器或计算机在屏幕上选择各种功能菜单,选择播放各种用户感兴趣的节目。对于一部放映的电影或电视剧,用户既可以选择开始播放的节点,也可以
17、随时改变播放的进程。(2)视频点播与交互式电视 从提供视频服务方面来看,电信部门和广电部门既是合作者,又是竞争对手,这种竞争局面造成了视频服务系统从名称上有两种称呼,一种称做视频点播(Video On Demand,VOD),另一种称做交互式电视(Interactive TV,ITV)。视频点播和交互电视称呼的区别1)交互式电视系统的用户终端是普通电视机和机顶盒,视频点播系统用户终端可以是计算机系统,也可以是电视机和机顶盒系统。2)基于计算机的视频点播系统具有较强的交互性,更丰富的媒体形式以及更强大的查询检索能力。3)交互式电视系统强调用户端,视频点播系统强调系统服务端。4)广电部门还必须对原
展开阅读全文