从增强现实到混合现实介绍培训课件(-24张).ppt

1、从增强现实到混合现实介绍摘 要:自20世纪中叶以来，信息科技出现了一种令人瞩目的趋势，即由虚拟现实、增强现实到混合现实的发展。虚拟现实立足于“妙造自然”，将用户引导到具备交互性、沉浸性与想象性的虚拟世界；增强现实把改进物理世界的呈现当成重点，力求用户通过引进数据层加深对现实的理解；混合现实则试图将现实世界与虚拟世界统一起来，让人们把握多样现实并存、交叠、互动的时代特征。这三种信息科技都对新媒体艺术产生了巨大影响，并且被运用于数字娱乐产业，蕴育着巨大的商机，也都是理论创新的切入点。关键词：艺术信息科技新媒体作者简介：黄鸣奋（1952），男，福建南安人，厦门大学人文学院中文系教授，博导，研究方向为

2、古典文论、文艺心理学、数码文化。在人类历史上，曾经有过幻想和现实不分的原始时代。由于生产力有所发展、思维能力渐趋发达，加上文字发明并付诸应用的等原因，人类迈进了文明时代的门槛，能够将幻想和现实区分开来，基于幻想的艺术与基于现实的科技相应产生分化。在一定意义上可以说：艺术起源于模仿，科技起源于模拟。模仿重视再现现实原型的形象特征（“妙造自然”），模拟则重视现实过程的功能特征。当然，艺术和科技所起的作用不只是模仿和模拟。艺术不仅模仿现实，而且通过幻想超越现实、批判现实；科技不仅模拟现实，而且引导人们通过实践改造现实。艺术和科技不仅独立发展，而且彼此渗透，以此为基础，产生了科幻作品和虚拟现实。科幻作

3、品起步19世纪，是艺术想象的产物，同时又包含了对科学原理的某种理解及对科学发展的某种预测；虚拟现实是科技发明的产物，同时又包含了对艺术想象的某种支持及对艺术活动的某种引导。如今，科技的发展已经出现了从虚拟现实、增强现实走向混合现实的趋势，艺术的发展也产生了由科幻作品、主题公园走向数字娱乐的倾向。二者在一定意义上彼此支持、交互为用。一、虚拟现实及其艺术应用人们对虚拟现实的本质持不同观点。根据海姆的概括，先驱者向我们展示了至少7种不同的概念，即模拟性、交互作用、人工性、沉浸性、遥在、全身沉浸、网络通信。1海姆本人认为：虚拟现实是一种基于可计算信息的沉浸性、交互性系统。这些被定义的特性浓缩为虚拟现实

4、的“3I”：沉浸、交互性、信息强度。2目前最有影响的概括出自比迪亚（G.Burdea）和夸费特（P.Coiffet）虚拟现实技术（1994）一书。它同样可以缩写为3I，但所代表的是沉浸性（Immersion）、交互性（Interaction）和想象性（Imagination）。3虚拟现实是允许用户与计算机仿真互动的技术，可分为强制性与非强制性两类。前者使用拉尼尔（Jaron Lanier）等人率先开发的数据手套（1983）操纵计算机仿真的三维空间内的物体，通过头盔显示器以观察虚拟现实景象。后者以克鲁格（Myron Krueger）所建立的“人工现实”（artificial reality）系统

5、为早期代表，将参与者的半身像显示在投影电视屏幕上，由计算机不断分析参与者的动作并随时响应。前者给用户处身在虚拟环境中的直接体验，后者则让用户看到自己的动作在屏幕上的投影。目前多数虚拟现实环境主要是视觉体验，在计算机屏幕上显示，或通过专门的立体装置显示出来，但某些仿真包括附加的传感信息，如通过音箱或耳机传来的声音信息等。某些高级的系统包括触觉信息，即力量反馈。虚拟现实的用途主要有两种：一种着眼于军事、医疗、教育等方面的价值，具备实用性。另一种着眼于艺术创造，追求令人消魂荡魄的彼岸世界。与新媒体艺术有关主要是后者。克鲁格对艺术感兴趣，和一个文艺家小组联手进行开发（1969）。他认为“虚拟现实”一词

6、包含了某种悖论而不愿加以使用，宁可使用“人工现实”一词。他以之为题出版专著介绍自己所开发的系统。在该书1991年修订版的前言中，克鲁格写道：“人工现实从身体与仿真世界的关系感知人的行动。然后它生成视域、音响和使参与这一世界的幻象变得可信的其他感觉。”4美国艺术家伊姆1977年就在美国航空航天局的喷气推进实验室创作出可航行的虚拟世界。1987年以来，雷尼（Mark Reaney）也在堪萨斯大学进行了将计算机技术应用于戏剧的实验。5艺术家杰弗里肖1989年推出了可读之城（The Legible City），让观众骑上一辆底座固定的自行车，通过装有传感器的踏板驱动三维动画绘图系统，获得游览曼哈顿的效

7、果。加拿大艺术家戴维斯（Char Davies）利用头盔和动作跟踪背心创造了沉浸性的虚拟现实作品渗透（Osmose，1995）。在法国波尔多一大（Universit Bordeaux 1），阿谢（Martin Hachet）让戏剧小丑运用虚拟现实进行实验性表演，上映了小丑与观众到一个城市旅行、探索神秘星球的场景。为此，阿谢等人找到了生成虚拟环境并与之互动的软件与硬件解决办法。6人们将虚拟现实用于文化遗产保护。这种技术使人们得以极端准确地重建包括洞穴、城市、纪念碑等在内的各种历史景观（即使它们已经不复存在），并通过不同媒体对这些重建物加以传播。早在1994年，大英博物馆就出现了由计算机控制的激光

8、系统组成的达德利城堡（Dudley Castle），设计者是英国工程师约翰逊（Colin Johnson）。它对英国1550年的达德利城堡加以仿真，让访客可以像在真实环境那样步行于其间。类似的项目还有西班牙北部Santimamie洞穴复制项目等。具体做法是通过三维激光扫描及照相测量法来收集特定地区数据，对这些数据进行处理并生成虚拟模型，开发相关系统，再加以安装。媒体艺术家桑丁、工程师德凡蒂等人开发的洞穴自动仿真环境（CAVE，1991）在虚拟现实研究领域享有盛名。这种虚拟环境将计算机生成的交互性想象与物理空间的三维音响结合起来，无须应用头盔显示、数据手套，就能使用户悬置对虚拟现实的怀疑。CAV

9、E的界面是一个大约3立方米的小房间。用户进入房间之后，发现自己被三面墙和地板上无缝合成的投射影像所包围。很像是步入了虚拟戏剧的舞台。他们戴着立体成像、嵌入头戴追踪技术的眼镜，使用一根“魔棍”，以手腕的精致运动操纵实时图像。环绕立体声强化了虚拟现实的效果。又如，伊利诺斯大学芝加哥分校菲斯诺尔（Franz Fischnaller）开发的“城市丛”（CityCluster，2003）是一个虚拟现实联网矩阵，具备创新性、交互性与可航行性。在其间，现实城市与想象城市可以并存，并通过一个共同的、由高速网络联接的虚拟领土相互联系，让远程参与者得以在共享环境中互动与合作。在展出时，位于芝加哥分校电子视觉化实验

10、室的CAVE显示系统与位于意大利佛罗伦萨市政厅的AGAVE显示系统通过高速网络彼此联结，两地用户可以通过由此形成的共同空间中的虚拟化身互动，戴上实体镜就可看到三维景象，使用配有操纵杆和三个按键的棍状追踪设备就能穿过虚拟空间并操作虚拟物体。他们甚至还可以通过网络实时地交换虚拟物体与建筑，以创造新的虚拟城市。佛罗伦萨代表“文艺复兴时代”，芝加哥代表“吉比特时代”（Gigabits），这一作品因此被赋予历史的、文化的涵义。二、增强现实及其艺术应用增强现实（augmented reality）是一种同时包括虚拟世界和真实世界之要素的环境。它的出现与下述科技进步密切相关：一是计算机图形图像技术。增强现实

11、的用户可以戴上透明的护目镜，透过它看到整个世界，连同计算机生成而投射到这一世界表面的图像，从而使物理世界的景象超出用户的日常经验之外。这种增强的信息可以是在真实环境中与之共存的虚拟物体，也可以是实际存在的物体的非几何信息。二是空间定位技术。为了改善效果，增强现实所投射的图像必须在空间定位上与用户相关。当用户转动或移动头部时，视野变动，计算机产生的增强信息随之做相应的变化。这是依靠三维环境注册系统实现的。这种系统实时检测用户头部位置和视线方向，为计算机提供添加虚拟信息在投影平面中映射位置的依据，并将这些信息实时显示在荧光屏的正确位置。三是人文智能（Humanistic Intelligence）

12、。人文智能以将处理设备和人的身心能力结合起来为特点。它并非仿真人的智能，而是试图发挥传感器、可穿戴计算机等技术的优势，使人们能够捕获自己的日常经历、记忆所见所闻，并与他人进行更有效的交流。在这一意义上，它是人的身心的扩展。作为智能，它基于用户在计算过程中的反馈，并不要求有意识的思考与努力。目前，国外从事增强现实研究的高校有美国哥伦比亚大学、麻省理工学院、北卡罗来纳大学、华盛顿大学，英国剑桥大学，日本东京大学、庆应大学，澳大利亚南澳大学等；企业有德国西门子公司、美国施乐公司、日本索尼公司等。国内北京理工大学、国防科技大学、西安石油学院、电子科技大学、华中科技大学、上海大学等机构亦已开展这方面的研

13、究。曼洛维奇对增强现实给出如下定义：“将动态的、背景专门化的信息加在用户的视觉域之上”。7费尔尼与理查兹将增强现实理解为虚拟现实的一种类型。特点是通过将图像信息强加在现实世界之上而造成二者的结合。8我们不妨将增强现实看成虚拟现实发展的新阶段。它借助计算机图形图像与可视化技术产生虚拟对象，并通过传感技术将它们准确地“放置”于真实环境中，使之借助显示设备与真实环境融为一体。增强现实具有以下特点：一是虚实结合。它可以将显示器屏幕扩展到真实环境，使计算机窗口与图标叠映于现实对象，由眼睛凝视或手势指点进行操作；让三维物体在用户的全景视野中根据当前任务或需要交互地改变其形状和外观；对于现实目标通过叠加虚拟

14、景象产生类似于X光透视的增强效果；将地图信息直接插入现实景观以引导驾驶员的行动；通过虚拟窗口调看室外景象、使墙壁仿佛变得透明。二是实时交互。它使交互从精确的位置扩展到整个环境，从简单的人面对屏幕交流发展到将自己融合于周围的空间与对象中。运用信息系统不再是自觉而有意的独立行动，而是和人们的当前活动自然而然地成为一体。交互性系统不再是具备明确的位置，而是扩展到整个环境。三是三维注册，即根据用户在三维空间的运动调整计算机产生的增强信息。增强现实可根据所应用的范围分为户内型与户外型。户内型增强现实从广义上说包括各种将数据层覆盖于建筑物内部物理空间的实践，为建筑师、壁画师、展览设计师和新媒体艺术家所关心

15、。例如，德国建筑师利贝斯坎得（Daniel Liberskind）在设计柏林犹太博物馆时，将显示二次大战前该馆现址附近犹太人居住点的地图投射到建筑表面上，使数据空间物质化，变成重新塑造物理空间的力量。又如，加拿大艺术家加迪夫（Janet Cardiff）引导观众在物理空间中遵循她由便携式CD播放器或摄像机所传达的指令（如“下楼梯”、“看窗口”等）而行动，变成她所设计的故事的参与者（1995）。在这一过程中，观众所处的物理空间为信息空间所增强，具备了平常所没有、为故事所赋予的含义。这一作品以“音响散步”（audio walk）著称。相对而言，狭义的户内型增强现实是在计算机技术支持下发展起来的。它

16、允许用户在现实环境中与虚拟物体交互，例如，韩国开发的增强现实游戏ARPushPush运用追踪器检测用户的运动，并通过头盔显示器为用户提供包含了虚拟景观的视野。北京理工大学开发的增强现实海底漫游系统让用户得以使用交互体验设备和虚拟场景中的海洋生物互动、嬉戏。户外型增强现实运用GPS与定位传感器，以背包携带计算机系统，将增强现实带到户外。哥伦比亚大学开发的移动增强现实系统（Mobile Augmented Reality Systems，MARS，1996）是早期例证。它运用了三维显示系统、移动计算、无线网络等技术。其后出现的系统有南澳大学可穿戴计算机实验室开发的Id Software公司地震游戏

17、的增强现实版ARQuake（2000）等。ARQuake提供了第一人称射手，允许用户在现实世界中四处运动，同时在计算机生成的世界中玩游戏。它使用了GPS、定向传感器、肩背电脑等设备。奥地利格拉兹技术大学、维也纳技术大学等单位也在开发户外型增强现实系统。正如巴黎大学麦凯（Wendy E.Mackay）增强现实：连接现实世界与虚拟世界。与计算机交互的新模式（1993）一文所指出的，增强现实让人们能以普通方式运用自己所熟悉的日常对象，而不是键盘输入、凝神屏幕。区别是这些对象也提供通向计算机网络的链接。医生可以观察添加的医药图像，儿童可以为垒高（LEGO）玩具编程，建筑工程师可以运用普通的纸面工程画和

18、远方同事交流。不是让人们沉浸在人工创造的虚拟世界中，而是通过以丰富的数码信息与交流能力来增强物理世界中的对象。9在艺术与娱乐领域，增强现实大有用武之地。例如，它可以用来建造主题公园，开发准全息虚拟屏幕、虚拟环绕电影和各种虚实结合的娱乐项目，让计算机生成的全息形象与实况娱乐者及观众互动；为人们的生活空间添加虚拟挂钟、虚拟装饰之类新产品；开发作为参与性新媒体平台的地面互动投影、让玩家犹如置身于游戏世界的新型娱乐手柄；为各种人文景观添加相应的标签或作为注解的文本，丰富旅游观光的知识性、趣味性，等等。例如，哥伦比亚大学开发的移动增强现实系统（MARS）为校园景观提供附加的多媒体信息，以便人们了解它们的

19、历史。西班牙马德里interactivos工作室开发的增强现实魔术系统（AR Magic System）可让用户与其身边的人交换头部影像，让自己的脑袋仿佛长在另一个人的肩膀上，同时也获得了新的面孔。Sony公司PS3游戏审判之眼（Eye of Judgement）利用增强现实技术在玩家身边的真实环境中逼真地渲染出3D怪兽等游戏角色。北京理工大学王涌天教授致力于通过增强现实技术完成对于圆明园的虚拟重建，让在园中散步时戴上特殊三维眼镜的用户可以观览当年皇家园林原貌。在该校光电信息技术与颜色工程研究所等科研单位的协作下，中国军事博物馆利用增强现实技术以红四方面军一个真实故事为原型再现雪山忠魂这一感人

20、场面，让观众感受长征的震撼。它的艺术价值是不可低估的。此外，增强现实技术已经被用于医疗、军事、工业、通讯等多种领域。它可以通过图像传导使原先不可见的对象视觉化，让医生用图像引导手术（美国麻省理工学院、新加坡南洋理工大学都致力于开发帮助外科医生观察病人体内情况的增强现实系统）；可以研发和物理环境良好匹配、能由用户合作修改的交互性三维地图，供军队使用；可以为施工现场提供与特定地点相联系、包含了工程信息与指令的虚拟图景，供工人参考；可以举办有真人和虚拟人物同时参加的远程会议凡此种种，不一而足。三、混合现实及其艺术应用现代意义上的“混合现实”（mixed reality）是不同类型的现实（主要是指真实

21、现实与虚拟现实）的彼此混合，这种混合生成了物理对象与虚拟对象可以共存与互动的新环境。在一定意义上，混合现实是增强现实（augmented reality）与交互性媒体的发展。虽然相关技术直到晚近才付之应用，但混合现实可以从理念上追溯到古代神话，在技巧上继承各个时代艺术创造的经验。它不仅提供了理论研究的新课题，而且为娱乐、教育和艺术等产业开创了新天地。混合现实与虚拟现实存在明显区别。虚拟现实具备沉浸性，所追求的是尽可能将用户的五官感觉置于计算机系统的控制之下，切断他们与真实世界的联系。相比之下，混合现实则允许用户同时保持与真实世界及虚拟世界的联系，并根据自身的需要及所处情境调整上述联系。混合现实

22、的极境是真实世界和虚拟世界天衣无缝的融合，亦虚亦实，亦幻亦真。混合现实与增强现实也有所区别。增强现实指的是将动态的、背景专门化的信息加在用户的视觉域之上。它是以真实世界为本位，强调让虚拟技术服务于真实现实。相比之下，混合现实对真实世界和虚拟世界一视同仁，不论是将虚拟物体融入真实环境，或者是将真实物体融入虚拟环境，都是允许的。早在1994年，米尔格拉姆就区分了六类混合现实环境：1）基于监视器的非沉浸性视频显示；2）运用沉浸性头盔的视频显示；3）具备透视能力的头盔（可以运用半镀银的镜子光学地将计算机生成图像添加于直接观看的现实世界景象；4）具备透视能力的头盔，运用视频（而非光学）观察“外部”世界（

23、将计算机生成图像添加于直接观看的现实世界景象）；5）完全沉浸的全图像显示环境，加上视频的“现实”；6）部分沉浸的全图像显示环境（即大屏幕显示）其中用户环境中的物理对象在这一计算机生成的景象中发挥作用（如用手抓某物）。10这些混合现实环境需要多样化技术的支持。山本博之考察了混合现实系统关键技术研究的进展，如基于图像的渲染新模式、可透视头戴显示器等。他指出：运用这种系统，可以穿行于从物理世界重建的“真实赛伯空间”（realistic cyberspace），或者实现基于宽带网络的遥在。如果戴上头盔和装有设备的背包行走于户外环境，可以看到虚拟景观叠加在现实景观之上。混合现实创造了虚拟现实的新时代，将

24、技术从实验室水平提高到可用于日常生活的水平。混合现实是有前景的技术，可用于医疗福利事业、建筑与城市规划，以及教育训练。娱乐业也对它表示巨大兴趣。11(p.6467)山本博之的看法已经为实践所证明。混合现实荟萃了当代计算机仿真、网络超媒体、移动通信、可穿戴计算等多种技术，具有广泛的应用前景，对艺术创新的价值尤其显著。混合现实在艺术领域的应用，目前主要表现为将现场活动与在线交流、真实景观与新媒体技术支持的虚拟显示、物理世界的实时信号与艺术加工产生的虚拟信息结合起来。混合现实在游戏领域颇受欢迎。例如，马克斯（Richard Marks）构思了EyeToy，将这种USB摄像头连接到PS2主机，并用它来

25、玩游戏。PS2可以通过EyeToy感应玩家的影像与动作，玩家因此产生更强烈的体验。索尼计算机娱乐欧洲公司伦敦工作室（S.C.E.E.London Studio）看好这一设想，在2002年推出相应的四款游戏并取得成功，2003年又发布了与其首款实时游戏配套的硬件。混合现实技术也被应用于电视游戏，BBC的软件工具箱BAMZOOKi（2004）即为一例。人们可以从BBC网站自由下载它，建构虚拟生物ZOOKs，在实时物理仿真环境中测试它们，并提交给BBC。BBC选择某些表现出色的团队，邀请他们到工作室来，并让他们以自己开发的虚拟生物参加各种竞赛。此外，比利时南迪（Alok Nandi）等人开发了名为“

26、跨小说”（Transfiction）的混合现实系统，用于休闲与娱乐。这一系统让用户/玩家沉浸到人工的、视觉的背景中。用户看到自己的图像在屏幕上，根据脚本化于场景中的特定刺激而行动。系统对身体的运动和姿势起反应。不需要什么手套、头盔或任何物理传感器。12(p.198-207)目前，混合现实由于吸纳了全球卫星定位、移动通信等技术而更具魅力。例如，英格兰艺术委员会等单位委托诺丁汉大学混合现实实验室（Mixed Reality Lab）制作了游戏现在您能看到我吗？（Can you see me now?20012003），让用户同时在网上与街上玩。世界各地的玩家都可以在网上虚拟城市与伦敦艺术群体“冲击

27、波理论”（Blast Theory）的成员对抗。这些成员（跑步者）由卫星跟踪，在虚拟城市地图中出现于靠近玩家的地方，在街上则由手持计算机所显示的方位引导、追捕在线玩家。又如，新加坡国立大学切克（Adrian David Cheok）等人致力于利用可穿戴计算机开发普适广域多界面混合现实，让玩家得以在四处行动，和游戏空间在物理上进行交互（2002）。13(p.156)欧盟资助Art-E-Fact项目致力于为混合现实交互叙事体验开发通用平台，让艺术家得以为多个虚拟人物与一位人类参与者的交互性对话编制脚本，并自由地设计任何交互性手段和模块。基于上述平台的交互性游戏“只谈艺术”（Just Talking

28、 about Art）设计了虚拟人物，它们可以在展览会上与观众讨论艺术问题，征询访客的意见，并通过表演来提供教育性娱乐。混合现实在各个社会领域的应用，需要相应的理论指导，这对于医学、建筑学、教育学、艺术学等学科的发展都是新的契机。正是在这样的背景下，法国学者诺曼（Sally Jane Norman）提出建立“混合现实边界诗学”的主张（2003）。他认为：如何将日常环境的现实混合于为高度专门化的目的而建构的人造的观念的或物理的现实，如何说明它们各自的边界及交叠，对于许多人（包括艺术家，特别是艺术家）是关键问题。混合现实的艺术要求精巧地安排支配被紧密结合成艺术作品的不同现实的代码与修辞。14(p.

29、165-178)新加坡国立大学切克（David Cheok）等人探讨了赋形混合现实空间（embodied mixed reality space）作为交互性戏剧体验媒体的潜能。这种空间是赋形计算和混合现实技术的结合，赋形计算则是涉及普适计算、可触计算与社会计算等要素的下一代计算模式。上述结合允许人们创造嵌入数码三维对象与人物的物理环境，这些对象与人物可以通过和物理世界中的自然交互相配合的方式加以操作。物理世界、增强世界和虚拟世界的体验因此无缝交融。15(p.59-68)他们在论文混合现实教室：寓学于乐（2007）中进一步指出：混合现实使得下述新的学习模式成为可能：建构主义与得自经验的学习，社会

30、的或合作的学习，虚拟在场，沉浸，交互性。16(p.65-72)以混合现实际研展会2008年4月15日在波士顿举行，由Turbulence.org等主办。混合现实的起步与发展仅有十余年的历史，还有许多理论问题值得探讨。从开发的角度的看，有虚虚，有实实，有虚而实，有实而虚，变幻无穷。从应用的角度看，在虚拟成分与真实成分并存的情况下，用户的认知、情感和意动过程明显会产生变化。人们可能将混合现实知觉为某种格式塔，神入其中，根据设计者所提供的情境线索做出反应；也可能保持警觉的态度，力求对虚拟成分和真实成分加以区分，以防自己掉入某种心理陷阱。由于诸如此类的原因，混合现实正成为新媒体艺术界的热点。在人类思想

31、史上不乏对“虚”与“实”的探讨。我国古代文论中就可以发现这样的论述：庄子文章善用虚，以其虚而虚天下之实；太史公文章善用实，以其实而实天下之虚。文到入妙处，纯是虚中有实，实中有虚。实者虚之，虚者实之。虚处实写，实处虚写，虚虚实实，实实虚虚它们虽然不是针对今天的混合现实而言，但却给我们以这样的启发：虚与实不仅可以并存，而且可以统一。如果说人类曾经有过想象与现实不分的原始时代的话，那么，将物理空间与想象空间区分开来早就已经成为文明人的安身立命之本。与此同时，如何把这两种空间在新的基础上统一起来，又成为艺术家和科技人员孜孜不倦的追求。当今的混合现实正是这种追求的产物。蕴含在这种追求之下的动力，是人类多样化的需要，这种需要不能只靠镜花水月的幻象来搪塞，也不能只靠难以尽如人意的现实来满足。不难设想：在迅猛发展的信息科技的支持下，能够更好地适应人的需要的混合现实将走向繁荣，为艺术和社会生活开辟新天地。mj88rk8o 增强现实