虚拟现实与增强现实技术概论课件第12章增强现实技术.pptx

1、导学导学一、学习目标一、学习目标1.了解增强现实技术应用领域及未来发展趋势。2.了解增强现实的开发工具。3.掌握增强现实技术的概念、特点及核心技术。4.掌握移动增强现实技术的定义、特点。二、重点、难点二、重点、难点重点：1.增强现实技术的定义、特点；2.增强现实技术与虚拟现实技术的联系与区别；3.移动增强现实的概念、特点。难点：1.增强现实三种核心技术；2.增强现实系统的结构。感受AR 感受AR 感受AR 12.1 增强现实技术概述增强现实技术概述一、增强现实技术 增强现实（Augmented Reality，简称AR），是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技

2、术，这种技术的目标是在屏幕上把虚拟世界合成到现实世界并进行互动。增强现实应用于图书上色说明：手和画笔以及图书是现实世界中的真实对象，小象是虚拟的对象；通过平板电脑，可以看到真实的场景，也能看到虚拟的立体小象，看到的是虚实共存的场景。12.1 增强现实技术概述增强现实技术概述一、增强现实技术 混合现实（Mixed Reality，简称MR）是虚拟现实技术的进一步发展，该技术包括了增强现实和增强虚拟，指的是介于真实世界和虚拟环境之间的一种新的可视化环境。增强虚拟是指在虚拟三维场景中叠加现实场景信息，以增强计算机对于环境的认知能力，以虚拟场景为主，现实场景作为补充。真实世界混合现实（MR）增强现实（

3、AR）增强虚拟虚拟环境人12.1 增强现实技术概述增强现实技术概述一、增强现实技术 AR的三个特征：虚实结合、实时交互、三维注册。（1）虚实结合 虚实结合是指在现实环境中加入虚拟对象，可以把计算机产生的虚拟对象与用户所处的真实环境融合，做到虚中有实，实中有虚。“虚”是指用于增强的信息，可以是指虚拟的对象，可以指真实物体的非几何信息，如标注信息、提示等。AR增强的建筑物的标注信息和提示虚拟试衣间增强的虚拟对象12.1 增强现实技术概述增强现实技术概述一、增强现实技术（2）实时交互 实时交互是指实现用户与真实世界中的虚拟信息间的自然交互。实时是指不管用户身处何地，都能迅速识别现实世界的事物，并在设

4、备中合成，通过传感技术将可视化信息反馈给用户。举例：宜家借助AR使得家居数字化。消费者借助AR技术将虚拟家具呈现在家中，通过观察大小、颜色是否合适，决定摆放位置和是否购买。12.1 增强现实技术概述增强现实技术概述一、增强现实技术（3）三维注册 AR中的三维注册是指将计算机产生的虚拟物体与用户的真实场景全方位的对准。在VR中，注册是指呈现给用户的虚拟环境与用户的各种感官匹配。AR系统实时检测用户头部位置和方向，根据这些信息确定所要添加虚拟信息在真实坐标中的位置，使得用户眼前真实景象和虚拟景象保持同步。例如，宜家家居的应用。当人的位置变化时，虚拟的桌椅、沙发也能够出现在人周围合适的位置，而非不相

5、匹配。12.1 增强现实技术概述增强现实技术概述一、增强现实技术 VR与AR特征对比VRAR沉浸感（完全虚拟）虚实结合交互性实时交互想象力三维注册注意:1.VR看到的场景和人物全是虚拟的，是把人的意识带入虚拟的世界。2.AR看到的场景和人物一部分是真实，一部分是虚拟，是把虚拟的信息带入到现实世界中。12.1 增强现实技术概述增强现实技术概述一、增强现实技术 VR与AR特征对比AR增强的虚拟建筑信息VR营造封闭的虚拟的世界12.1 增强现实技术概述增强现实技术概述 二、AR系统的基本结构（1）场景采集系统采集真实场景，并传送给虚实合成系统。（2）头部跟踪系统实时跟踪头部方向和位置信息，并将信息传

6、给虚拟场景发生器。（3）虚拟场景发生器根据这些数据确定虚拟对象在真实场景中应呈现的大小、方向和位置。（4）虚拟图像以及在真实场景图像中的位置信息传送给虚实合成系统；（5）经过虚实合成系统合成带有增强信息的虚实融合场景，显示在显示系统上。12.1 增强现实技术概述增强现实技术概述二、AR系统的基本结构设计开发一个AR系统基本步骤：获取真实场景的信息，如外界环境的视频、图像等。对真实场景和相机位置信息进行比对分析。如用户头部方位、视线方向等位置姿态，相机的位置和坐标等信息。生成要增加的虚拟景物，如虚拟的物体或者虚拟的信息等。虚拟信息在真实环境中显示出来。12.1 增强现实技术概述增强现实技术概述三

7、、AR与VR的联系与区别AR与与VR的相同点的相同点 1.都需要计算机生成相应的虚拟信息 2.都需要用户使用显示设备 3.都需要与虚拟信息进行实时交互AR与与VR的不同点的不同点1.用户对沉浸感要求不同2.对注册的意义和精度要求不同3.对于系统计算能力要求不同4.侧重的应用领域不同12.1 增强现实技术概述增强现实技术概述三、AR与VR的联系与区别相比于VR，AR由于技术难度大（尤其光学部分），硬件要求高，目前产品种类不多，价格昂贵，没有形成大规模量产。移动式移动式VR眼镜眼镜VR头盔与一体机头盔与一体机AR眼镜眼镜产品技术产品技术含量含量技术含量低技术含量高技术含量非常高对硬件性对硬件性能的

8、要求能的要求对硬件性能的要求较低，主流智能手机配置即可对硬件性能要求很多，以高端配置的PC主机为主，GPU要求很高对硬件性能要求很高，尤其是光学投影与图像处理部分，高端的CPU与GPU，同时需保证硬件的小巧轻便市场产品市场产品种类数量种类数量产品种类多，数量庞大产品种类一般，数量稍大产品种类极少，数量极少价格价格售价偏低（50-200美金）售价偏高（400-800美金）价格及其昂贵（1000-3000美金，大部分还处于开发阶段）代表产品代表产品三星GearVR、暴风魔镜、乐视VROculus Rift、HTC Vive、索尼PS VR微软HoloLens、Meta眼镜12.1 增强现实技术概述

9、增强现实技术概述四、全球AR四大明星1.微软HoloLens2.Magic Leap3.Meta4.以色列Lumus12.1 增强现实技术概述增强现实技术概述四、全球AR四大明星-微软HoloLensHoloLens全息眼镜由Microsoft公司于2015年1月22日发布，2016年3月发布消费者版本，价格为3000美元。HoloLens的功能定位是通过AR技术使得用户拥有良好的交互体验。HoloLens模拟游戏HoloLens辅助3D建模12.1 增强现实技术概述增强现实技术概述四、全球AR四大明星-微软HoloLens对HoloLens进行拆解，其主要硬件是：全息处理单元、光学投影系统（

10、微投影仪+光导透明全息透镜）、摄像头与传感器部分、存储部分、其他部件（耳机+麦克风+电池+结构件等）。12.1 增强现实技术概述增强现实技术概述四、全球AR四大明星-Magic LeapMagic Leap于2011年在美国成立，是一个类似微软HoloLens的增强 现实平台，主要研发方向就是将三维图像投射到人的视野中，采用技术难度极大的光场技术。Magic Leap采用光导纤维技术和光场技术Magic Leap演示巨鲸从篮球场跃出12.1 增强现实技术概述增强现实技术概述四、全球AR四大明星-MetaMeta采用独特的技术，可以使用户通过双手控制3D内容，自己就成为 操作系统。其目标是让用户

11、和虚拟物体之间的互动成为真实世界体验的 一个无缝扩展，建立一个比Macintosh容易使用100倍的操作系统。Meta官网12.1 增强现实技术概述增强现实技术概述四、全球AR四大明星-以色列Lumus2016年5月，Lumus宣布获得来自盛大投资和水晶光电的1500万美元B轮融资。公司主要技术之一是波导光学元件，将画面投射到特殊透明屏幕上的技术。Lumus核心技术为波导光投影Lumus发布的AR眼镜设计图12.2 增强现实核心技术增强现实核心技术AR核心技术有三种：显示技术、三维注册技术、标定技术。12.2.1 显示技术 增强现实的显示技术分三类：头盔显示器显示、手持显示器显示、投影显示器显

12、示。（1）头盔显示器（HMD）头盔显示器分为视频透视式显示器和光学透视式显示器两种。AR中的HMD与VR中的HMD不同。VR中的HMD将现实世界隔离，只能看到虚拟世界中的信息。AR中的HMD将现实世界和虚拟信息两个通道的画面重叠显示给用户。12.2 增强现实核心技术增强现实核心技术12.2.1 显示技术 (a)视频透视式显示器 由安装在用户头盔上的摄像机摄取真实世界的图像，计算机通过对这些图像进行计算处理，将要添加的图像信号叠加在视频信号上，通过视频图像叠加器实现虚拟场景和真实场景的融合，最后显示给用户。(b)光学透视式显示器 用户借助光学融合器部分透明，部分折射的原理完成虚实场景的融合，半透

13、明可以直接透过融合期看到真实世界，半反射可以反射来自上方的显示器显示场景生成器生成的虚拟图像。12.2 增强现实核心技术增强现实核心技术12.2.1 显示技术 (b)光学透视式显示器 光学投影主要原理方案：Stereoscopic（立体光，技术难度较大，相对成熟）和Light Field（光场，技术难度很大，实验阶段）。HoloLens采用立体光技术Magic Leap采用光场技术视网膜中央凹投影仪融合器场景对象光源图像照相机12.2 增强现实核心技术增强现实核心技术12.2.1 显示技术 （2）手持显示器 常用手持式显示器设备包括智能手机、PDA等。手持显示器易于携带，避免了佩戴头盔的不适感

14、。（3）投影式显示 投影式显示是由计算机生成的虚拟信息直接投影到真实场景上进行增强。手持式显示器投影式显示器12.2 增强现实核心技术增强现实核心技术12.2.2 三维注册技术为了实现虚拟信息和真实环境的无缝结合，必须将虚拟信息显示在现实世界的正确位置，这个定位的过程就是注册。注册注册（1）实时检测用户头部佩戴摄像头的位置和用户视线的方向。（2）根据检测信息计算出虚拟信息在投影平面中所在的位置。（3）将这些信息显示在用户视野的正确位置。注册的任注册的任务务AR中的注册技术实质上就是跟踪和定位技术。12.2 增强现实核心技术增强现实核心技术12.2.2 三维注册技术衡量一个AR系统注册技术的性能

15、指标有：（1）精度（2）分辨率（3）响应时间（4）鲁棒性（5）跟踪范围 AR系统应该具有高精度、高分辨率、延迟小、跟踪范围大，鲁棒性好等特性。性能指性能指标标 12.2 增强现实核心技术增强现实核心技术12.2.2 三维注册技术 分分类类基于视觉注册方法因其设备简单、成本低廉、通用性强的特点应用最为普遍。12.2 增强现实核心技术增强现实核心技术12.2.3 标定技术标定技术是确定摄像机的光学参数、几何参数、摄像机相对于世界坐标系的方位以及与世界坐标系的坐标转换。标标定的概念定的概念世界坐标系（在视觉中的定义）世界坐标系（在视觉中的定义）由于摄像机可安放在环境中的任意位置，在环境中选择一个基准

16、坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。标定技术涉及各个坐标系12.2 增强现实核心技术增强现实核心技术12.2.3 标定技术标定的任务就是确定各系统相对真实世界的坐标系变换的关系。虚实匹配的关键要确定虚拟对象的每个点在真实场景的投影坐标，核心工作就是确定个坐标系之间的转换关系。标标定的任定的任务务注释：注释：涉及变换的坐标系：摄像机坐标系、世界坐标系、图像坐标系标定技术涉及各个坐标系12.3 移动增强现实技术移动增强现实技术12.3.1 移动增强现实 移动增强现实（Mobil Augemented Reality，简称MAR）：增强现实技术在移动设备

17、终端（如平板电脑、手机等）上的应用。如虚拟手表的试戴，当用手机（含AR相应的软件）对准手腕时，可以选择喜欢的手表的款式，进行试戴，观察试戴效果，已决定是否购买。虚拟手表的试戴12.3 移动增强现实技术移动增强现实技术12.3.1 移动增强现实传统AR与移动AR的特征对比传统增强现实移动增强现实虚实结合虚实结合实时交互实时交互三维注册三维注册移动性差自由、灵活专业设备普通移动终端专业开发网络APP下载使用时间特定随时使用使用地点是实验室随地使用12.3 移动增强现实技术移动增强现实技术12.3.2 移动增强现实体系架构移动终端通过摄像头获取真实场景视频信息无线网络设备将获取的视频信息传送给服务器

18、服务器根据接收到的真实场景信息，实现三维注册，根据注册结果计算虚拟对象模型的渲染参数无线网络将渲染参数传送给移动终端设备移动终端根据渲染参数进行虚拟场景的渲染绘制，并叠加到真实场景中将增强后的场景图像信息以可视化形式显示在移动终端12.4 增强现实的开发工具增强现实的开发工具 AR不是通过摄像头拍摄产生的，准确的说，AR的应用调用了摄像头。AR的开发软件有很多，如Unity 3D、Flash、C+等。此外，AR的开发还需要借助专门的SDK（软件开发包）。常用的AR系统开发工具包有ARToolKit、Vuforia、Opencv等。12.4 增强现实的开发工具增强现实的开发工具12.4.1 Ar

19、tookit简介 ARToolKit是一套基于C语言的增强现实系统开发包。主要特点是基于标识物的视频检测。摄像机初始化后，通过识别标识物，将识别后的结果与标识物模板进行匹配，计算其位置姿态，将模板库中的虚拟对象“放置”在现实场景中合适准确的位置上。基于ARToolKit标识物下开发的AR应用12.4 增强现实的开发工具增强现实的开发工具12.4.2 Vuforia简介 Vuforia是一款专门针对移动设备的增强现实软件开发包。具有跨平台特点，并且支持iOS和Android，此外还支持Unity3D扩展插件。开发者可以使用当今主流的移动游戏引擎Unity3D来实现跨平台开发。Vuforia SD

20、K在手机设备上运行下载SDK开发包，导入对应操作系统的资源包，并设置各个属性，如要识别的背景图片和对应三维模型等，当用手机摄像头对准预设图片时，能看到对应立体模型效果。12.5 增强现实的主要应用领域增强现实的主要应用领域 增强现实技术的主要应用领域包括娱乐游戏领域、军事领域、教育领域、医疗领域、电子商务领域、HUD领域、产品装配领域等。军事领域：军事领域：军队可以利用AR技术，创造出虚拟坐标以及所在地点的地理数据，帮助士兵进行方位的识别，获得实时所在地点的地理数据等重要军事数据。娱乐游戏领域：娱乐游戏领域：AR游戏可以让位于不同地点的玩家，结合GPS和陀螺仪，以真实世界为游戏背景，加入虚拟元

21、素，使游戏虚实结合。12.5 增强现实的主要应用领域增强现实的主要应用领域医疗领域：医疗领域：医生可以利用AR技术，在患者需要手术部位创造虚拟坐标，进行手术部位的精确定位。教育领域：教育领域：AR可以将静态的文字、图片读物立体化，增加阅读的互动性、趣味性。产品装配领域：产品装配领域：通过头戴显示器将多种辅助信息显示给用户，包括虚拟仪表的面板、设备的内部结构、设备零件图等。12.5 增强现实的主要应用领域增强现实的主要应用领域HUD领域：领域：平视显示器简称HUD，是目前普遍运用在航空器上的飞行辅助仪器，利用光学投影的原理，将重要的飞 行相关资讯投射在一片玻璃上面。HUD是一种AR技术，目前部分

22、高端车型开始配备。HUD应用在航空领域HUD应用在高端车领域HUD能够在挡风玻璃或者中控台上方的投影屏上投影车速、导航信息等图像，通过与现实路况叠加辅助驾驶员驾驶车辆。12.6 增强现实技术未来发展趋势增强现实技术未来发展趋势 增强现实技术将会是未来的发展方向 增强现实技术将会是计算机发展的最终形式。12.6 增强现实技术未来发展趋势增强现实技术未来发展趋势AR将成为展示展将成为展示展览的趋势览的趋势AR促使智能汽促使智能汽车走进现实车走进现实AR让游戏拉近让游戏拉近现实现实AR成为医生的辅助工具成为医生的辅助工具由东京水族馆开发，通过定位，可以制作出虚拟导游企鹅模型，目的是对游客路线进行引导。增强驾驶利用图形识别技术和GPS定位，可以在屏幕上动态标注锁定路况移动物体，辅助驾驶。Pokmon是一款对现实世界中出现的精灵进行探索捕捉、战斗以及交换的游戏。AR技术将逐渐作为一种可视化的手术辅助工具，协助医生更好的完成手术。本章小结 本章介绍了AR技术的定义、特点以及三种核心技术，将AR和VR做了比较分析。并介绍了移动AR的概念与特点，此外还介绍了AR系统的开发工具、AR的应用领域和未来发展趋势。