虚拟演播室技术课件.ppt

1、 虚拟演播室技术虚拟演播室技术一、虚拟演播室概述一、虚拟演播室概述二、虚拟演播室系统构成二、虚拟演播室系统构成三、虚拟演播室关键技术三、虚拟演播室关键技术四、虚拟演播室运行流程四、虚拟演播室运行流程五、虚拟演播室使用注意五、虚拟演播室使用注意第1页，共47页。一、虚拟演播室概述一、虚拟演播室概述z虚拟演播室系统（The Virtual Studio System，简称VSS）是传统演播室色键抠像技术与计算机虚拟现实相结合的一种新的电视节目制作系统，主要由计算机硬件、软件、现场摄像机、摄像机跟踪器、图形图像发生器、色键器以及视/音频切换台等组成。1、虚拟演播室虚拟演播室第2页，共47页。z 传统

2、色键抠像过程：演员位于蓝色背景前，摄像机拍下前景信号(演员)并馈入色键器，然后与从录像机或者计算机输出的视频信号(背景)进行混合。特点：当摄像机位置移动或镜头推拉使前景变化时，背景不能随之变化，前景和背景互不关联，因此前景人物好象飘浮在背景上，合成画面生硬。2、与传统色键抠像区别与传统色键抠像区别第3页，共47页。z虚拟演播室技术：背景画面的变化与前景的变化同步，甚至前景人物能穿插于背景物体之中，两者紧密联系形成有机的融合，即背景图像随摄像机镜头的运动而随之相应变化。因此系统中需图形计算机与摄像机的追踪系统相连，以实时得到摄像机的瞬时位置信息。有无摄像机追踪系统和图形计算机，是传统抠像和虚拟演

3、播室的主要区别。第4页，共47页。z 虚拟演播室技术的关键：用摄像机的位置和镜头等变化来控制计算机中的“虚拟摄像机”，使它的位置和镜头变化与“实际”同步，这样它所拍摄的虚拟场景的镜头变化和实际摄像机拍摄的主持人的镜头变化一致，将他们进行色键效果处理之后，得到的画面才真实自然。第5页，共47页。3、虚拟演播室功能虚拟演播室功能z制景费用低廉、更换布景方便。虚拟演播室技术的应用使真实演播室可以变得非常简单，演播室面积无需太大，只要铺满兰幕就行，省去了复杂的搭景和灯光照明，而且换景便利、快捷，可大大缩短节目制作周期。第6页，共47页。3、虚拟演播室功能虚拟演播室功能z 便于发挥主创人员的创意。虚拟演

4、播室的背景画面可以是真实拍摄的场景，也可以是用计算机创作出的图像。节目人员可以充分发挥艺术想象力来构思场景而不受外景或搭景条件的限制，在有限的空间里实现无限的创意。第7页，共47页。z实现其他技术难以完成的特技。例如物体可以不顾重力原理而悬浮在空间、一个物体可以从另一物体中往上升、视频图像可以在任一平面上显示出来、场景可由动态物质构成、分子大小的物体能立即变成巨大的物体、以数据为基础的所有信息可作为一层视频信号实时地进入演播室等。第8页，共47页。应用举例应用举例z 英国EPO公司制作二战中被毁的一座大型教堂的建筑结构的录像。教堂尚未重建，但用超级计算机制作出教堂的立体画面，用一台虚拟的摄像机

5、从各个角度做推拉、旋转等动作拍摄。30分钟画面用了68周时间，一座宏伟的教堂便“出现”了。第9页，共47页。应用举例应用举例z虚拟采访。利用从外地传来的被采访者在蓝色幕布前的信号，先经过一次抠像再进入虚拟演播系统。通过插入的视频可将被采访者与演播室中的播音员实时结合在一个虚拟背景中，两个人物可以面对面的交谈和表演，对观众来讲就好象真的把被采访者请到了演播室中一样。第10页，共47页。z 虚拟人物表演。在真人身上各重要关节处装传感器，传感器的各组数据传到工作站中用于控制已制成的虚拟动画人物的关节活动，使它完全实时地模仿表演者的动作。第11页，共47页。z虚拟动画人物与真人同时出现在同一个虚拟背景

6、中，并相互配合，互换位置和交谈。这在已往的演播室制作过程中是无法想象的，也会给节目带来新奇感和神秘感，从而最大程度地娱乐观众。第12页，共47页。二、虚拟演播室系统构成二、虚拟演播室系统构成z虚拟演播室与传统演播室大不相同，它是以计算机三维动画“虚拟”出的场景取代道具实景为主要特征。摄像机所拍摄的现场已不是一般意义上的主持人或演员活动的地方，而是虚拟画面应用空间的组成部分，它的实际意义仅仅是其空间场地尺寸的大小。、蓝场实景现场、蓝场实景现场第13页，共47页。z现场所有布景全部由单一的蓝色所取代，以作为将来抠像的基准色。图像的前景是不同机位的摄像机拍摄到的主持人的画面素材。主持人所在的实景现场

7、的全部蓝色区域将被合成到计算机三维动画生成的虚拟场景中。第14页，共47页。z与传统的人工搭建的舞台或演播场地相比，虚拟三维场景应用于演播室可以说是演播室技术的一次革命。不仅制作成本大大降低，制作周期缩短，虚拟场景的可随意更改的特性，极大地满足了导演的创作需要。第15页，共47页。z虚拟演播室用的实景现场虽然简化成了单一的蓝色，但决不是任何东西都不需要了。如果节目中要表现主持人从楼梯上走下来，那么现场也必须设置一些涂成蓝色的几何块状物体作为“楼梯”,以便与电脑中生成的楼梯相配合。第16页，共47页。、摄像机及跟踪系统、摄像机及跟踪系统z 虚拟演播室专用摄像机数量通常为二到三个。专用摄像机区别于

8、传统摄像机，除了镜头和云台以外，均配有运动检测和识别系统，即摄像机跟踪器。第17页，共47页。z虚拟演播室能否正确判断摄像机、主持人及虚拟背景之间的相对位置关系，是实现前、背景图像完全同步联动、再现起初的透视关系的关键。摄像机跟踪系统就是用来检测和提供摄像机运动参数和演员位置参数的系统。第18页，共47页。z摄像机的运动参数包括镜头运动参数(变焦、聚焦、光圈)、机头运动参数(摇移、俯仰)以及空间位置参数(地面位置X、Y和高度Z)等。这些参数的获取对虚拟演播室系统来说是至关重要的，它会直接影响到合成图像的效果。在二维虚拟演播室中，一般只需要跟踪摄像机的镜头运动参数(变焦、聚焦)和镜头运动参数(摇

9、移、俯仰)，而在三维虚拟演播室中，还需跟踪摄像机的空间位置参数(X、Y、Z)。目前常用的摄像机跟踪系统主要有机械传感器和图形识别方式。第19页，共47页。z虚拟演播室系统配备的计算机既有基于Windows NT系统平台的PC机，也有基于Unix系统的图形工作站。它除了调用和调整事先做好的三维虚拟场景外，还负责向图形发生器传输图像数据及处理由摄像机跟踪器传来的摄像机运动数据。、计算机部分、计算机部分第20页，共47页。z图形发生器根据主机传来的摄像机运动数据实时地计算出虚拟的三维电脑场景的运动，以保证其输出的虚拟背景与真实的前景同步。有的图形发生器的运算需要数帧左右的时间，因此，摄像机拍摄的画面

10、也必须有一个同样帧数的延时，这样才能确保真实场景与虚拟场景的吻合。第21页，共47页。三、虚拟演播室关键技术三、虚拟演播室关键技术、摄像机跟踪技术、摄像机跟踪技术要使真实前景和虚拟背景之间天衣无缝地结合，摄像机追踪系统的精确度和稳定性至关重要。如果传送给图形工作站的信息没有正确地反映摄像机位置和拍摄方向等参数，前景物体看起来就像漂浮在背景上。常见的摄像机跟踪方式可分为机械传感器、图形识别、位置探测三种，代表分别是Thoma Filmtechnik的Walkfinder、Xync的X-pecto和Orad的InfraTrack。第22页，共47页。（）机械传感器（）机械传感器该方式是通过安装在摄

11、像机的云台和镜头上的传感器获取摄像机的动作参数。从液压摇摆头上的编码器得到上下左右位置参数。编码器测量摄像机上下左右运动的角度得到其位置参数，并将数据输入计算机。位置参数的确定是将摄像机安装在三角架、云台或升降臂上，由三脚架、云台或升降臂的参数决定摄像机的位置和高度。Radamec EPO公司生产专用摄像头，Orad等公司则在摄像机上安装传感器。第23页，共47页。z 利用编码器方式检测摄像机运动参数，具有处理速度快、精确度高(旋转角度可精确到0.001，移动距离可精确到0.01mm)、工作稳定等优点。缺点是每台摄像机都需配备1套跟踪系统，成本高，摄像机的种类及数量受到限制，另外摄像机在拍摄前

12、的定位和校正繁琐。第24页，共47页。（）图形识别（）图形识别图形识别方式是对通过摄像机拍摄的图像的形态识别和分析来确定摄像机的各种运动参数。要求在演播室的背景幕布上用不同色度(例如深蓝和浅蓝)绘制出特定的图案。当摄像机的运动参数发生变化时，它所拍摄到的背景图案的特征也将发生相应的变化。通过对此图案的识别、分析和运算，从而可检测出摄像机的各种运动参数，包括水平转动参数、垂直转动参数、变焦参数以及位置参数(X、Y、Z)。第25页，共47页。z目前使用较多的是网格图案（即在深蓝色的幕布上用浅蓝色绘制出特定的格子图），并且正面倾斜放置。在实际拍摄中，人物、景物连同网格图案一并被摄像机摄入，系统的数字

13、视频处理器可以利用电平差技术分离出浅蓝色网格图案，经过识别分析，并与计算机跟踪软件及硬件预先确定好的模型进行比较，从而获取摄像机的各项运动参数，然后用这些参数去控制虚拟背景生成系统，产生与前景匹配的背景。第26页，共47页。z 图形识别方式最主要的优点是免除了编码器方式繁琐的安装和调校，在拍摄过程中可以随意移动摄像机，增加了摄像师的创作自由度。另外这种方式可直接使用演播室原有的摄像机，甚至是便携式摄像机，降低了演播室系统改造的费用。不足：（1）由于该方式要对图案进行分析、计算，数据处理时间长，加大了视频延时量(517帧左右)；（2）获得的摄像机运动参数精度比编码器方式低；（3）当摄像机散焦或摄

14、取画面中图案信息量较少时(至少要求含有4个网格点)，系统便无法正常工作，对摄像机的景深以及演员的活动范围造成一定限制。第27页，共47页。z 在位置探测跟踪中，用一些固定的探测器对特定的物体进行跟踪，或通过安装在摄像机上的仪器进行定位，推拉和变焦参数也要通过传感器来跟踪。这种技术从运动捕捉系统衍生而来，工作原理与网格识别相反，但两者的精确度相近。（）位置探测（）位置探测第28页，共47页。z 蓝背景：制作虚拟演播室的蓝背景要求背景平滑，还要有空间感，一般是两面或三面蓝色墙再加上地面。为保证全景镜头的使用，照射在蓝背景上面的光线要均匀。为了保证色键效果最好，要使用纯正的色键蓝色。蓝背景的空间大小

15、，应该能保证可容纳全部道具并且可以使主持人有足够的活动区域。2、蓝背景和背景的建立蓝背景和背景的建立 第29页，共47页。z背景：虚拟演播室的背景图像可以是来自录像机或摄像机的视频图像，也可以是静止图像，但使用最多的是计算机创作的二维或三维图形CG(Computer Graphics)，即虚拟场景。虚拟场景可分为二维虚拟场景和三维虚拟场景。二维虚拟场景是指景物没有厚度，只提供一个平面背景。在三维虚拟场景中景物是立体的，具有Z方向的厚度，在具有虚拟后景的同时，也提供虚拟前景。人物可在前景与后景之间穿插运动，从而增强了视觉效果的纵深感和真实感。第30页，共47页。y三维虚拟场景的制作可分为几个步骤

16、：首先要对虚拟场景中出现的所有物体按自然尺寸比例建成三维模型，然后在模型上添加材质，描绘纹理：其次是将模型在虚拟场景中定位，制作灯光效果以及阴影：最后是制作在实际拍摄过程中虚拟场景出现的事件序列和特技效果，目前用于虚拟场景制作的主要软件有Softimage，Alias/wavefront,3Dmax等，它们一般都具有建模、描绘和特技等功能。第31页，共47页。z 实时背景生成：是指在摄像机运动参数控制下，背景生成系统对预先制作好的虚拟场景信号进行处理，实时生成与前景有正确透视关系的背景图像。这就意味着背景生成系统必须要以25帧/秒的速度实时处理数据流。如果生成三维虚拟场景，其计算量是非常大的。

17、在不降低图形照明度、阴影，纹理和建模结构的前提下，提高图形工作站图形刷新速率成为实时生成虚拟背景的关键。目前一般采用的是美国SGI公司推出的工作站以及E&S公司推出的运用在Windows NT平台上具有动态Z提示功能的图形工作站。第32页，共47页。、键信号处理与图像合成键信号处理与图像合成 z色键合成器用于完成前景与后背景的混合，色键制作的质量除了与蓝背景、制作环境灯光和摄像机有一定关系之外，色键器本身的质量也会影响节目质量。使用清晰、亮度平坦的颜色，才能使前景和背景分离，然后把演算后的信号用于另一个不同的背景，使用线性键可以把前景的阴影取出来并叠加到背景上。所以为保证合成准确，拍摄视野中的

18、蓝色幕布照明必须均匀。第33页，共47页。z一般来说虚拟摄像机和实际摄像机的数量是相同的，但虚拟背景信号源的数量与实际摄像机数量并不一定相同。用两个背景生成器，两个色键器就可以完成任何两个摄像机之间叠化效果制作，硬切只需要一个虚拟背景信号源。为了完成叠化效果制作，计算机通过编辑接口监视切换器的状态或从预演母线上了解下一个切换的摄像机，并对其进行切换。当虚拟摄像机切换之后，切换器就做好了叠化的准备。第34页，共47页。z虚拟演播室系统一般包括两套计算机系统，一套处理摄像机跟踪的数据，一般采用高配置的微机、小型计算机工作站；另一套是进行虚拟演播室的场景制作，具备以下功能：具有足够的计算能力，包括处

19、理多重任务的能力；可以支持实时操作系统；具有极强的绘画能力，甚至达到高标准三维动画制作水平；能够处理音频信号，并具有控制其他视频和音频设备的能力。、计算机技术参与节目制作计算机技术参与节目制作 第35页，共47页。四、虚拟演播室运行流程四、虚拟演播室运行流程z创意人员拟出节目制作方案z 导演及创意人员为虚拟演播室电脑虚拟三维场景的操作者“说戏”；z 动画师或模型师在电脑中创建模型及贴图；z导演与虚拟演播室操作者合作直播或录像；z视频输出、录制及后期制作。第36页，共47页。、导演或美术设计师提出制作方案、导演或美术设计师提出制作方案 z 由美术设计师将导演思路制作成详细的“剧本”，具体到每个画

20、面要素怎么动，主持人的位置怎么变化，是否有虚拟场景中的特写镜头等。因为镜头推进，意味着电脑生成的图像放大。这就必须要求事先生成的图像尺寸大到足够镜头推进也不至于产生像素变大的现象。虚拟演播室运作的这种特殊性，要求导演必须就每个镜头细节与电脑动画场景的制作者事先沟通，使负责实施剧本方案的制作人员能充分理解导演的意图，将三维场景提前做好。第37页，共47页。、动画制作人员创建虚拟三维演播室、动画制作人员创建虚拟三维演播室 z 动画制作直接影响着节目制作的质量。虚拟演播室就是一个计算机图像产生与合成系统，是用计算机将演播室的观念物化，在制作手段上突破了传统制作手段的一些束缚，使演播室不再受时间和空间

21、的局限。具体 的 虚 拟 演 播 室 软 件 操 作 者 称 为“动 画师”(animator)或“模型师”(modeler)。他们在整个虚拟演播室节目制作中对演播室的最终效果起着举足轻重的作用，他可以是导演或美工本人，也可以是专业的动画制作者。第38页，共47页。z 目前，几乎所有的虚拟演播室软件本身并不带有建模及绘画的软件包，多数是利用已有的三维或二维动画、图形图像制作软件来创建模型及模型中需要的贴图，如3D Studio MAX、Softimage 3D、Lightscape和Photoshop等。这些软件中做好的模型和贴图有的需经过图像格式的转换，再存入虚拟演播室系统的专用目录下，然后

22、才能从虚拟演播室软件环境中读出。大量的矢量数据经过生成后产生的标准倍数位图，作为虚拟环境要么直接存入图形发生器中使用，要么贴在简单的几何矢量模型上。第39页，共47页。、动画师与导演的配合、动画师与导演的配合 z 制作人员从传统的单一的执行导演意图的技术员转变成参与节目前期总体方案设计的创作者之一。这种变化无疑提高了现代电视节目制作人的业务要求，同时也扩大了导演的工作职能和范围。动画师与导演应密切配合，例如，导演希望虚拟场景中的某个部分动起来，如标志从墙上飞起来，主持人前的主持台自己移走，地面某个部分腾空而起等，就必须将这些带有“动作”的物体提前与电脑模型师讲明，由模型师将这些有动作的物体用电

23、脑创建时就将它们分别作为单个文件单独储存。这与导演看着监视器指挥调整现场镜头中的画面的传统方法是不同的，这也正是虚拟演播室制作电视节目的主要特点。第40页，共47页。、虚拟演播室控制员、虚拟演播室控制员 z 与传统演播室相比，主持人或演员所处的现场已不再是五颜六色的舞台，取而代之的是一个全部涂成蓝色的房间。摄像师的拍摄对象主体只剩下了主持人或演员。机位的运动取决于电脑中建立的虚拟场景。摄像师通过监视器看到画面的效果，导演则坐在电脑终端前与虚拟演播室软件的具体操作者来共同控制整个节目。如果画面“穿邦”，即现场摄像机摇到蓝色背景以外，虚拟演播室软件能根据需要自制出虚拟蓝色背景。第41页，共47页。

24、z 虚拟演播室电脑机位上的操作者（暂且称之为“虚拟控制”）已不再是一般意义上的电脑操作人员。虚拟演播室系统是一个计算机图像合成系统，其控制中心是虚拟演播室的系统软件，它也是虚拟演播室节目制作的“导演台”。具体实施操作的系统控制员无疑成了实施导演意图的最直接执行者，他需要既能熟练运用虚拟演播室软件及其相关的三维动画制作软件，同时又要具有一定的镜头意识和感觉。这样才能更好地与导演配合，做出理想的节目。第42页，共47页。、视频、音频及灯光的运用、视频、音频及灯光的运用 z 虚拟演播室主要是针对电脑中的图像，它仍旧离不开传统的视频切换台和调音台等设备。通过视频切换台，导演可根据需要在任何时候切入或叠

25、加进前期拍摄的画面素材。有的虚拟演播室系统与传统视频在节目制作中略有不同，蓝色实景现场摄像机所拍摄到的画面需要经过图像发生器的运算生成后再与电脑中的虚拟场景合成，大约需要四帧左右的延长时间，所以现场同期声也需要相应的延时（大约160ms），以消除声音与口型差时的现象。有的虚拟演播室很好地解决了这一问题，画面与声音同步，不需延时。第43页，共47页。z 现场灯光的使用已不同于传统舞台灯光的调整方法，所有光色必须保证蓝色空间场地基色以适应色键器抠像的技术要求。虚拟演播室软件系统有其自身的灯光参数，可根据需要在软件环境里调整。理想的色键器可以很自然地将实景中的投影在虚拟的场景中表现出来，使拍摄的前景

26、画面与虚拟的背景画面集成在一个合理的空间中。现场的灯光还有一个特殊用途，即用于制定控制现场主持人或演员的光区定位程序，导演可通过该程序指挥现场演员的走位。此外，现场灯光与虚拟灯光还有一个大致匹配的问题，以便使现场人物与虚拟环境的结合看上去不至于产生投影环境的逻辑错误。第44页，共47页。五、虚拟演播室使用中注意问题五、虚拟演播室使用中注意问题z 在虚拟演播室的具体应用中，由于演员在表演的同时并不一定知道此时的拍摄状况，所以难免会发生一些与现实相悖的情况，如穿墙而过、隔空取物、下落的物体直接穿过桌子落到地面等等，这些一般可以通过调整虚拟场景的设置及演员的走位来解决。1、真实性真实性第45页，共4

27、7页。、延时延时z 在虚拟演播室中，虚拟场景是根据摄像机运动参数的变化而变化的，这个过程需要时间。一般虚拟场景生成系统的运算时间在210帧左右。基于编码器方式的系统，编码器与计算机之间的通信也有少量延时，而基于图形识别方式的系统，其延时量会达到10帧以上。因此,在前景与背景进行合成以前，首先要对前景图像进行相应的延时。另外为保证声画同步，声音信号也要做相同的延时。当使用视频中的声音时，也要对其进行延时。第46页，共47页。、灯光灯光z 虚拟演播室中灯光除了要保证所摄部分的蓝箱处于均匀照明，便于色键“抠像”外，还要注意以下问题：一要合理调配灯光，使前景与虚拟背景的照明亮度及方向相匹配；二要控制影子，演员及真实道具在蓝箱中投下的影子要随演员及道具一起进入虚拟空间，影子的方向也要和虚拟场景中的光源方向一致；三为表现虚拟背景中反光地板上的影子效果，可在蓝箱地板上铺设蓝色透明塑料。虚拟演播室中的影子效果一般只限于落在地板上，地面上的阴影会使观众产生一个真实的效果。再就是真实背景的大小应考虑阴影问题，落在真实背景外的阴影在合成时将会被剪裁掉，不完整的阴影效果会给观众视觉上产生负面影响。第47页，共47页。