动作捕捉的发展及应用课件.ppt

1、1第一章动作捕捉的发展及应用第一章动作捕捉的发展及应用21.11.1动作捕捉技术介绍动作捕捉技术介绍动作捕捉技术已经进入了实用化阶段，其应用领域也远远超出了动动作捕捉技术已经进入了实用化阶段，其应用领域也远远超出了动画制作，并在虚拟现实、游戏、人体工程学研究、模拟训练、生物力学画制作，并在虚拟现实、游戏、人体工程学研究、模拟训练、生物力学研究等许多领域有广阔的应用前景。研究等许多领域有广阔的应用前景。34广告广告5军事领域军事领域61.21.2动作捕捉系统的类型介绍动作捕捉系统的类型介绍到目前为止，常用的动作捕捉技术从原理上说可分为到目前为止，常用的动作捕捉技术从原理上说可分为机械式机械式、声

2、学式声学式、电磁式电磁式和和光学式光学式。不同原理的设备各有其优缺点，其中光学式动作捕捉技。不同原理的设备各有其优缺点，其中光学式动作捕捉技术目前是最为先进的，一般可从以下几个方面进行评价：术目前是最为先进的，一般可从以下几个方面进行评价：7定位精度；定位精度；实时性；实时性；使用方便程度；使用方便程度；可捕捉运动范围大小；可捕捉运动范围大小；成本；成本；抗干扰性；抗干扰性；多目标捕捉能力。多目标捕捉能力。81.31.3动作捕捉系统的分类比较动作捕捉系统的分类比较一：机械式运动捕捉一：机械式运动捕捉 （Electromechanical SuitsElectromechanical Suits

3、）机械式运动捕捉依靠机械装置来跟踪和测量运动轨迹。装置是放置机械式运动捕捉依靠机械装置来跟踪和测量运动轨迹。装置是放置在人体主要关节处的电位计或者类似量角仪的仪器构成的一套设备，它在人体主要关节处的电位计或者类似量角仪的仪器构成的一套设备，它是由人体的运动来驱动的。是由人体的运动来驱动的。9 2019年北京国际电视周十八日至二十二日在中国建筑文化中心举年北京国际电视周十八日至二十二日在中国建筑文化中心举办，从德国引进的机械式运动捕捉系统数主要应用于影视制作、互联办，从德国引进的机械式运动捕捉系统数主要应用于影视制作、互联网络、电脑游戏等领域，图为十九日模特正在进行实时运动表演。网络、电脑游戏等

4、领域，图为十九日模特正在进行实时运动表演。10典型的系统由多个典型的系统由多个关节关节和和刚性连杆刚性连杆组成，在可转动的关节中装有组成，在可转动的关节中装有角度传感器，可以测得关节转动角度的变化情况。角度传感器，可以测得关节转动角度的变化情况。装置运动时，根据装置运动时，根据角度传感器所测得的角度变化和连杆的长度，可以得出杆件末端点在角度传感器所测得的角度变化和连杆的长度，可以得出杆件末端点在空间中的位置和运动轨迹。空间中的位置和运动轨迹。实际上，装置上任何一点的运动轨迹都可实际上，装置上任何一点的运动轨迹都可以求出，刚性连杆也可以换成长度可变的伸缩杆，用位移传感器测量以求出，刚性连杆也可以

5、换成长度可变的伸缩杆，用位移传感器测量其长度的变化。其长度的变化。11早期的一种机械式运动捕捉装置是用带角度传感器的关节和连杆构成早期的一种机械式运动捕捉装置是用带角度传感器的关节和连杆构成一个一个可调姿态的数字模型可调姿态的数字模型，其形状可以模拟人体，也可以模拟其他动物，其形状可以模拟人体，也可以模拟其他动物或物体。使用者可根据剧情的需要调整模型的姿态，然后锁定。角度传感或物体。使用者可根据剧情的需要调整模型的姿态，然后锁定。角度传感器测量并记录关节的转动角度，依据这些角度和模型的机械尺寸，可计算器测量并记录关节的转动角度，依据这些角度和模型的机械尺寸，可计算出模型的姿态，并将这些姿态数据

6、传给动画软件，使其中的角色模型也做出模型的姿态，并将这些姿态数据传给动画软件，使其中的角色模型也做出一样的姿态。这是一种较早出现的运动捕捉装置，但直到现在仍有一定出一样的姿态。这是一种较早出现的运动捕捉装置，但直到现在仍有一定的市场。国外给这种装置起了个很形象的名字：的市场。国外给这种装置起了个很形象的名字：猴子猴子。12机械式有一个很大的缺陷，就是依靠电位计的系统机械式有一个很大的缺陷，就是依靠电位计的系统不能测量空间不能测量空间的位移的位移。在大多数情况下，加入电磁式的感应器可以解决这个问题，。在大多数情况下，加入电磁式的感应器可以解决这个问题，但是作为电磁式的系统同样也有一些问题，比如说

7、对附近的金属的感但是作为电磁式的系统同样也有一些问题，比如说对附近的金属的感应，主要是跟感应源相近的材料。应，主要是跟感应源相近的材料。13 机械式捕捉优点：机械式捕捉优点：捕捉范围非常大。捕捉范围非常大。成本低，便宜。成本低，便宜。精确度相对较高。精确度相对较高。可以做到实时数据测量。可以做到实时数据测量。数据的捕捉相对简单。数据的捕捉相对简单。感应器不会闭塞。感应器不会闭塞。可以对多个演员进行同时捕捉。可以对多个演员进行同时捕捉。14 机械式捕捉缺点：机械式捕捉缺点：硬件笨重、使用起来非常不方便。硬件笨重、使用起来非常不方便。系统样本速率很低。系统样本速率很低。系统对人体骨骼有制约。系统对

8、人体骨骼有制约。较难用于连续动作的实时捕捉。较难用于连续动作的实时捕捉。15 二：声学式运动捕捉二：声学式运动捕捉 常用的声学式运动捕捉装置由常用的声学式运动捕捉装置由发送器发送器、接收器接收器和和处理单元处理单元组成。组成。发送器是一个固定的超声波发生器，接收器一般由呈三角形排列的三发送器是一个固定的超声波发生器，接收器一般由呈三角形排列的三个超声探头组成。通过测量声波从发送器到接收器的时间或者相位差，个超声探头组成。通过测量声波从发送器到接收器的时间或者相位差，来计算并确定接收器的位置和方向。来计算并确定接收器的位置和方向。16这类装置成本较低，但对运动的捕捉有较大延迟和滞后，实时性这类装

9、置成本较低，但对运动的捕捉有较大延迟和滞后，实时性较差，精度一般不很高，声源和接收器间不能有大的遮挡物体，受噪较差，精度一般不很高，声源和接收器间不能有大的遮挡物体，受噪声和多次反射等干扰较大。由于空气中声波的速度与气压、湿度、温声和多次反射等干扰较大。由于空气中声波的速度与气压、湿度、温度有关，所以还必须在算法中做出相应的补偿。度有关，所以还必须在算法中做出相应的补偿。17 三、电磁式运动捕捉三、电磁式运动捕捉 电磁式运动捕捉系统是比较常用的运动捕捉设备。一般由电磁式运动捕捉系统是比较常用的运动捕捉设备。一般由发射源发射源、接收传感器接收传感器和和数据处理单元数据处理单元组成。发射源在空间产

10、生按一定时空规律分组成。发射源在空间产生按一定时空规律分布的电磁场；接收传感器（通常有布的电磁场；接收传感器（通常有1020个）安置在表演者身体的关键个）安置在表演者身体的关键位置，随着表演者的动作在电磁场中运动位置，随着表演者的动作在电磁场中运动,通过电缆或无线方式与数据通过电缆或无线方式与数据处理单元相连。处理单元相连。18表演者在电磁场内表演时，接收传感器将接收到的信号通过电缆传表演者在电磁场内表演时，接收传感器将接收到的信号通过电缆传送给处理单元，根据这些信号可以解算出每个传感器的空间位置和方向。送给处理单元，根据这些信号可以解算出每个传感器的空间位置和方向。目前这类系统的采样速率一般

11、为每秒目前这类系统的采样速率一般为每秒15120次（依赖于模型和传感器次（依赖于模型和传感器的数量），为了消除抖动和干扰，采样速率一般在的数量），为了消除抖动和干扰，采样速率一般在15Hz以下。对于一些以下。对于一些高速运动，如拳击、篮球比赛等，该采样速度还不能满足要求。高速运动，如拳击、篮球比赛等，该采样速度还不能满足要求。19电磁式运动捕捉的优点首先在于它记录的是电磁式运动捕捉的优点首先在于它记录的是六维信息六维信息，即不仅能得，即不仅能得到空间位置，还能得到方向信息，这一点对某些特殊的应用场合很有价到空间位置，还能得到方向信息，这一点对某些特殊的应用场合很有价值。其次是速度快，实时性好，

12、表演者表演时，动画系统中的角色模型值。其次是速度快，实时性好，表演者表演时，动画系统中的角色模型可以同时反应，便于排演、调整和修改。装置的定标比较简单，技术较可以同时反应，便于排演、调整和修改。装置的定标比较简单，技术较成熟，成本相对低廉。成熟，成本相对低廉。20它的缺点在于对环境要求严格，在表演场地附近不能有金属物品，它的缺点在于对环境要求严格，在表演场地附近不能有金属物品，否则会造成电磁场畸变，影响精度。系统的允许表演范围比光学式要小，否则会造成电磁场畸变，影响精度。系统的允许表演范围比光学式要小，特别是电缆对表演者的活动限制比较大，对于比较剧烈的运动和表演则特别是电缆对表演者的活动限制比

13、较大，对于比较剧烈的运动和表演则不适用。不适用。21 四、光学式运动捕捉四、光学式运动捕捉 光学式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动光学式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。目前常见的光学式运动捕捉大多基于计算机视觉原理。从捕捉的任务。目前常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置。当相机以

14、足够高的速率连续拍摄时，从图像序列中就在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。可以得到该点的运动轨迹。22典型的光学式运动捕捉系统通常使用典型的光学式运动捕捉系统通常使用68个相机环绕表演场地排列，个相机环绕表演场地排列，这些相机的视野重叠区域就是表演者的动作范围。为了便于处理，通常要这些相机的视野重叠区域就是表演者的动作范围。为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等求表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点，称为位置贴上一些特制的标志或发光点，称为Ma

15、rker，视觉系统将识别和，视觉系统将识别和处理这些标志。系统定标后，相机连续拍摄表演者的动作，并将图像序列处理这些标志。系统定标后，相机连续拍摄表演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，相机瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，相机应有较高的拍摄速率，一般要达到每秒应有较高的拍摄速率，一般要达到每秒60帧以上。帧以上。23如果在表演者的脸部表情关键点贴上如果在表演者的脸部表情关键点贴上Marker，则

16、可以实现表情捕，则可以实现表情捕捉，如图所示。目前大部分表情捕捉都采用光学式。捉，如图所示。目前大部分表情捕捉都采用光学式。24有些光学运动捕捉系统不依靠有些光学运动捕捉系统不依靠MarkerMarker作为识别标志，例如根据目标的侧影来作为识别标志，例如根据目标的侧影来提取其运动信息，或者利用有网格的背景简化处理过程等。目前研究人员正在研提取其运动信息，或者利用有网格的背景简化处理过程等。目前研究人员正在研究不依靠究不依靠MarkerMarker，而应用图像识别、分析技术，由视觉系统直接识别表演者身体，而应用图像识别、分析技术，由视觉系统直接识别表演者身体关键部位并测量其运动轨迹的技术，估计

17、将很快投入实用。关键部位并测量其运动轨迹的技术，估计将很快投入实用。光学式运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，表光学式运动捕捉的优点是表演者活动范围大，无电缆、机械装置的限制，表演者可以自由地表演，使用很方便。其采样速率较高，可以满足多数高速运动测演者可以自由地表演，使用很方便。其采样速率较高，可以满足多数高速运动测量的需要。量的需要。MarkerMarker的价格便宜，便于扩充。的价格便宜，便于扩充。25这种方法的这种方法的缺点缺点是系统价格昂贵，虽然它可以捕捉实时运动，但后处理是系统价格昂贵，虽然它可以捕捉实时运动，但后处理（包括（包括Marker的识别、跟踪、空间坐

18、标的计算）的工作量较大，对于表演的识别、跟踪、空间坐标的计算）的工作量较大，对于表演场地的光照、反射情况有一定的要求，装置定标也较为烦琐。特别是当运动场地的光照、反射情况有一定的要求，装置定标也较为烦琐。特别是当运动复杂时，不同部位的复杂时，不同部位的Marker有可能发生混淆、遮挡，产生错误结果，这时有可能发生混淆、遮挡，产生错误结果，这时需要人工干预后处理过程。需要人工干预后处理过程。26将运动捕捉技术用于动画制作，可极大地提高动画制作的水平。该技将运动捕捉技术用于动画制作，可极大地提高动画制作的水平。该技术的应用直接导致了美国和日本动画片里，卡通人物的动作真实程度远远术的应用直接导致了美

19、国和日本动画片里，卡通人物的动作真实程度远远超过没有拥有该技术的中国动画片。它极大地提高了动画制作的效率，降超过没有拥有该技术的中国动画片。它极大地提高了动画制作的效率，降低了成本，而且使动画制作过程更为直观，效果更为生动。随着技术的进低了成本，而且使动画制作过程更为直观，效果更为生动。随着技术的进一步成熟，表演动画技术将会得到越来越广泛的应用，而运动捕捉技术作一步成熟，表演动画技术将会得到越来越广泛的应用，而运动捕捉技术作为表演动画系统不可缺少的、最关键的部分，已经显示出更加重要的地位。为表演动画系统不可缺少的、最关键的部分，已经显示出更加重要的地位。271.41.4光学动作捕捉设备的组成和

20、应用光学动作捕捉设备的组成和应用光学式动作捕捉设备一般由以下几个部分组成：光学式动作捕捉设备一般由以下几个部分组成：被固定在运动物体特定的部位，向系统提供运动的位置被固定在运动物体特定的部位，向系统提供运动的位置信息。通常采用特殊材料的感光球，将其粘在身体特定的部位。信息。通常采用特殊材料的感光球，将其粘在身体特定的部位。28 负责捕捉、识别传感器的信号。负责捕捉、识别传感器的信号。如图所如图所示，一般是由包括捕捉特殊波长区域光波的摄像机、发光器示，一般是由包括捕捉特殊波长区域光波的摄像机、发光器以及镜头、光学过滤器等组成。以及镜头、光学过滤器等组成。29 负责将运动数据从信号捕捉设备快速准负

21、责将运动数据从信号捕捉设备快速准确地传送到计算机系统。确地传送到计算机系统。30 负责处理系统捕捉到的原始信号，计算传负责处理系统捕捉到的原始信号，计算传感器的运动轨迹，对数据进行修正、处理，并与三维角色模感器的运动轨迹，对数据进行修正、处理，并与三维角色模型相结合。型相结合。31光学捕捉技术在国际上的使用现状光学捕捉技术在国际上的使用现状目前在影视界使用光学动作捕捉系统的工作室包括：目前在影视界使用光学动作捕捉系统的工作室包括：Dreamworks SKG（斯皮尔伯格的梦工厂）、（斯皮尔伯格的梦工厂）、Warner Brothers（华纳兄弟工作室）（华纳兄弟工作室）等；在游戏制作界使用它的

22、公司有：等；在游戏制作界使用它的公司有：Electronic Arts、Square、RARE、Sony、Midway、SNK、CAPCOM等。等。32利用光学原理进行三维动作捕捉的过程是使用多个摄像机拍摄身穿安装利用光学原理进行三维动作捕捉的过程是使用多个摄像机拍摄身穿安装了反射标记衣服的演员动作，然后动作捕捉系统将多个摄像机拍摄的镜头用了反射标记衣服的演员动作，然后动作捕捉系统将多个摄像机拍摄的镜头用数学的方式绘制出每个反射标记的数学的方式绘制出每个反射标记的三维坐标三维坐标。这些标记或者被连接到一个计。这些标记或者被连接到一个计算机生成的人物身上对应的算机生成的人物身上对应的解剖点解剖点

23、，或者被用于算出可以进行，或者被用于算出可以进行动画的连接角动画的连接角度或旋转度或旋转。这些三维空间坐标被传送到动画软件如：。这些三维空间坐标被传送到动画软件如：Alias/Wavefront Maya、Online、Prism、Nichimen Graphics和和3D Studio MAX。由。由于这些坐标来自演员真实的动作，使动画看起来非常逼真自然。于这些坐标来自演员真实的动作，使动画看起来非常逼真自然。33复杂和快速的动作包括体育比赛中的拳复杂和快速的动作包括体育比赛中的拳击动作可以被快速地捕捉进来，而不需要依击动作可以被快速地捕捉进来，而不需要依赖动画师使用赖动画师使用反向运动学反

24、向运动学的软件系统进行动的软件系统进行动作制作，既节省了时间又节省的金钱，而且作制作，既节省了时间又节省的金钱，而且它快速的反馈也使制作人员和导演可以及时它快速的反馈也使制作人员和导演可以及时作出决定。这些捕捉的动作也可放在网站上作出决定。这些捕捉的动作也可放在网站上供世界各地的用户或制作人员进行观看和评供世界各地的用户或制作人员进行观看和评论。论。34光学动作捕捉系统所具有的优势：光学动作捕捉系统所具有的优势：对演员、运动员和舞蹈家的动作进行捕捉，并不是让动对演员、运动员和舞蹈家的动作进行捕捉，并不是让动画师重新进行制作，这些动作都是非常具有特点的、非常敏锐的。例如：由计画师重新进行制作，这

25、些动作都是非常具有特点的、非常敏锐的。例如：由计算机生成的人物中，男性和女性走路的动作是不一样的。如果将女性人物走路算机生成的人物中，男性和女性走路的动作是不一样的。如果将女性人物走路的动作赋予在男性身上，观众会觉得不协调。的动作赋予在男性身上，观众会觉得不协调。对动作进行拍摄捕捉到预览常常只需几分钟。一个小规对动作进行拍摄捕捉到预览常常只需几分钟。一个小规模的制作组与一个演员可以在一个下午制作出许多复杂的动画。模的制作组与一个演员可以在一个下午制作出许多复杂的动画。35 实时捕捉系统可以在演员表演的同时看到所捕捉的动作，实时捕捉系统可以在演员表演的同时看到所捕捉的动作，具有非常大的灵活性如果

26、制作人员想改变一下所捕捉的动作，可以利用标准的具有非常大的灵活性如果制作人员想改变一下所捕捉的动作，可以利用标准的动画工具如反向运动学、皮肤变形等对这个动作做进一步的编辑。制作人员也可以动画工具如反向运动学、皮肤变形等对这个动作做进一步的编辑。制作人员也可以对动作增加各种变化对动作增加各种变化 一旦动作被捕捉，坐标就被映射到任意具有不同年龄、一旦动作被捕捉，坐标就被映射到任意具有不同年龄、大小、种族、服饰的人物上。所有动作可以通过创建动作数据库进行存储。大小、种族、服饰的人物上。所有动作可以通过创建动作数据库进行存储。在非常短的时间可以看到所设计的结果，特别是复杂的动作设在非常短的时间可以看到所设计的结果，特别是复杂的动作设计。在卡通电影制作和计。在卡通电影制作和PC游戏的设计中，动作捕捉和动画比拍摄视频图像更节省，游戏的设计中，动作捕捉和动画比拍摄视频图像更节省，避免了演员的化妆、服饰、灯光、布景等。避免了演员的化妆、服饰、灯光、布景等。