1、第6章 多媒体通信同步技术内容6.1 多媒体同步的基本概念 6.2 多媒体数据6.3 多媒体数据时域特征表示 6.4 多媒体同步参考模型 6.5 多媒体同步控制机制 6.6 网络时间协议 6.1 多媒体同步的基本概念6.1.1 同步的基本概念 多媒体系统中集成了具有各种不同时态特性的媒体，这些媒体有依赖于时间的媒体（例如视频、音频、动画等）和独立于时间的媒体（例如文本、静止图像、表格等）。多媒体同步就是保持和维护各个媒体对象之间和各个媒体对象内部存在的时态关系，维持各种媒体序列以实现某种特定的表现任务。多媒体同步可以从多媒体同步规范和多媒体同步控制两个层次来讨论。多媒体同步规范描述媒体对象之间
2、和各个媒体对象内部存在的时态关系，确定多媒体的时态说明，是多媒体系统的重要组成部分。多媒体同步规范通常包括：媒体对象内的同步、媒体对象之间的同步以及业务品质QoS描述。多媒体同步控制机制是开发各种同步控制策略以及同步控制协议，解决由于网络延迟、抖动、进程调度等各种不确定因素带来的负面影响，实现多媒体同步规范描述的多媒体时态说明。6.1.2 同步的类型 多媒体的同步类型分为上层同步、中层同步和底层同步。n上层同步也称为表现级同步或交互同步、应用层同步,即用户级同步。在这一级，用户可以对各个媒体进行编排，由此决定何种媒体何时以何种时空关系表现出来。这一类同步是从用户应用的角度出发而进行的同步，重点
3、在于表现与交互。这要求同步过程既能体现用户的交互性，又要容易被用户理解和使用。上层同步的同步机制是由多媒体信息中的脚本信息提供的。在实际的多媒体应用中，它是一种事件驱动同步，发生在系统中某一节点需要起始动作的情况下。此动作的发生即同步点，如文献中的特定点、用户鼠标的动作点、系统设备到达某特定状态等。同样，对于多媒体表现，各媒体以何种时间关系和空间关系公屏幕上呈现给用户，可以用类似电影剧本的“脚本”方式来组织。这便是多媒体表现的脚本模型。脚本，就是把用户对多媒体表现形式(结合其交互参与行动)的意图与构思，最终像电影剧本一样，“一场一场”地表示出来。场次的控制加入了用户的交互件。例如，选择不同的按
4、钮(或菜单)，会导致不向场次的继续。这也正是多媒体脚本不同于一般电影剧本的主要特征，即由于交互性的参与，脚本的场次流程是非单一路径、非线性的，它可以有多条路径，也可以有逆路径（即返回）。n中层同步是信息合成同步，即不同媒体类型的数据之间的合成，所以，合成同步又称为“媒体之间的同步”。这层同步涉及到不同类型的媒体数据，侧重于它们在合成表现时的时间关系的描述。如在可视电话中，音频和视频必须始终同步地表现在接收端上，以确保口形与声音的同步。这时媒体之间的同步，除了数据的开始点和结束点必须保证以外，从开始点到结束点的整个过程中均要求保持同步。n底层同步即系统同步，也称为媒体内部同步。该层同步是要完成合
5、成同步所描述的各媒体对象内数据流间的时序关系，这要根据具体多媒体系统性能参数来进行。在单机多媒体情况下，同步技术要考虑计算机的读盘时间、图像的显示速度和处理速度；这和磁盘的存取速度、视频适配器和中央处理器的处理能力有关。在网络传输的情况下，要考虑网络的延迟、无法预料的网络阻塞等因素。这些因素可能影响媒体内部的同步，造成单一连续媒体（音频或视频信息）在传输和播放时的稳定性较差，也可能影响媒体间的同步，造成各个媒体间的配合出现障碍。为解决这些问题，引出了同步协议的设计和各种相应的同步技术。6.1.3影响媒体同步的因素 从媒体关系的角度出发，媒体对象的同步包括两个方面：媒体内同步和媒体间同步。媒体内
6、同步主要是维持一个媒体流内部各信息单元的连续性；媒体间同步主要是维持多个相关媒体流中媒体单元间的时间关系。媒体同步关系主要受以下因素的影响：n媒体间延时偏移。媒体间延时偏移。由于各个相关媒体流可能来自不同的信源，每个信源所处的地理位置可能不同，每个媒体流选择的信道也不同，因此各个媒体流的延时也不同，这就是媒体间的延时偏移，这些偏移使媒体间的时间关系发生变化。解决办法可以通过在信宿端设置缓存加以补偿，也可使各个媒体流在不同时刻发送，但须保证在经历了不同延时后能够同时到达接收端。后者特别适合存储数据，能够充分利用存储数据的灵活性，大大节省信宿端缓存。此外还可以将这两种方法配合使用。n延时抖动。延时
7、抖动。抖动定义为最大时延与最小时延的差，也即时延的变化。系统的很多部分都可能产生延时抖动。网络抖动是指数据包从发送方到接收方网络I/O设备的传输过程中所经历的时延变化，这是由中间节点的缓存引入的。端系统抖动是指端系统中引起的时延变化，这些变化主要是由于系统负荷的改变以及媒体单元在各个协议层的打包拆包。抖动通常是在信宿端通过采用弹性缓冲区来补偿的。n时钟漂移。时钟漂移。连续媒体的捕获、重新生成和播映都是由端系统时钟来驱动的。一般来说，不能假定所有时钟同步。由于温度的变化或晶体振荡器本身的缺陷，在经过了较长一段时间后，端系统的时钟频率会发生变化，其结果是与真实时间或其他时钟产生偏移。时钟漂移的问题
8、可以通过在网络中使用时间同步协议来解决，例如，网络时间协议(NTP)为它的用户提供一个全网(虚拟)时钟。n网络条件变化。网络条件变化。网络条件的变化不是由抖动引入的，它是指网络连接性质的变化。例如，平均延时的改变或媒体单元丢失率的增高。般地，多媒体数据的传输都是利用数据报服务，数据报服务是种不可靠的服务，不时会发生媒体单元丢失的事件。处理丢失单元的同步机制是重复播映前一个媒体单元的内容。6.2 多媒体数据 6.2.1 多媒体数据的分类 媒体数据指的是文本、图形、图像、动画、语音和视频图像对应的数据，而多媒体数据是由这些相互关联的数据构成的一个复合信息实体。多媒体数据的形成过程就是在多媒体计算机
9、的控制下多种媒体数据的合成过程。这些媒体数据，有些是实时的有些是非实时的。其中，有着严格时间关系的音频、视频和动画等类型的数据称为实时媒体数据或连续媒体数据。其他类型的数据称为非实时媒体数据或静态媒体数据。一般说到多媒体数据时至少要包含一种实时媒体数据和一种非实时媒体数据。连续媒体数据可以看作是由逻辑数据单元（Logic Data Unit，LDU）构成的时间序列，或称为流。LDU的划分（即包含的内容）可以由具体的应用、编码方式、数据的存储方式和传输方式等因素决定。例如，对于符合H.261标准的视频码流，一个LDU可以是一个宏块、一个宏块组、一帧图像或几帧图像构成的一个场景，如图6-1所示。图
10、6-1 H.261码流中LDU的划分 连续媒体数据的各个LDU之间存在着固定的时间关系。例如，以一帧图像为一个LDU，对25帧/s的帧率来说，则相继的LDU之间的时间间隔为40ms，如图6-2所示。这种时间关系是在数据获取时确定的，而且要在存储、处理、传输和播放的整个过程中保持不变，一旦这种时间关系发生变化，就会损伤媒体显示的质量，比如会产生图像的停顿、跳动或声音的间断。在静态媒体数据内部则不存在这种时间关系。图6-2 连续媒体LDU之间的相对时间关系6.2.2 多媒体数据约束关系 在多媒体数据中，各种媒体数据对象之间并不是相互独立的，它们之间存在着许多种相互制约的同步关系。反之，如果媒体对象
11、之间毫无联系，则这些媒体所构成的集合不能称为多媒体对象。多媒体数据的约束关系有三种：基于内容的约束关系、空域约束关系和时域约束关系。n基于内容的约束关系基于内容的约束关系 基于内容的约束关系是指在用不同的媒体对象代表同一内容的不同表现形式之间所具有的约束关系。内容关系定义了媒体对象之间的依赖关系，如对于同样的数据进行分析，可以以不同的形式表现出来，如报表、柱状图和饼状图等，即同样的数据以不同的方式表达。为了支持这种约束关系，多媒体系统要解决的问题是怎样保证在多媒体数据的更新过程中，维持不同媒体对象所含信息的一致性，即在数据更新后，保证代表不同表现形式的各媒体对象都与更新后的数据对应。解决这一问
12、题的一种方法是：定义原始数据和不同类型媒体之间的转换原则，并由系统而不是由用户来完成对多媒体文档内容的调整。n空域约束关系空域约束关系 空域约束关系也称为布局关系，用来定义多媒体数据显示过程中某个时刻，不同媒体对象在输出设备（如显示器等）上的空间位置关系。空域约束关系是排版系统、电子出版著作系统首先要解决的问题。如在桌面出版系统中，空域关系通常表达为布局框架。布局框架生成后，就可往该框架中填入相应的内容。布局框架在文档中的位置既可固定于文档的某一点，也可固定于文档的某一页，并且可相对于其他布局框架来说明位置。n时域约束关系时域约束关系 时域约束关系是多媒体数据对象的时域特征，反映媒体对象在时间
13、上的相互依赖关系，主要表现在两个方面：n媒体内同步。连续媒体对象的各个LDU之间的相对时间关系；n媒体间同步。各个媒体对象之间（包括连续媒体之间以及连续媒体和非连续媒体之间）的相对时间关系。媒体内同步即流内同步，是要维持单个媒体数据流内各个信息单元的连续性，表现为媒体流的连续性，以满足人们对媒体感知上的要求。媒体流内部同步的复杂性不仅和单个媒体的种类有关，而且也和分布式系统所提供的服务质量QoS有关；同时也和源端和目的端的操作系统的实时性有关。媒体间同步即流间同步，主要是保证不同媒体数据流间的时间关系，如音频和视频流之间的时态关系，音频和文本之间时态关系等，表现为各个媒体数据流中在同步点上的同
14、时播放。媒体流之间的复杂性和需要同步的媒体流的数量有关。媒体数据对象之间的时域约束关系按照时间来区分又可以进一步分成实时（Live）同步和综合（Synthetic）同步。实时同步是指媒体数据信息在获取的过程中建立的时间同步关系。例如人物口形动作和声音之间配合的唇音同步。综合同步是指在分别获得不同的媒体数据信息之后，再对这些媒体数据人为地指定某种同步关系。综合同步关系可以事先定义也可以在多媒体系统的运行过程中进行定义。例如，在多媒体导游服务系统中，根据用户即时输入的要求，系统自动产生用户要求的旅游线路的解说并同时播放对应旅游线路录像。对旅游线路的解说和播放的录像之间的时间约束关系就是在系统运行过
15、程中被指定并执行的。在这三种约束关系中，时域约束关系最为重要。当多媒体数据在表现时的时域特征遭到破坏时，用户就可能遗漏或误解多媒体数据所要表达的信息内容。由此可知，时域特征是多媒体数据语义的一个十分重要的组成部分，时域特征遭到破坏也就是多媒体数据语义的完整性受到破坏。6.2.3多媒体数据的构成 多媒体数据的构成如图6-3所示。其主体部分是不同媒体的数据，这些数据包含了所要表达的信息内容，称为成分数据。此外，从上一小节的分析可以看出，多媒体数据的约束关系（同步关系）也是构成多媒体数据的不可缺少的部分。这些约束关系称为同步规范。在存储和传输成分数据时，必须同时存储和传输他们之间的同步关系。在对成分
16、数据作处理时，必须维持它们之间的同步关系。当只考虑时域约束关系时，时域同步规范由同步描述数据和同步容限两部分组成。同步描述数据表示媒体内部和媒体之间的时间约束关系，同步容限则表示这些约束关系所允许的偏差范围。图6-3 多媒体数据的构成6.3 多媒体数据时域特征表示 6.3.1 时域场景及时域定义方案 多媒体数据时域特征的表示过程（如图6-4所示）中所要完成的具体任务，是对多媒体数据进行抽象、描述和给出必要的同步容限。抽象的过程是忽略多媒体数据中与时域特征不相干的细节（比如数据量、编码方式、传输方式等），将多媒体数据概括为一个时域场景的过程。一个时域场景是由若干时域事件构成，其中的每一个时域事件
17、都是与多媒体数据在时域中发生的某个具体动作（如开始播放、暂停、结束播放、恢复播放等）相对应的。时域事件的发生可以是在某个时刻瞬间完成的，也可以是持续一段时间完成。如果一个时域事件在时域场景中的时间位置是完全确定的，该事件就称为确定性事件，否则就称为非确定性事件。例如，暂停、恢复播放等事件，其在时域场景中的位置是不能固定的，要根据实际用户的使用情况来确定。由确定性时域事件构成的时域场景为确定性时域场景，包含有非确定性时域事件的时域场景为非确定性时域场景。图6-4 时域特征表示过程 在将一个多媒体数据对象进行抽象并转变为一个时域场景后，需要利用某种时间模型对此时域场景加以描述。时间模型是对数据进行
18、抽象描述的数据模型，由若干基本部件和部件的使用规则组成。它是在计算机系统内为时域场景进行建模的依据。所采用的时间模型不同，得到的同步描述数据也就不会完全相同。建模的结果再通过某种形式化语言转化为形式化描述，这种形式化描述数据就是同步描述数据。时间模型及其相应的形式化语言合称为时域定义方案。除了同步描述数据外，还需要考虑同步机制提出必要的服务质量要求，这种要求是用户和同步机制之间在应当以何种准确程度来维持时域特征方面所达成的一种质量约定。这种约定就是前面所说的同步容限。最后，描述数据和同步容限相结合就构成了在计算机内部对多媒体数据时域特征表示。6.3.2时域参考框架 时域参考框架由多媒体场景、时
19、域定义方案和同步机制三个部分构成，如图6-5所示。它是研究多媒体同步问题的一个很好的基础。图6-5 时域参考框架 多媒体场景是对多媒体数据在时间特征和空间特征抽象的结果，反映了多媒体数据在相关方面所具备的语义。时域场景是多媒体场景的一个重要组成部分，是参考框架中时域定义方案要处理的对象。时域定义方案是在计算机系统内为时域场景建模并对建模结果进行形式化描述的方法，由时间模型和形式化语言两部分构成。前者为时域定义方案的语义部分，后者为语法部分。通过时域定义方案，把时域场景转化为同步描述数据。同步描述数据是同步机制处理的对象。同步机制是一种服务过程，它能够了解同步描述数据所定义的时域特征，并根据用户
20、所要求的同步容限，完成对该特征的维护（在运行过程中保证时域特征不遭到破坏）。6.3.3时间模型 时间模型的构成时间模型的构成 一个时间模型由基本时间单位、关联信息（Contextual information）和时间表示技术三个部分组成。基本时间单位可以分为时刻和间隔两种类型，可以用时刻来表示时域事件，也可以用间隔来表示时域事件。关联信息反映了时域事件的组织方式，可以分为定量关联信息和定性关联信息两类。在定量关联信息的时间模型中，认为时域场景中的各个时域事件是相互独立的，因而可以单独地描述每一个时域事件在时域场景中的位置，从而间接地反映各个事件间的关系。在定性关联信息的时间模型中，认为时域场景
21、中的各个时域事件是彼此关联的，因此在关联信息中所包含的是对时域事件约束关系的描述。有些时间模型的定性关联信息中包含了对事件之间时域关系的描述，主要分为两个时刻之间的基本时域关系和两个间隔的时域关系。两个时刻之间的基本时域关系包括：之前（before）、之后（after）和同时（at-the-same-time），如图6-6所示。对于确定性时域场景，任意两个时刻之间只有一种基本时域关系。图6-6 两个时刻之间的基本时域关系 两个间隔之间的基本时域关系总共有13种，其中6种关系可由其它关系的逆来表示（例如after和before互逆），还有一种是等价的（equals和其逆），因此只需要研究其中的7
22、种时域关系，即before、meets、overlaps、during-1、starts、finishes-1和equals，如图6-7所示。图6-7 两个间隔之间的基本时域关系时间模型的分类时间模型的分类 根据基本时间单位、关联信息和时间表示技术这三个构成根据基本时间单位、关联信息和时间表示技术这三个构成成分的具体内容，可以将时间模型分为五类，即定量定期型、成分的具体内容，可以将时间模型分为五类，即定量定期型、定性定期型、定性时刻型、定性间隔型和定量间隔型。定性定期型、定性时刻型、定性间隔型和定量间隔型。n定量定期型时间模型的基本时间单位是时刻，其关联信息为定定量定期型时间模型的基本时间单位
23、是时刻，其关联信息为定量关联信息，时间表示技术为定期方式。时间轴模型是这种时量关联信息，时间表示技术为定期方式。时间轴模型是这种时间模型比较常见的模型，其定量关联信息所包含的是时域事件间模型比较常见的模型，其定量关联信息所包含的是时域事件发生的准确时间。该模型的缺点是难以表示非确定性事件。发生的准确时间。该模型的缺点是难以表示非确定性事件。n定性定期型时间模型的基本时间单位是时刻，关联信息是表示定性定期型时间模型的基本时间单位是时刻，关联信息是表示次序的定性关联信息，时间表示技术为伪定期方式。虚轴模型次序的定性关联信息，时间表示技术为伪定期方式。虚轴模型是一种比较常见的定性定期型时间模型，其关
24、联信息包含的是是一种比较常见的定性定期型时间模型，其关联信息包含的是非确定性时域事件的全排序信息。可以把这种模型视为对时间非确定性时域事件的全排序信息。可以把这种模型视为对时间轴模型的扩展，具有较强的表示非确定性时域场景的能力。所轴模型的扩展，具有较强的表示非确定性时域场景的能力。所采用的时间轴可以是物理的计时单位，因此也称为物理时间轴；采用的时间轴可以是物理的计时单位，因此也称为物理时间轴；也可以采用逻辑计时单位，称为逻辑时间轴。可以采用不只一也可以采用逻辑计时单位，称为逻辑时间轴。可以采用不只一条时间轴来进行描述。条时间轴来进行描述。n定性时刻型时间模型的基本时间单位是时刻，其关联信息是时
25、刻间时域关系的定性关联信息，个别情况下也可以包含定量关联信息，其时间表示技术为约束传播方式。萤烛（Firefly）模型是一种典型的定性时刻时间模型。n定性间隔型时间模型的基本时间单位为间隔，其关联信息是间隔时域关系的定性关联信息，时间表示技术为约束传播方式，有时也可以包含定量关联信息。对象合成Petri网（Object Composition Petri Net，OCPN）是一种典型的定性间隔时间模型。其定性关联信息包含的是两个时间间隔间基本的时域关系描述，该模型不具有表示非确定性时域场景的能力。n定量间隔型时间模型的基本时间单位是时间间隔，关联信息是定量信息（时间间隔的宽度）和定性信息（间隔
26、排序信息）。6.3.4同步容限 在实际工作中，多媒体系统总存在着一些影响准确恢复时域场景的因素，例如其他进程对CPU的抢占、缓冲区不够大、传输带宽有限等，这些因素的存在常常会导致在恢复后的时域场景中时域事件间的相对位置发生变化，称这种变化称为事件间偏差，如图6-8所示。属于同一媒体对象的时域事件之间的偏差称为对象内偏差，不同媒体对象的时域事件之间的偏差为对象间偏差。偏差的存在必然会造成多媒体同步质量的降低，偏差的大小对同步质量的影响也有所不同。图6-8 事件间的偏差 同步容限是用户与同步机制之间就偏差的许可范围所达成的协议。同步容限包含了用户对偏差许可范围的定义，同步机制则需依据同步容限，保证
27、在恢复后的时域场景中，事件间的偏差在其许可范围之内。流内同步与流间同步是同步机制所要完成的两个主要任务，前者旨在实现对连续媒体对象内部偏差的控制，后者以对连续媒体对象间偏差的控制为目的。由于很难找到定义偏差许可范围的客观标准，通常采用的方法是主观评估。由主观评估所得到的大致许可范围如表6-1所示。媒体条件许可范围（ms）视频动画相关120音频唇音同步（Lip-syn）80图像重叠显示240不重叠显示500文本重叠显示240不重叠显示500音频音频紧密耦合（立体声）11宽松耦合（会议中来自不同参加者的声音）120宽松耦合（背景音乐）500图像紧密耦合（音乐与乐谱）5宽松耦合（幻灯片）500文本字
28、幕240表6-1 媒体间偏差的许可范围 6.4 多媒体同步参考模型 6.4.1 时间轴模型时间轴模型 时间轴（Timeline）模型运用十分广泛。在时间轴模型中，如图6-9所示，所有对象开始和结束的时间都对应到一个全局的时间轴上，但各个对象互相独立，修改单独的对象不会影响其它对象的时间属性。图6-9 时间轴模型 时间轴模型十分直观，因此被许多系统采用。但是由于这种模型的对象独立性，因此在实现时需要考虑一些问题：n每个对象必须保证实现和时间轴的绝对同步，由此来保证相关对象之间的同步；n修改一个对象的时间属性可能会引起相关的全部对象在时间轴上修改时间属性；n所有对象的时间长度必须预先知道，否则无法
29、处理未知时间长度的对象。n基于全局时间轴的同步描述 基于全局时间轴的同步是通过把相互独立的对象依附到一个时间轴上来描述，丢掉或更改一个对象不影响其它对象的同步。这种描述要维持一个全局时间（World Time）轴。每个对象可将此全局时间映射到局部时间，并沿此局部时间前进。当全局时间和局部时间误差超出一个给定范围时，则要求与全局时间重新进行同步。时间轴同步能较好地表达源于媒体对象内部结构的抽象定义。它定义了一个与视频流中某图像相关的说明文字的演示的起始位置，而不再要求有相关视频帧的知识。由于同步仅能基于固定的时间点定义，若媒体对象无确定的演示时间，这种方法就能力有限了（例如对于依赖用户交互才出现
30、的现象）。n基于虚拟时间轴的同步描述 参考时间轴的一般化情形是虚拟时间轴方法。在该方法中，按用户定义的度量单位定义坐标系统，同步关系基准参考是该时间轴；并且，可用若干虚拟轴产生一个虚拟的坐标空间。例如使用注解进行乐曲的描述：乐曲的连续和持续时间用一个坐标轴定义，而其节奏频率用另一个坐标轴定义。在运行时可将虚拟时间轴映射到实际时间轴。6.4.2 参考点模型参考点模型 参考点同步模型本质上是对时间轴模型的一种改进，它将时间相关媒体看作是一系列离散时间无关的子单元构成的序列。媒体对象的开始、结束时间，以及时间相关媒体对象子单元的开始时间都可视为一个参考点。媒体对象间的同步是通过连接媒体对象的参考点来
31、定义的，如下图6-10所示。一组连接在一起的参考点叫做一个同步点，同步是通过在同步点上发信号机制实现的。即每个到达同步点的媒体对象给与此同步点相关联的所有其它媒体对象发信号，其它媒体对象在收到此信号后，在必要时做“加速动作”以保持同步。参考点同步模型中一般人为指定一个主媒体流，其它媒体流以此作为参考。参考点同步模型的缺点是将连续媒体离散化，破坏了连续媒体之间的相互依赖关系，从而破坏了连续媒体的整体特性。另外还需要检查不一致性的机制来保证同步定义的正确性。图6-10 参考点同步模型例子6.4.3 层次模型 多媒体同步的四层参考模型如图6-11。在实际的多媒体系统中，同步机制往往不是作为一个独立的
32、部分存在，而是分散在传输层之上的各个模块中，因此在实际系统中不一定能够清晰地看到图示的层次。四层参考模型的意义在于通过层次化分析来理解各种相关的因素，并据此研究同步控制机制。图6-11媒体同步的四层参考模型 该模型本身的层次结构与OSI-RM七层网络协议参考模型及时域参考框架的大致对应关系如图6-12示。时域参考框架的重要性在于它对时间模型的定义，而四层参考模型的意义在于它规定了同步机制的层次及各层所应完成的主要任务。按层次的划分从上而下来看，由多媒体应用生成时域场景，时域场景是描述层的处理对象。描述层处理的核心是时域定义方案，产生的同步描述数据和同步容限，经过对象层的适当转换后进入到由对象层
33、、流层和媒体层构成的同步机制。图6-12时域参考框架与四层参考模型间的对应关系 为实现同步所做的规划常称为调度。同步机制首先依照同步描述数据生成某种调度方案，调度方案与将要进行的对多媒体数据的处理（如提取、发送、播放等）有着直接的关系，它包括何时对其中哪一个媒体对象或哪个LDU进行处理的安排；其次，同步机制需要根据同步容限以及多媒体数据的特点申请必要的资源（如CPU时间、通信带宽、通信缓冲区等）；然后，在执行调度方案的过程中，同步机制将按照同步容限要求完成对偏差的控制，以维持多媒体数据的时域关系。n媒体层媒体层 媒体层处于同步机制的最下层，是同步机制与底层服务系统之间的接口。媒体层的处理对象是
34、来自于连续码流（如音频、视频数据流）的LDU。LDU的大小在一定程度上取决于同步容限。偏差的许可范围越小，LDU越小；反之，LDU越大。通常，视频信号的LDU为1帧图像，而音频信号的LDU则是由若干在时域上相邻的采样点构成的一个集合。为了保证媒体流的连续性，媒体层对LDU的处理通常是有时间限制的，因而需要底层服务系统（如操作系统、通信系统等）提供必要的资源预留及相应的管理措施（如服务质量保障措施等）。在媒体层接口，该层负责向上提供与设备无关的操作，如Read（Device handle,LDU）、Write（Device handle,LDU）等。其中，由Device handle所标识的设备
35、可以是数据播放器、编解码器或文件，也可以是数据传输通道。在媒体层内主要完成两项任务：其一是申请必要的资源（如CPU时间、通信带宽、通信缓冲区等）和系统服务（如服务质量保障服务等），为该层各项功能的实施提供支持；其二是访问各类设备的接口函数，获取或提交一个完整的LDU。例如，当设备代表一条数据传输通道时，发送端的媒体层负责将LDU进一步划分成若干适合于网络传输的数据包，而接收端的媒体层则需要将相关的数据包组合成一个完整的LDU。媒体层其内部不包含任何的同步控制操作。这意味着，当一个多媒体应用直接访问该层时，同步控制将全部由应用本身来完成 n流层流层 流层的处理对象是连续码流或码流组，其内部主要完
36、成流内同步和流间同步两项任务，即将LDU按流内同步和流间同步的要求组合成连续码流或码流组。由于流内同步和流间同步是多媒体同步的关键，所以在同步机制的三个层次中，流层是最为重要的一层。在接口处，流层向上层提供诸如Start（Stream）、Stop（Stream）、Creategroup（list-of-streams、Start（group）、Stop（group）等功能函数。这些函数将连续码流作为一个整体来看待，即对该层用户来说，流层利用媒体层的接口功能对LDU所作的各种处理是透明的。流层在对码流或码流组进行处理前，首先需要根据同步容限决定LDU的大小以及对各LDU的处理方案（即何时对何LD
37、U作何种处理）。此外，流层还要向媒体层提交必要的服务质量（QoS）要求，这种要求是由同步容限推导而来的，是媒体层对LDU进行处理所应满足的条件，例如传输LDU时，LDU的最大延时及延时抖动的范围等。媒体层将依照流层提交的QoS要求，向底层服务系统申请资源以及QoS保障。在执行LDU处理方案的过程中，流层负责将连续媒体对象内的偏差以及连续媒体对象间的偏差保持在许可的范围之内，即实施流内与流间的同步控制，但它不负责连续媒体和非连续媒体之间的同步。当多媒体应用直接使用流层的各接口功能时，连续媒体与非连续媒体之间的同步控制则要由应用本身来完成。n对象层对象层 对象层能够对不同类型的媒体对象进行统一地处
38、理，使上层不必考虑连续媒体对象和非连续媒体对象之间的差异。对象层的主要任务是实现连续媒体对象和非连续媒体对象之间的同步并完成对非连续媒体对象的处理。与流层相比，该层同步控制的精度较低。对象层在处理多媒体对象之前先要完成两项工作：第一，从规范层提供的同步描述数据出发，推导出必要的调度方案（如显示调度方案、通信调度方案等）。在推导过程中，为了确保调度方案的合理性及可行性，对象层除了要以同步描述数据为根据外，还要考虑各媒体对象的统计特征（如静态媒体对象的数据量，连续媒体对象的最大码率、最小码率、统计平均码率等）以及同步容限。同时，对象层还需要从媒体层了解底层服务系统现有资源的状况。第二，进行必要的初
39、始化工作。对象层首先将调度方案及同步容限中与连续媒体对象相关的部分提交给流层并要求流层进行初始化。然后，对象层要求媒体层向底层服务系统申请必要的资源和QoS保障服务，并完成其他一些初始化工作，如初始化编/解码器、播放设备、通信设备等与处理连续媒体对象相关的设备。得到调度方案并完成初始化工作以后，对象层开始执行调度方案。通过调用流层的接口函数，对象层执行调度方案中与连续媒体对象相关的部分。在调度方案的执行过程中，对象层主要负责完成对非连续媒体对象的处理以及连续媒体对象和非连续媒体对象间的同步控制。对象层的接口提供诸如prepare、run、stop、destroy等功能函数，这些函数通常以一个完
40、整的多媒体对象为参数。显然，同步描述数据和同步容限是多媒体对象的必要组成部分。当多媒体应用直接使用对象层的功能时，其内部无需完成同步控制操作，多媒体应用只需利用规范层所提供的工具完成对同步描述数据和同步容限的定义即可。n描述层描述层 描述层的处理对象是由多媒体应用生成的时域场景。它主要解决的是多媒体表现中各个场景的安排与对象同步的描述问题，这一层关心的是多媒体对象是否能够被描述或描述是否正确，而不关心具体如何实现同步。描述层的核心是时域定义方案，其接口为用户提供了使用时间模型描述多媒体数据时域约束关系的工具，如同步编辑器、多媒体文档编辑器和著作系统等。描述层产生的同步描述数据和同步容限，经由对
41、象层的适当转换后进入由对象层、流层和媒体层构成的同步机制。此外，还可以将用户级的QoS要求映射到对象层接口。6.5 多媒体同步控制机制 多媒体同步控制机制的作用是将各个媒体的同步误差控制在它所能容忍的范围内。同步机制实际上是一种服务过程，它能够了解同步描述数据所定义的时域特征，并根据用户所要求的同步容限，完成对该特征的维护（即在运行过程中保证时域特征不受破坏）。在理想情况下，各媒体流采用虚电路传输、演示动作同时启动、演示设备以等速率方式运行，这样便可以保证多媒体对象的同步播放。然而，在实际网络环境下的多媒体系统中，各个媒体流由于来源于不同的媒体源，且往往采用不同的传输路径，使得它们在接收端进行
42、播放时，常常出现失调的现象，因此，往往将强制同步机制引入到多媒体对象演示过程中。一般而言，所使用的同步控制机制既要保证多媒体数据流的媒体内同步，又要保证多媒体数据流的媒体间同步。媒体内的同步关系表现为媒体流的连续性和实时性，媒体间的同步关系表现为各种媒体流中同步点的同时播放。6.5.1媒体内同步 n基于播放时限的同步方法基于播放时限的同步方法 一个连续媒体数据流是由若干LDU构成的时间序列，LDU之间存在着固定的时间关系。当网络传输存在延时抖动时，连续媒体内部LDU的相互时间间隔会发生变化。这时，在接收端必须采取一定的措施，恢复原来的时间约束关系。一个方法是让接收到的LDU先进入一个缓存器对延
43、时抖动进行过滤，使从缓存器向播放器（或解码器）输出的LDU序列是一个连续的流，如图6-13示。通过缓存器会带来播放的延迟。因此，必须适当地设计缓存器的容量，既能消除延时抖动的影响，又不过分地加大播放时延时间。这种方法适用于收发时钟同步、且延时抖动在一个确定的范围之内的情况，不仅可以解决传输时延抖动，而且可以解决由数据提取、数据处理等原因引起的延时抖动。图6-13接收缓存器n基于缓存数据量控制的同步方法基于缓存数据量控制的同步方法 采用基于缓存数据量控制方法的两种系统模型如图6-14示，其区别在于控制环路是否将信源和传输线路包含在内。信宿端缓存器的输出按本地时钟的节拍连续地向播放器提供媒体数据单
44、元，缓存器的输入速率则由信源时钟、传输延时抖动等因素决定。由于信源和信宿时钟的偏差、传输延时抖动或网络传输条件变化等影响，缓存器中的数据量是变化的，因此，需要周期性地检测缓存的数据量。如果缓存器超过预定的警戒线，例如，快要溢出或快要变空，就认为存在不同步的现象，需要采取再同步手段。在第一种模型中（如图6-14（a）所示），再同步是在信宿端进行的。可以通过加快或放慢信宿时钟频率，也可以删去或复制缓存器中的某些数据单元，使缓存器中的数据量逐渐恢复到警戒线之内的正常水平。在第二种模型中（如图6-14b）所示），类似的再同步措施在信源端进行。在缓存数据量超过警戒线时，通过网络向信源反馈需要进行再同步的
45、控制信息，让信源加快或放慢自己的发送频率。图6-14基于缓存数据量控制的系统模型6.5.2媒体间同步 媒体之间的同步包括静态媒体与实时媒体之间的同步和实时媒体流之间的同步。到目前为止，对于媒体流之间同步的方法还未形成通用的模式，许多方法都是基于特定的应用环境提出的。n基于全局时钟的时间戳方法基于全局时钟的时间戳方法 时间戳技术是指在每个媒体的数据流单元中加进统一的时间戳，具有相同时间戳的信息单元将同时予以表现。我们知道，不同的媒体流通过分离的信道传输，媒体间同步是通过所有媒体流的数据单元都达到一样的端端延迟这一间接的方法而完成的。数据分组在发送端打上时间戳，接收方在从发送时计起的一个固定延迟后
46、，才将数据分组提交给用户。时间戳同步技术的最大特点是接收方基于时间戳实现媒体间同步中一起传输，不要附加信道，不需另外的同步信息，不改变数据流。同步信息(即时间戳)装入数据分组绝对时间戳技术是接收方能利用时间戳计算出每个报文分组所经历的准确延迟，并据此来采取措施适应延迟特性的变化，平滑延迟抖动而不需引入额外的延迟，但它需要准确的全网同步化时钟，相对时间戳同步技术用相对时间戳取代绝对时间戳，在保持了同步准确性的同时，不需要全网同步化时钟。时间戳同步技术用时间戳参数来准确地描述媒体间的同步关系，不引入额外的延迟，是当前多媒体同步通信研究的热点。时间戳可以采用绝对时间或从开始起的相对时间，因此该同步技
47、术又分为绝对时间戳同步技术和相对时间戳同步技术。在具有统一网络时钟的同步通信网中，可以加上绝对时间标记（时戳），这种方法称为绝对时戳方法。在没有统一时钟的网络中，可以在多媒体的各类信息中选择一种作为主媒体，其它为从属媒体，在主媒体上的各个单元按时间顺序打上时戳，从属媒体则由系统视其和哪个主媒体时间单元一致而打上该单元的时戳，使用这种方法建立的同步关系就称为相对时戳同步。采用相对时戳的同步方法，在媒体流连续同步的情况下，能准确地实现媒体同步。时间戳同步法既可用于多媒体通信，也可用于多媒体数据的存取。在发送时（或存储时），设想将各个媒体都按时间顺序分成若干小段，放在同一根时间轴上。给每个单元都做一
48、个时间记号，即时间戳。处于同一时标的各个单元具有相同的时间戳。各个媒体到达接收端（或读出）时，具有相同时间戳的媒体单元同时进行表现，由此达到媒体之间同步的目的。这种方法基于了一个假设：所有信源和信宿的本地时钟都与一个全局时钟同步，以此来解决信源和信宿的时钟偏差问题。但往往这种全局时钟在技术上难以维持，因此，可通过在网络中使用时钟同步协议来解决这个问题。比较常见的是在Internet上运行的网络时间协议（Network Time Protocol，NTP）。该协议规定用中央时间服务器来维护一个高精度和高稳定度的时钟，并向网上的站点周期性地广播定时信号，各站点将这个定时信号作为调整本地时钟的基准。
49、实践表明，经过这样的调整，各站点的时钟同步的精度可保持在10ms之内。在这么微弱的时间偏差范围内，接收端根据发送端在发送媒体数据流时设定的时间戳信号来恢复媒体数据流间的时间关系，能够符合用户对播放质量的要求。n基于反馈的流间同步方法基于反馈的流间同步方法 基于反馈的同步机制是网络环境下常用的同步方法。在接收端要进行失调检测是这种方法的关键。根据失调检测信息，可以在发送端进行同步控制，也可以在接收端进行同步控制。发送端根据接收端反馈回来的失调检测信息采取相应的措施进行同步控制。一般是在信源和信道之间增加适当容量的缓冲区，当网络负载严重时，可以把发送的数据流先存入缓冲区，等网络空闲了再发送。也就是
50、说，发送端根据网络当前的拥塞情况来动态调节数据流的发送速率，因此可能会降低部分媒体的质量，例如，只传送图像基本层或者降低图像分辨率，以满足用户对媒体数据流的同步需求。但这种控制手段因为需要反馈，延迟了发送端的反应，具有一定的滞后性。所以尽可能早的让发送端发现问题，及时作出调整，是较新的一种同步设想。在接收端也可进行同步控制。这种同步控制实际上是一种对传输过程中出现的各种不同步问题的补偿性措施，可以称其为再同步。接收端的再同步技术有不同的同步算法，如有基于神经网络和模糊逻辑的同步机制，有基于特定算法的同步机制（以实时数据流的播放时间大于它们的到达时间为原则）等。一般来说，网络发生的最大延时和最大
