数字电视原理第5章-视频压缩编码标准-课件.ppt

1、第5章视频压缩编码标准 5.1 视频压缩编码标准的发展历程 5.2 H.261标准 5.3 JPEG标准 5.4 MPEG-1标准5.5 MPEG-2标准 5.6 H.263建议 5.7 MPEG-4标准 5.8 H.264标准 习题 第第5章章 视频压缩编码标准视频压缩编码标准 第5章视频压缩编码标准 5.1 视频压缩编码标准的发展历程视频压缩编码标准的发展历程视频压缩编码标准的制定工作主要是由国际标准化组织(ISO/IEC)和国际电信联盟(ITU)完成的。到目前为止，由上述两个国际组织制定了MPEG-1、MPEG-2、MPEG-4(2)以及MPEG-4(10)和H.261、H.262、H.

2、263、H.263+、H.263+、H.264等有关视频压缩编码的国际标准。表5.1.1 按时间顺序给出了各种视频压缩编码标准。第5章视频压缩编码标准 第5章视频压缩编码标准 第5章视频压缩编码标准 图5.1.1表示出了视频压缩编码标准的发展历程，其中横虚线以上表示由ITU制定的压缩编码标准，横虚线以下表示由ISO/IEC制定的标准，压在横虚线上的方框表示由ISO/IEC与ITU联合制定的压缩编码标准。第5章视频压缩编码标准 图 5.1.1 视频压缩编码标准的发展历程第5章视频压缩编码标准 由表5.1.1和图5.1.1可见，图像压缩编码标准可分为两大系列：MPEG-X和H.26X。MPEG-X

3、是由国际标准化组织(ISO)和国际电工委员会(IEC)提出的标准，H.26X 是由国际电信联盟(ITU)标准委员会提出的，它们在数据格式和输出码率之间有如表5.1.2所示的对应关系。第5章视频压缩编码标准 第5章视频压缩编码标准 1.ISO/IEC颁布的标准颁布的标准国际标准化组织(International Organization for Standardization，ISO)是目前世界上最大、最具权威性的国际标准化专门机构。国际电工委员会(International Electrotechnical Commission，IEC)是世界上最早的国际性电工标准化机构。MPEG-1是由IS

4、O和IEC共同委员会中的MPEG组织于1992年制定的。它最初用于数字信息存储体上活动图像及其伴音的编码，其数码率为1.5 Mb/s，图像采用CIF(Common Intermediate Format)格式(352288像素或352240像素)，每秒30帧，两路立体声伴音的质量接近CD音质，该标准广泛应用于VCD。MPEG-2是由ISO的活动图像专家组和ITU的第15研究组于1994年共同制定的，在ITU的标准中，被称为H.262。第5章视频压缩编码标准 MPEG-2作为计算机可处理的数据格式，主要应用于数字存储媒体、视频广播和通信领域，它的数码率为240 Mb/s。随着用户对音频和视频等宽

5、带业务的需求和宽带网络的迅速发展，MPEG-2的视频流逐渐被用户接受，VOD(Video On Demand，视频点播)视频流典型速率将达到36 Mb/s。另外，HDTV(High Definition Television，高清晰度电视)的出现，是视频业务发展的另一个高级阶段。MPEG组织于1999年1月正式公布了MPEG-4(1)版本，1999年12月又公布了MPEG-4(2)版本。MPEG组织的初衷是制定一个针对视频会议、视频电话的超低比特率(64 kb/s以下)编码的标准，并打算采用第二代压缩编码算法，以支持甚低数码率(Very Low Bit Rate)的应用。第5章视频压缩编码标准

6、 但在制定过程中，MPEG组织深深感到人们对多媒体信息特别是对视频信息的需求由播放型转向了基于内容的访问、检索和操作，所以修改了计划，制定了现在的MPEG-4。MPEG-7和MPEG-21不是针对视频压缩的标准。MPEG-7旨在解决对多媒体信息描述的标准问题，并将该描述与所描述的内容相联系，以实现快速、有效的检索。MPEG-21的目标是定义一个交互式多媒体框架，跨越大范围内不同的网络和设备，使用户能够透明而广泛地使用多媒体资源。第5章视频压缩编码标准 H.264/AVC标准是当前国际上最新的图像编码标准。它被ITU命名为H.264，ISO/IEC则把此标准叫做国际标准1449610(MPEG-

7、4(10)高级图像编码(AVC)。制定此标准的主要目的就在于增强图像的压缩效率和改善图像数据在网络中的传输。H.264标准在当前图像标准中压缩效率是最高的，它比H.263标准提高将近一倍。本章首先介绍H.264标准的制定背景，然后讲述标准的应用范围和技术特点，最后简述整个标准的编码流程，这样可更好地理解解码过程。第5章视频压缩编码标准 2.ITU颁布的标准颁布的标准国际电信联盟(International Telecommunication Union，ITU)是联合国的一个专门机构，是国际电信界最权威的标准修订组织。1972年12月，电信标准化部、无线电通信部和电信发展部承担着ITU的实质性

8、标准制定工作。其中，电信标准化部门由原来的国际电报电话咨询委员会(CCITT)和国际无线电咨询委员会(CCIR)的标准化部门合并而成，其主要职责是实现国际电信联盟有关电信标准化的目标，使全世界的电信标准化。H.261是国际电报电话咨询委员会(CCITT)制定的第一个视频编码标准，它的数码率是P64 kb/s，主要应用于ISDN(Integrated Services Digital Network)、ATM(Asynchronous Transfer Mode)等宽带信道上实时的传输声音和图像信息，不适合在PSTN(Public Switched Telephone Network)和移动通信

9、网等带宽有限的网络上应用。第5章视频压缩编码标准 H.262也相当于MPEG-2，它是由ITU与ISO/IEC联合开发的，目前这个标准已经成功地应用在DVD(数字化视频光盘)、数字广播、数字电视等诸多领域。为了满足低速率视频通信的应用需要，ITU又推出了适于在速率低于64 kb/s的信道上传输的H.263视频编码标准。H.263算法所用的基本结构来自H.261，并在H.261的基础上做了许多重要改进。1998年，ITU推出的H.263+是H.263的第二版，它在前一版的基础上提供了12个新的可选模式和其它特征，进一步提高了压缩编码性能。ITU在对H.263标准进行不断的改进和完善的过程中制定了

10、近期目标和远期目标。近期目标是H.263+(H.263第三版，2000年制定)，而远期目标就是于1998年开始制定的H.26L标准。第5章视频压缩编码标准 2001年，ISO的活动图像专家组(MPEG)和ITU的视频编码专家组(VCEG)组成联合视频专家组(JVT)共同推进视频压缩技术的发展，在2001年9月JVT的第一次会议上制定了以H.26L为基础的H.264标准草案和测试模型TML-9(Test Model Long Team Number 9)。2003年3月，JVT形成了最终标准草案，分别提交ITU和ISO/IEC，其中该标准在ITU标准中被称为H.264，在ISO/IEC标准中被称

11、为MPEG-4的第10部分先进视频编码(AVC)。第5章视频压缩编码标准 3.超高清晰度成像超高清晰度成像(HRI)建议建议(ITU-R BT.1201)ITU-R BT.1201 建议书提出了超高清晰度成像(HRI)格式和规范建议。该建议的提出主要考虑到如下因素：(1)超高清晰度图像能够在诸如计算机图形、印刷、医疗、电影及电视等领域里作为未来的图像系统使用;(2)世界各国正在进行有关超高清晰度图像的研究和应用试验;(3)为了经济地实现超高清晰度图像系统，应该建立世界通用标准;(4)超高清晰度图像信号传送时，数据压缩技术起着重要作用。HRI典型空间分辨率的级别的建议如表5.1.3所示。第5章视

12、频压缩编码标准 第5章视频压缩编码标准 4.我国制定的我国制定的AVS标准标准我国是ISO/IEC组织的正式成员国，国家信标委下属的多媒体分委员会与ISO/IEC JTC1/SC29直接对口。从2000年5月开始，我国科研单位开始跟踪并参与JVT标准的制定工作，目前已有多项技术提案递交到JVT标准，有些技术已经被JVT标准所接收。基于我国专家多年参与MPEG国际标准制定的经验，2002年6月成立的“数字音/视频编、解码技术标准工作组”联合国内从事数字音/视频编、解码技术研发的科研机构和企业，提出了我国自主的数字音/视频编、解码技术标准AVS(Audio Video coding Standar

13、d)。于2003年年底完成的AVS 1.0标准具有四个特点：(1)性能高，在性能上比最新的国际标准H.264略高，比MPEG-2高两倍以上;第5章视频压缩编码标准(2)复杂度低，算法的复杂度比H.264低;(3)实现成本低，软件和硬件实现成本都比H.264低;(4)专利授权费用低。AVS工作组希望以此技术标准为契机，提高我国音/视频芯片、整机和软/硬件系统的核心竞争力，为我国数字电视等AV产业的跨越式发展提供重要的技术支撑。第5章视频压缩编码标准 5.2 H.261标准标准1984年国际电报电话咨询委员会的第15研究组建立了一个专家组专门研究电视电话的编码问题，所用的电话网络为综合业务数据网络

14、ISDN，当时的目标是推荐一个图像编码标准，其传输速率为m384 kb/s，m=1，2，3，4，5。这里384 kb/s在ISDN中称为H0通道。另有基本通道B的速率为64 kb/s，6B384 kb/s。5H0=30B=1920 kb/s为窄带ISBN的最高速率。后来因为以384 kb/s速率作为起始点偏高，广泛性受限制，另外跨度也太大，灵活性受影响，所以改为P64 kb/s，P=1,2,30。最后又把P扩展到32，因为3264 kb/s=2084kb/s，其中2084=211,基本上等于2 Mb/s，实际上已超过了窄带ISDN的最高速率1920 kb/s，最高速率也称通道容量。经过5年以上

15、的精心研究和努力，终于在1990年12月完成和批准了CCITT推荐书H.261，即“采用P64 kb/s的声像业务的图像编解码”，H.261简称P64。第5章视频压缩编码标准 由于H.261标准是用于电视电话和电视会议，因此推荐的图像编码算法必须是实时处理的，并且要求最小的延迟时间(因为图像必须和语音密切配合，否则必须延迟语音时间)。当P取1或2时，速率只能达到128 kb/s，由于速率较低，只能传清晰度不太高的图像，因此适合于面对面的电视电话。当P6时，速率大于或等于384 kb/s，则速率较高，可以传输清晰度尚好的图像，所以适用于电视会议。第5章视频压缩编码标准 5.2.1 图像格式图像格

16、式图像纵横比和每帧图像的纵、横像素数是图像的基本格式，并且由此可以推算像素的纵横比。为了使现行各种电视制式，即PAL、NTSC、SECAM制的图像比较容易地转换为电视电话的图像格式，从而便于相互交换，并且速率又较低，H.261采用通用中间格式CIF。CIF规定图像亮度分量Y的横向像素为352个，纵向像素为288个。图像色度分量Cb、Cr的纵、横像素数均为亮度分量的一半。另外，图像尺寸的纵横比为3 4，与常规模拟电视屏幕尺寸比例一致。由此可以推算像素的纵横比为像素纵横比=纵:横=34:11:12288 352第5章视频压缩编码标准 可见，像素纵横比为11 12，接近于方形。亮度分量Y的像素数为色

17、度分量Cb或Cr像素数的4倍，而Y分量像素的面积等于色度分量Cb或Cr像素的面积，可见，色度分量的清晰度比亮度分量的清晰度低，这对整个图像清晰度基本无影响，因为人眼对色度的分辨率本来就低，所以可以利用这种心理视觉冗余度来减少色度像素数。第5章视频压缩编码标准 亮度分量的纵向像素为288个，实际上相当于288行扫描线，这是考虑到当前两种电视制式为625行25帧和525行30帧，都是隔行扫描和每帧为2场，所以两种制式的场扫描行数为6252和5252，而288扫描行就是由这两种场扫描行数转换来的，即取这两种场扫描行数的平均值：(5.2.1)这样比较容易实现CIF与这两种电视制式之间的相互转换。625

18、52522287.52882第5章视频压缩编码标准 由于编码时采用88像素块作为基本单元，因此图像的纵、横像素数均应是8的整数倍，即352844，288836，176822，1448=18，所以亮度分量和色度分量的88块数分别应为4436，2218，即亮度分量的块数为各色度分量块数的4倍，故四个亮度分量块和两个色度分量块共六块反映的是同一个像区，可以组成一组，称之为宏块，用MB表示，这样有利于一起编码。第5章视频压缩编码标准 将每行模拟亮度信号转换成数字信号时，需要对亮度信号抽样，考虑到纵向清晰度为288行，比较低，所以横向清晰度也不需要比纵向清晰度高，故将抽样频率定为 6.75 MHz。对于

19、625行25帧制式，其行频为6252515 625 Hz，抽样频率为行频的432倍，即 6.75 MHz15 625432 Hz。对于525行30帧制式，实际上是30 0001001帧，接近于29.97 帧，其行频为52530 000/100115 734.266 Hz，抽样频率为行频的429倍，即下式成立:(5.2.2)300006.75MHz429 525Hz1001第5章视频压缩编码标准 抽样频率取为电视制式的行频的整数倍，有利于长时间连续抽样时纵、横像素同步，同时抽样频率也比较容易发生。另外，色度信号的抽样频率为亮度信号抽样频率的一半，即3.375 MHz。对于625行25帧制式，行周

20、期为64 s，其中显示区时间约为54 s，所以显示区像素数为显示区像素数=(5.2.3)从显示区中同步地取出352个像素即可。显示区时间抽样周期54s=54 6.75=364.516.75MHz第5章视频压缩编码标准 对于525行30帧制式，行周期为63.555 s，其中显示区时间约为53 s，所以显示区像素数为显示区像素数53 s6.75 MHz357.75同样地，从显示区中同步地取出352个像素即可。当电视电话在ISDN网中传输时，若P取1或2，则最高速率为128 kb/s，上述CIF规定的像素仍然太多，因此取CIF规定的纵、横像素数的一半，称为QCIF(其中Q为Quarter,即1/4)

21、，此时亮度信号的横向像素数为176，纵向像素数为144。色度信号Cb、Cr的横向像素数为88，纵向像素数为72。第5章视频压缩编码标准 QCIF规格为最低要求，所有电视电话都应该达到此规格，而CIF规格则为任选。在像素数减少的同时，显示面积也相应减少，例如取图像屏幕对角线长34英寸为宜。一些厂家采用QCIF格式在现行电话网中传输电视电话，由于现行电话网可以传输的速率在20 kb/s以下，远比64 kb/s低，因此要采取降低帧频等措施。在ISDN中传输电视电话和电视会议时帧频应取30 Hz。综上所述，H.261标准的图像格式如表5.2.1所示。第5章视频压缩编码标准 第5章视频压缩编码标准 另按

22、CCIR-601规定量化后色度信号峰峰值为224等级电平，最低电平为16，最高电平为240，亮度信号Y量化后的电平有220级电平，亮度信号最高电平为235，最低电平(黑电平)为16，其亮度信号和色差信号的码电平分配见第1章。第5章视频压缩编码标准 下面举例说明图像压缩比CR的计算方法。例例5.2.1 若采用CIF图像格式，帧频取30帧/秒，求在速率为384 kb/s的网络中传输时应有的压缩比CR。解解 压缩前的速率为352288+2(176144)像素/帧30帧/秒8位/像素=36495.36kb/sCR=(5.2.4)此压缩比较高，需要采用较多措施后才能达到。上面的例子采用简化的计算方法，在

23、实际编码时要加入辅助信息，使应有的压缩比更高些。压缩前速率压缩后速率36495.36kbit/s=95.04384kbit/s第5章视频压缩编码标准 5.2.2 信源编码器方框图信源编码器方框图图5.2.1所示为信源编码器方框图。图中图像输入实际上是以宏块MB为单位输入的，MB中包含亮度信号Y的4个88像素方块，色度信号Cb、Cr的各一个88像素方块，共6个88像素方块。下面分段讨论信源编码器方框图。图5.2.1与第4章的图 4.1.3 实质上完全一样，只不过这里更细化了。第5章视频压缩编码标准 图 5.2.1 信源编码器方框第5章视频压缩编码标准 1.帧内、帧间编码模式帧内、帧间编码模式 电

24、视电话的帧频为30帧/秒。相邻帧由于其内容渐变而有很强的相关性，所以允许每两帧传送图像之间可以有3帧不传。每次场景更换后，第1帧一定要传，所以要对第1帧进行帧内编码，所传的这帧称为帧内帧，用I(即Intraframe的缩写)表示。图5.2.2中的第5帧为预测帧，用P表示，它是由第1帧和第5帧本身经过预测编码而得的。P帧本身也可以作为下一个P帧预测编码的基础。图5.2.2中的B帧称为双向内插帧，它是由邻近的I、P帧或P、P帧计算所得的。由此可知，I帧和P帧是产生全部B帧的基础。通常每12帧或15帧图像中传1帧I帧，每3帧或4帧图像中传1帧P帧。换场景后第1帧为I帧。第5章视频压缩编码标准 图5.

25、2.2中计算第2帧(B)中每个像素时，可用公式，计算第3帧(B)时，可用公式 ，依次类推可得其它B帧的计算公式。上述形成P帧和B帧的方法均称为帧间编码。图5.2.1中左侧的两个单刀双掷开关由编码控制器(CC)控制，用于帧内、帧间编码选择，图示为帧间编码，当开关指向上方时为帧内编码。31B=I+P441B=I+P2第5章视频压缩编码标准 图 5.2.2 帧内、帧间编码模式计算第5章视频压缩编码标准 2.DCT变换变换 图5.2.1中方框T为变换，实际上当前都用离散余弦变换(DCT)将二维空间像素值变换成二维空间频域系数，通常88像素块作为基本变换单元，每一像素用8 bit量化后，在0255级电平

26、中，再向下平移幅度的一半，即减128，亮度和色度信号也做同样处理，但色度公式中已经向上平移128，故在此只是恢复原样而已，原因是色度信号经常有正有负，而亮度信号均为正值，平移后使数据处在零电平附近，这样可以降低传输速率。DCT变换原理和变换公式请参考第4章，这里不再重复叙述。第5章视频压缩编码标准 3.量化量化这部分的内容可参考4.3.6节的H.264标准中的量化公式。4.运动补偿运动补偿 图5.2.1的方框P中，包含帧存储、运动补偿和可变延时。这里的运动补偿是用于帧间编码的。下面分段讨论。1)帧内、帧间判据 为了自动决定输入的宏块MB应采用帧内还是帧间编码，应该先找到判据，其方法是先将前帧图

27、像储存在帧存储器，后帧图像来临时，比较前、后两帧图像的相关性，若相关性弱则采用帧内编码，若相关性强则采用帧间编码，这里的判据是用于每一宏块MB的。第5章视频压缩编码标准 设前帧宏块的亮度信号像素值用P(x，y)表示，后帧宏块的亮度像素值用C(x，y)表示。前帧宏块的亮度信号方差用代号VAROR表示，其值由下式决定:(5.2.5)在宏块内亮度信号有4个88方块(或1616方块)，共有256像素。VAROR实际上反映了前帧图像的反差强弱。21616161621111(,)(,)VAROR256256yxyxP x yP x y第5章视频压缩编码标准 前、后帧因时间差而引起像素差，用时间预测变动VA

28、R表示，其值由下式决定:(5.2.6)此式就是前、后帧对应像素之差的均方值。VAR也说明前、后帧像素值变动所导致的平均能量变动。此处像素值在0255范围内。VAR值越小，则相关性越大，但是还要考虑图像反差，反差大的图像，VAR一般也相应增大。1616211(,)(,)VAR256yxC x yP x y第5章视频压缩编码标准 根据VAROR和VAR的值，可以定出下述三条帧内、帧间编码模式的判据:(1)当VAR64时，为帧间模式。(2)当VAR64，VARORVAR时，为帧间模式。(3)当VAR64，VARVAROR时，为帧内模式。这三条判据可以用图5.2.3来表示。若是帧内编码，则对该宏块MB

29、进行DCT变换和量化等。若为帧间编码，则该宏块属于P帧，要进行运动估计等编码，若采取不传，则该宏块属于B帧。所以要预先编制程序才能进行操作，而上述判据只是程序中的一部分。上述判据是一些厂家采用的，但不属于H.261标准，因为也可以有其它判据。第5章视频压缩编码标准 图 5.2.3 帧内、帧间编码模式的判据第5章视频压缩编码标准 2)运动估计和运动矢量在帧间编码时，需要传前、后帧宏块MB的差值，此差值一般地说不是对应像素的差值C(x，y)P(x，y)，而是在前帧内，对应于后帧宏块MB位置的附近区域中，搜索最匹配的MB，也就是寻找最相似的MB，也可能找到完全相同的MB，这时差值为零，即不需要传MB

30、的差值数据，只需要传表示前、后帧位置差别的信号，亦即运动矢量MV，其表达式如下:(5.2.7)1616,11MV(,)min(,)(,)h vyxh vC x yP xh yv第5章视频压缩编码标准 式中：min表示搜索最小值(Minimum);H、V表示水平和垂直方向搜索像素数，最大搜索范围均为15+15像素。也有厂家只搜索一半，即8+7像素，这是在前帧亮度信号中搜索的。后帧亮度信号的MB内有1616个像素，但是相应的色度块只有88个像素，所以所得的运动矢量坐标H、V应除2，商的小数部分可丢掉，之后在色度信号中执行。式(5.2.7)中的MV(H，V)除了表示所找到的最小差值外，其中H和V表示

31、前帧中匹配宏块MB的位置，即相对于后帧水平方向向右移动H个像素，垂直方向向下移动V个像素，若为负值则反向。上述操作称为运动估计，运动估计的目的是找到运动矢量。第5章视频压缩编码标准 在前帧中通过运动估计找到最匹配的MB后，则需要传送前、后帧匹配宏块间像素差值矩阵MBxy，即MBxy=C(x，y)P(x+H，y+V)(5.2.8)式中，MBxy的x指水平方向向右16个像素差值，y指垂直方向向下16个像素差值，共有1616=256个像素差值。若原来各帧像素值范围为128127，由于相减则改为255255，即为9 bit。除了上述256个亮度差值外，另有色度信号Cb、Cr各64个差值，共计384个差

32、值。这里所讨论的实际上是如何传图5.2.2中的P帧，即预测帧，其内有396个宏块MB，按上述方法求得的这些宏块的差值均称为预测误差，每一宏块的预测误差都需要经过DCT的量化等编码操作后再传输。第5章视频压缩编码标准 在上述操作过程中，首先是由运动估计找到运动矢量，而后计算预测误差，这是帧间编码中对P帧编码的基本过程。此操作过程可称为运动预测或运动补偿，即不传P帧信息，只传“预测误差”信息，或只传“补偿”信息。事实上这些“预测误差”或“补偿”信息是远少于P帧信息的，这是利用了与邻近全帧图像的相关性进行预测的结果，即补偿了只利用分块时间相关性的不足。第5章视频压缩编码标准 5.环路滤波器环路滤波器

33、环路滤波器又称为二维空间滤波器，它属于低通滤波器，其功能是消除高频噪波。当使用帧间模式和运动补偿时，通常采用环路滤波器，环路滤波器接在运动补偿环路内。它作用在88像素块上，用于消除边缘赝像。图5.2.4(a)为88像素块，其中把像素分为A、B、C、D四类，各类像素所用的滤波系数不同，如图5.2.4(b)所示。为求88方块的系数，首先对88像素值乘比例因子116，之后再对四类像素乘相应的系数，其结果如图5.2.4(c)所示，由于系数值较大，故再除16(也可以根据情况除其它的数，如8、4等)得图5.2.4(d)所示的系数，最后，各像素值只需乘图5.2.4(d)中相应的系数即可。第5章视频压缩编码标

34、准 图 5.2.4 环路滤波器的系数(a)88块中各类像素;(b)各类滤波器系数;(c)中间系数;(d)最后系数第5章视频压缩编码标准 下面举例说明计算图5.2.4(c)中间值的步骤。以图5.2.4(a)中左上角像素A为例，首先A乘1/16，再乘图5.2.4(b)中A的滤波系数16。在对右侧的B像素操作时，左侧的A应乘系数4，这是因为图5.2.4(b)中的B系数中心为8，两旁为4。当对A下侧的C操作时，上方的A也应乘系数4。在对A右下方斜角的D操作时，按照图5.2.4(b)中的D系数方块，A应乘1，所以结果为A(1/16)16441=A16，即图5.2.4(c)中A处的值为16。依次类推，可得

35、各像素应乘的系数如图5.2.4(c)所示，最后图5.2.4(c)中的值均除16得图5.2.4(d)所示的最后系数。由此可见，边缘系数高，中间系数低，即边缘预加重。在解码器中也有环路滤波器，其作用是边缘去加重，使信号恢复原状，同时将混入的边缘噪波压低，所以此环路滤波器能消除边缘高频噪波。第5章视频压缩编码标准 这里介绍的四类像素滤波系数、比例因子等，并非H.261标准，因为这些系数可根据不同情况而更改。第5章视频压缩编码标准 6.帧内、帧间模式的信号走向帧内、帧间模式的信号走向1)帧内模式 图5.2.1中，当编码控制(CC)选择帧内模式时，图中左方两个单刀双掷开关拨在上方，此时输入宏块MB像素数

36、据，MB经过开关输入DCT变换方框T(进行T以前，MB数据已经经过电平下移128)，每次变换只能是一个88数据块，输出DCT系数(也可称频率系数或变换系数)，进入量化器Q。一个MB对应一个量化步长，此量化步长由后续的传输缓冲存储器根据存储余量决定后告知CC，再由CC传给量化器Q和反量化器Q-1。经量化后的数据，一路从信源编码器输出，进入后续的图像复用编码器，另一路进入反馈环路中的反量化器Q-1，经反量化后到反变换器T-1，经反DCT变换后，恢复原来图像数据，再经过加法器后(此时加法器无加法作用)，进入方框P中的帧存储器，直到全帧图像存完。第5章视频压缩编码标准 2)帧间模式 当采用帧间模式时，

37、图5.2.1中左方两开关拨在图示位置，此时方框P内帧存储器中已存有前帧图像数据，当后帧中的宏块MB到来时要经过下列步骤：(1)由送到方框P中的模式判据公式决定应采取的模式，若判定结果是帧间模式，则进入第(2)步，否则按上段帧内模式进行。(2)根据运动估计公式，在后帧MB所对应的前帧MB的15个像素范围内搜索最匹配的亮度块，即4个88亮度数据块，找到最佳前帧匹配数据块后，即得到运动矢量的两个分量H和V，此时H和V可输出到后续的图像复用编码器中供编码输出。第5章视频压缩编码标准 由运动矢量所确定的前帧4个88亮度数据块和2个88色度数据块，按图5.2.5中所述顺序，从方框P的帧存储器中逐块输出数据

38、P(x+H，y+V)，每块数据通过环路滤波器乘滤波系数后记为PF(x+H，y+V)，之后再分两路，一路向上到减法器(参见图5.2.1)，与后帧数据块C(x，y)相减后得差值，宏块(包含6块88数据块)数据差值记为下式：MBxy=C(x，y)-PF(x+H，y+V)(5.2.9)第5章视频压缩编码标准 这就是宏块预测误差。此宏块数据经过下开关进入DCT变换和量化器，输出后分成两路，一路到图像复用编码器，另一路向下进入反馈回路，经过反量化、反DCT变换后，进入加法器。由环路滤波器输出的另一路数据PF(x+H，y+V)向右经过下开关后，与预测误差C(x，y)PF(x+H，y+V)在加法器中相加后，得

39、到后帧数据C(x，y)存在帧存储器中。由此下去直到后帧全帧数据存完，往后则开始下一帧的操作。第5章视频压缩编码标准 图 5.2.5 亮度、色度数据第5章视频压缩编码标准 方框P中有可变延迟功能，由于运动估计操作时间不等以及环路滤波器也有延迟，因此，前帧数据与后帧数据相减时，以及在与预测误差相加时，均需要对准时间，故有可变延迟的需要。第5章视频压缩编码标准 由上述分析可知，信源编码器应该输出的信号有下述几种：(1)帧内、帧间量化DCT系数;(2)帧内、帧间模式选择信号;(3)帧内、帧间各宏块量化步长;(4)图像数据传输与否指示信号(指B帧或预测误差为零时不传);(5)帧间模式各宏块的运动矢量;(

40、6)环路滤波器是否使用指示信号。第5章视频压缩编码标准 综上所述，信源编码电路功能非常灵活：可以跳帧;可以逐个宏块决定帧内或帧间模式;每帧均可储存后与下帧比较作出模式判定;帧存储器在存储3帧以上的情况下，可以进行第1、5帧之间的预测误差计算;P帧内，部分宏块可以采用帧内模式;任何时候场景突变后，可以抓住第1帧进行帧内编码。由此可见，信源编码给编程人员留下了最大限度发挥能力的余地。第5章视频压缩编码标准 5.2.3 信源解码器方框图信源解码器方框图 当编码后的各种信号传到解码器后，解码器如何使用这些信号，可参见图5.2.6。1.帧内模式帧内模式在帧内模式时，编码器送来的宏块MB量化DCT系数被送

41、入去量化器Q1，同时该块MB的量化步长q也被送入去量化器Q1，于是按照基本公式F(u，v)=2qQ(u，v)可得DCT系数F(u，v)，经反DCT变换T1后所得的像素值f(x，y)(带撇号表示与原值略有差别)被送入加法器。当帧内解码时，图5.2.6中所示的单刀双掷开关拨在上方，故加法器左边无信号送入。加法器输出两路图像数据，一路供输出，另一路到帧存储器，供帧间解码时使用。图5.2.6实质上与图4.1.3完全相同，此处只不过更加细化了。第5章视频压缩编码标准 图 5.2.6 信源解码器方框图第5章视频压缩编码标准 2.帧间模式帧间模式 在帧间模式时，编码器提供的量化DCT预测误差和量化步长一起被

42、送入去量化器Q-1，去量化后的信号再经过反DCT变换T-1后得到预测误差C(x，y)PF(x+H，y+V)，此时与该MB相应的运动矢量坐标H和V被送入帧存储器，将前帧匹配信号P(x+H，y+V)从帧存储器取出送入环路滤波器，乘滤波系数后得PF(x+H，y+V)。在帧间模式时，图5.2.6中所示的单刀双掷开关拨在下方，则PF(x+H，y+V)经过开关后到达加法器，与预测误差相加后得C(x，y)，即后帧像素值。加法器输出分两路，一路输出，另一路进入帧存储器储存，此时存入的是P帧(预测帧)，以供备用，因为它可能是下一个P帧的前帧。第5章视频压缩编码标准 5.2.4 图像复用和解复用图像复用和解复用1

43、.图像数据的层次图像数据的层次 为了有秩序地传输每帧图像数据，可把一帧图像数据分成4个层次，即数据块层、宏块层、块组层和帧层。(1)数据块层用B表示。一个数据块包含88个像素，亮度和色度信号均以此数据块作为基本编码单元。(2)宏块层用MB表示。一个宏块包含4个亮度数据块和2个色度数据块(Cb、Cr各1个)，因此MB内共有6个数据块，其先后顺序如图5.2.5所示。在宏块中Y、Cb、Cr描述同一像区。(3)块组层用GOB表示。一个块组包含33个宏块，纵向有3行，每行有11个，其先后次序如图5.2.7所示。第5章视频压缩编码标准 图 5.2.7 块组GOB中宏块MB安排顺序第5章视频压缩编码标准(4

44、)按照CIF格式，每帧图像包含的各层次情况如下：1帧CIF图像=12GOB=1233 MB=3966 B2376 B=1584B(Y)+396B(Cb)+396B(Cr)=152 064像素一帧图像中12块组GOB的排列顺序如图5.2.8所示。若为QCIF格式，则像素只有CIF格式像素的1/4，所以每帧QCIF图像只有3块组，其安排顺序如图5.2.8所示。图像数据按上述层次安排和传输，有利于图像数据交换和设备兼容。第5章视频压缩编码标准 图 5.2.8 块组GOB安排顺序第5章视频压缩编码标准 2.图像复用图像复用图像复用把上述层次的数据按一定方式连接起来，构成一帧数据流。一帧数据的安排方式如

45、图5.2.9所示，图中共有4行，以下分行叙述。第5章视频压缩编码标准 图 5.2.9 图像复用构成一帧数据流第5章视频压缩编码标准(1)第一行表示包含一帧数据。以帧头数据开始，其后有12块组数据。帧头包含的内容有帧开始码、帧计数码、帧类型信息码(如帧格式CIF或QCIF等)、备用插入信息码。(2)第二行为块组GOB数据，以块组头开始，其后有33宏块数据。块组(GOB)头包含块组开始码、块组编号码、块组量化步长(用于整块组，直到有宏块变更量化步长)、备用插入信息码。第5章视频压缩编码标准 (3)第三行为宏块数据，以宏块头开始，其后有6块数据块。宏块(MB)头包含宏块地址码MBA(H.261提供M

46、BA编码表)、类型信息(包括帧内、帧间、运动补偿、滤波器是否使用，H.261提供宏块信息编码表)、宏块量化步长(一直用到再次变更)、运动矢量数据MVD(H.261提供MVD编码表)、编码块图样CBP(用于说明各块数据中的数据数)。宏块中6块数据的编号由下式给出的数表示，即31P1+16P2+8P3+4P4+2P5+P6用Pn1，其它为零所得的数代表第n块。例如，对于第3块，可用P31，其它为零所得的数8来表示，同时第3块中的数据数由H.261提供的CBP编码表中的码字表示。第5章视频压缩编码标准 (4)第四行表明数据块B中的数据安排，即变换系数TCOEFF的安排，每块有88个数据，呈方块形，左

47、上角为直流系数，其它均为交流系数，左下角为最高频率交流系数，对应图像信号的最高频率。由于视觉对低频信号敏感，以及高频系数较多为零，故采用Zig-Zag 扫描将数据排列成串。将这串数据分组，凡是零和零后面的一个数据组成一组。前面的一串零称为游程，用 RUN表示，后面的数据称为量值，用LEVEL表示。对常见的组，H.261提供了TCOEFF编码表。对少见的游程，量值用(RUN，LEVEL)表示，H.261也提供了TCOEFF编码表。帧间编码的第一个系数是直流差，按上述交流系数方式编码。第5章视频压缩编码标准 帧内直流系数编码时，先按步长8量化(即除8)，再用8 bit固定长度编码。另外，若为全黑8

48、8数据块，则用00010000代表;若为全白88数据块，则用11101011代表。例如，直流值为24，经步长8量化后得3，按8位编码得00000011。若直流值为1024，要特别编码，先除8得128，按8位编码得10000000，但按规定此码字不用，改用255的码字11111111代替128。上述帧内直流系数的编码，可查H.261提供的编码表。每一数据块最后一个量值结束后，应该用数据块结束符号EOB作为结束，EOB的编码为10，可由H.261的TCOEFF编码表查得。第5章视频压缩编码标准 3.传输缓冲器传输缓冲器设置缓冲器的目的是为了协调编码输出速率和传输网络速率，以便充分利用网络的传输速率

49、。当编码输出速率过高时，缓冲器用做存储器，同时通知编码器提高量化步长，从而降低速率;当编码器输出速率过低时，缓冲器根据存储余量通知编码器降低量化步长，从而使速率提高。为了确定传输缓冲器容量，首先要根据假设基准解码器HRD的情况，作出与解码器相适应的规定。第5章视频压缩编码标准 (1)HRD与编码器应有统一的时钟频率、相同的图像帧格式(如CIF和帧频)以及同步操作。(2)HRD内的缓冲容量是B+256 kb，其中B按下式计算:(5.2.10)式中：分母30为帧频;Rmax是最高图像数据传输速率，即网络的速率，所以RmaxP64 kb/s。例如，P=12，则Rmax=1264 kb/s=768 k

50、b/s，由此得(5.2.11)因此B的含义是每帧bit的4倍。本例中HRD的存储量为102.4kb+256 kb358.4 kb。max430RB 4 768kbit/sB=102.4kbit30/s第5章视频压缩编码标准 图 5.2.10 传输缓冲器容量第5章视频压缩编码标准 编码器中的传输缓冲器存储量与HRD中的一样，即B+256 kb。因B中包含4帧图像数据的存储量，所以此缓冲器通常保持进一帧，存一帧，出一帧的状态。如图5.2.10所示，B中有4帧容量，当第一帧输出时，则第三帧输入，此时第二帧存着不动。值得注意的是，一帧图像数据包含的位数应该和图5.2.9中的位数一致，即包括了许多辅助信