多媒体技术视频编码标准课件.ppt

1、国际视频压缩标准简介国际视频压缩标准简介2主要内容 视频压缩标准发展历史 MPEG系列压缩标准简介3视频压缩标准发展历史ITU:ISO/IEC:H.261 H.262H.263H.263+H.264MPEG1 MPEG2MPEG4(Part2)MPEG7 MPEG21MPEG4(Part10)4视频压缩标准对比H.261p64kb/s视频编码标准 时间1990年12月输入176144(QCIF)352288(CIF)帧速率可变H.263MPEG2压缩算法运动补偿帧间预测（单双向预测）DCT 局部算法改进 可伸缩性应用通用电话交换网、局域网的视频通信8视频压缩标准对比（续）MPEG4(Part

2、2)MPEG4 Visual甚 低 码率 活 动图 像 及其 伴 音编 码 标准时间1999年输入176144的多种分辨率格式 输出4.6Kb/s64Kb/s压缩率 100压缩算法基于对象的新一代编码技术，注重交互性，即可包含自然对象，又可包含人工合成对象应用可应用范围很广、目前多用于因特网视频传输、流媒体应用9视频压缩标准对比（续）H.264MPEG4(Part10)MPEG4 AVC时间2003年5月输入多种分辨率格式 输出压缩率压缩率最高的视频压缩标准，比MPEG4 Visual节约50的码率压缩算法基于传统框架的混合编码系统，只是做了局部优化。更注重编码效率和可靠性应用视频广播、视频通

3、信和存储媒体（CD DVD）等多种应用10MPEG-1视频压缩标准 MPEG-1标准号为ISO/IEC 11172，它由五部分组成：MPEG-1系统（MPEG-1 Systems）：规定视频数据、声音数据及其他相关数据的同步合成技术 MPEG-1视频编码标准（MPEG-1 Video）MPEG-1音频编码标准（MPEG-1 Audio）MPEG-1一致性测试：详细说明如何测试比特数据流和解码器是否满足MPEG-1前3个部分(Part1，2和3)中所规定的要求。MPEG-1软件模拟：一个技术报告，给出了软件执行MPEG1前3个部分的运行结果。11MPEG-1视频压缩标准输入、输出指标MPEG视频

4、编码器3522882581.53522403081.530Mb/s1.15Mb/s26:1帧规格：帧规格：35228825 帧帧8 比特比特1.5 表示表示 4:2:0 12MPEG1视频编码器框架13MPEG1视频视频压缩算法图 MPEG-1 syntax hierarchy14MPEG1视频压缩算法运动图像序列图片组（GOP）IBBPBBP图片条（Slice）宏块Macro Block1616块（Block）88分割：15MPEG1视频压缩算法GOP的组成：时间顺序 p1p2p3p4p5p6p7编码顺序 p1p4p2p3p7p5p6 I帧是一个随机访问点。B图像不能作为其它图像的参考帧。I

5、帧：P帧：单向预测帧B帧：双向预测帧16MPEG1视频压缩算法为了在图像质量和数据速率之间作出调整，MPEG-1编码器允许（1）选择I帧的频率和位置，（2）选择I和P之间双向预测帧B的数目。17 GOP图像组 是一系列要连续编码的图像，一个图像组中至少有一个I 帧，一个图像组可以以I 帧或B帧开始，而结尾必须为I帧或P帧。片Slice:每幅图像分成一系列大小可变的块,最大的可为 整幅图像，最小的可为一个宏块 定义片的目的是:在发生误码时,解码器可以丢弃一个片 而不是一幅图像,同时可在片一个层次上定义量化因子对码流校正MPEG1视频压缩算法18MPEG1视频压缩算法19MPEG1视频压缩算法运动

6、补偿技术在宏块一级工作：I帧：没有使用运动补偿预测，与Baseline JPEG类似，I帧可用作预测P帧和B帧的参考帧。P帧：采用一个参考帧的运动补偿的帧间预测编码方式，当前P帧前面的I帧和P帧作为其参考帧，采用前向预测（Farword Prediction）方式。I帧可用作预测P帧和B帧的参考帧。B帧：采用两个参考帧的运动补偿的帧间预测编码方式,当前B帧前后的I帧和P帧作为其参考帧，运动估计补偿块可由三种方式获得：前向预测（Farword Prediction）方式，后向预测（backword Prediction）和双向预测方式（Bidirection Prediction，均值）。B帧不

7、作参考帧。20MPEG1视频压缩算法I图像帧的压缩算法：在空间方向上（帧内），MPEG1压缩采用JPEG压缩算法来去掉冗余信息。21MPEG1视频压缩算法P图像帧的压缩算法：对于P宏块，MPEG1采用运动补偿帧间预测算法来去掉时间轴上的冗余信息。22MPEG1视频编码算法B图像帧的压缩算法：23MPEG1视频编码算法B图像帧的压缩算法：24MPEG1视频编码算法I 帧编码量化 对于DC的量化步长为8 对于AC的量化QDCT(i,j)=8*DCT(i,j)/qQ(i,j)Q量化矩阵，q量化因子，量化因子在片的标题中，也可在每个宏块25MPEG1视频编码算法DC量化 对DC系数差值编码为（size

8、,amp）amp 表示幅值 size表示amp所需二进制位Amp用反码表示，size用Huffman编码例 DC差值为195 195(11000011)2 size=8,amp=11000011 size=8 111110195 的码字11111011000011-195 的码字11111000111100Huffman26MPEG1视频编码算法AC量化 Zigzag 编码，AC系数表示为（行程/幅度）对（行程/幅度）用 Huffman编码 27MPEG1视频编码算法P 帧编码对于P 帧中的宏块进行编码时有更多的选择（1）决定是否用运动补偿（2）决定对宏块使用帧间编码方式还是帧内 编码方式（3

9、）决定宏块是否被编码（4）决定是否改变量化因子28MPEG1视频编码算法B帧编码对于B 帧中的宏块进行编码时有更多的选择（1）决定是否使用前向运动补偿，还是后向 运动补偿或者双向运动补偿（2）决定使用帧间编码方式还是帧内编码（3）决定宏块是否被编码（4）决定是否改变量化因子2930MPEG1视频编码算法31MPEG-2 通用视频压缩标准 MPEG-2的标准号为ISO/IEC 13818，它主要由以下几部分组成：MPEG-2系统（MPEG-1 Systems）MPEG-2视频编码标准（MPEG-2 Video）MPEG-2音频编码标准（MPEG-2 Audio）MPEG-2高级音频编码标准（MP

10、EG-2 AAC）与MPEG-1一样，MPEG-2只规定了码流结构和解码器算法规则，而把实际编码器模型向设计者开放，以提供更多的选择性和自由度。32MPEG-2 Video MPEG-2 Video与MPEG-1的基本编码算法相同，只是增加了如下功能：（1）能够在很宽的范围内对不同分辨率和不同输出比特率的图像信号有效的进行压缩。（2）处理隔行扫描的视频信号的能力（场编码）。（3）多样化的取样模式：4:2:0，4:2:2，4:4:4（4）可伸缩（Scalable）的视频编码模式：编码时可以在图像质量和数据速率之间作出调整 解码时只对码流的一部分进行解码和对码流的全部进行解码能够分别获得不同质量的

11、重建图像。33可伸缩性编码模式（1）信噪比伸缩性（）信噪比伸缩性（Signal-to-Noise Scalability）（2）空间分辨率伸缩性（空间分辨率伸缩性（Spatial Scalability）（3）时间分辨率伸缩性（时间分辨率伸缩性（Temporal Scalability）绝对值：均方误差：平均绝对帧差：可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式下采样上采样+-可伸缩性编码模式42可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式可伸缩性编码模式47MPEG-4 视频压缩标准MPEG-4从1994

12、年开始工作，目标是为视听(audio-visual)数据的编码和交互播放开发算法和工具，它是一个数据速率很低的多媒体通信标准。MPEG-4 算法的核心是支持基于内容的(content-based)的编码和解码功能，也就是对场景中使用分割算法抽取的单独的物理对象进行编码和解码。48MPEG-4 视频压缩标准MPEG-4 Visual:支持低码率应用支持低码率应用(tens of kbps or less).支持面向对象或面向内容的编码支持面向对象或面向内容的编码(object-based or content-based coding)将一个视频场景（a video scene）当成前景和背景对

13、象 （foreground and background objects）的集合而不仅仅是矩形 帧的序列.特点：可以独立编码一个场景中的不同对象；复用场景成分；不同来源的对象合成一个场景；更高的交互能力49MPEG-4 视频压缩标准输入格式：输入格式：picture size（listed in the table）frame rate:up to 30 f/s 4:2:0 Y:Cr:Cb 帧的类型帧的类型：Each frame is coded as an I-or P-frame.I-frame:only intra coded macroblocks P-frame:either int

14、ra-or inter-coded macroblocks.MPEG-4 Visual:面向低码率应用面向低码率应用50MPEG-4 视频压缩标准运动估计与补偿运动估计与补偿 Macroblock size:16 x 16 or(optionally)8 x 8.Motion vectors:half-pixel resolution.变换编码变换编码 DCT transform:对运动补偿后的残差图像编码对运动补偿后的残差图像编码 quantisation zigzag scanning run-level coding.Variable-length coding51MPEG-4 视频压缩

15、标准MPEG-4 Visual:面向对象的应用面向对象的应用面向对象编码的概念面向对象编码的概念如图所示：场景:由一个背景和两个前景视频对象VO(video object)构成video object plane(VOP)：VO 的一个时间瞬间的快照(snapshot)Video scene showing multiple video objectsVO3VO2VO152MPEG-4 视频压缩标准形状编码（形状编码（Shape coding）specify the boundaries of each non-rectangular VOPbinary shape information:i

16、nternal to the VOP,described as opaque,external to the VOP,described as transparentgrey scale shape information that identifies the transparency of the pixel it introduces the possibility of overlapping,semi-transparent VOPs53MPEG-4 视频压缩标准54MPEG-4 视频压缩标准运动补偿（运动补偿（Motion compensation）I-VOP:VOP is enc

17、oded without any motion compensation.P-VOP:VOP is predicted using motion-compensated prediction from a past I-or P-VOP.B-VOP:VOP is predicted using motion-compensated prediction from a past and a future I-or P-picture(with forward,backward or bidirectional prediction).55MPEG-4 视频压缩标准 纹理编码（纹理编码（Textu

18、re coding）VOP:coded as texture.basic tools:DCT transform;quantisation of the DCT coefficients;(quantised DCT coefficients may be predicted from previously transmitted blocks.)reordering;variable-length coding.56MPEG-4 视频压缩标准57MPEG-4 视频压缩标准 可伸缩性能（可伸缩性能（Scalability）Spatial scalability:rectangular VOPs

19、 in a similar way to MPEG-2Temporal scalability:individual VOPs.For example,a background VOP(encoded without Scalability)a foreground VOP(encoded with several layers of temporal Scalability).decoding a foreground object at a higher frame rate a background object at a lower frame rate.58MPEG-4 视频压缩标准

20、 Sprite codingA sprite is a VOP present for the entire duration of a video sequence,A sprite may be encoded and transmitted once at the start of the sequenceFor example:a background sprite only the foreground VOPs need to be coded for more complex camera movemen(ets.g.zoom or rotation),the decoder:w

21、arp the sprite.59MPEG-4 视频压缩标准60MPEG-4 视频压缩标准静止纹理（静止纹理（Static texture）An alternative set of tools to the DCT may be used to code static texture,i.e.texture data that does not change rapidly.The main application for this is to code texture that is mapped onto a 2-D or 3-D surface(described below).Sta

22、tic image texture iscoded efficiently using a wavelet transform.61MPEG-4 视频压缩标准网格和网格和3D模型编码（模型编码（Mesh and 3D model coding）2-D mesh coding:an object is coded as mesh of triangular patches in a 2-D plane.3-D mesh coding:an object is described as a mesh in 3-D space.Face and body model coding a human face or body is rendered at the decoder according to a face or body model.The model is controlled(moved)by changing animation parameters.Static texture is mapped onto the model surface.62MPEG-4 视频压缩标准