第5章多媒体技术基础新课件.ppt

1、多媒体技术基础多媒体技术基础第第5章章 多媒体技术基础多媒体技术基础主要内容主要内容多媒体的基本概念多媒体的基本概念音频的编码技术音频的编码技术图像的编码技术图像的编码技术视频的编码技术视频的编码技术数据压缩技术数据压缩技术第第5章章 多媒体技术基础多媒体技术基础多媒体的基本概念多媒体的基本概念什么是多媒体什么是多媒体多媒体的关键技术多媒体的关键技术多媒体信息的特点多媒体信息的特点第第5章章 多媒体技术基础多媒体技术基础什么是多媒体什么是多媒体多媒体多媒体是多种媒体的组合，即文字、声音、图像、图是多种媒体的组合，即文字、声音、图像、图形、动画、视频等各种媒体的组合。包括：形、动画、视频等各种媒

2、体的组合。包括：u文本文本包含字母、数字、字、词、等基本元素，一般采包含字母、数字、字、词、等基本元素，一般采用文字编辑软件生成；用文字编辑软件生成；u图形图形是采用计算机语言或专门软件生成的矢量图形；是采用计算机语言或专门软件生成的矢量图形；u图像图像是采用扫描设备、摄像设备或其他图像处理设备是采用扫描设备、摄像设备或其他图像处理设备生成的用像素点记录的自然影像；生成的用像素点记录的自然影像；第第5章章 多媒体技术基础多媒体技术基础什么是多媒体什么是多媒体u视频视频是动态的影视图像，即视频是动态的图像；是动态的影视图像，即视频是动态的图像；u音频音频是指大约在是指大约在20Hz20 kHz频

3、率范围的连续变化的频率范围的连续变化的声音信号；声音信号；u动画动画是采用计算机动画软件创作并可连续的画面。是采用计算机动画软件创作并可连续的画面。第第5章章 多媒体技术基础多媒体技术基础文本媒体文本媒体文本可以是英文字母、阿拉伯数字、汉字、中文标点文本可以是英文字母、阿拉伯数字、汉字、中文标点符号和英文标点符号等，一般由文字编辑软件（如记符号和英文标点符号等，一般由文字编辑软件（如记事本、事本、WPS字处理软件和字处理软件和Microsoft Word应用程序等）应用程序等）生成。生成。需要区别的是：中文标点符号如句号需要区别的是：中文标点符号如句号“。”和英文标和英文标点符号如句号点符号如

4、句号“.”是不同的文本。是不同的文本。第第5章章 多媒体技术基础多媒体技术基础图形和图像媒体图形和图像媒体图形图形图像图像第第5章章 多媒体技术基础多媒体技术基础音频和视频媒体音频和视频媒体音频音频视频视频第第5章章 多媒体技术基础多媒体技术基础动画媒体动画媒体动画动画第第5章章 多媒体技术基础多媒体技术基础多媒体的关键技术多媒体的关键技术第第5章章 多媒体技术基础多媒体技术基础多媒体信息的特点多媒体信息的特点数据量大数据量大 图形图像、音频和视频等媒体元素需要很大的存储空图形图像、音频和视频等媒体元素需要很大的存储空间。例如，间。例如，5分钟标准质量的分钟标准质量的PAL视频信息需要大约视频

5、信息需要大约6.6GB的存储空间。面对如此巨大的存储要求，必须的存储空间。面对如此巨大的存储要求，必须对多媒体信息进行压缩处理。对多媒体信息进行压缩处理。多数据流多数据流 某些多媒体展示时表现为静态和连续信息的集成，例某些多媒体展示时表现为静态和连续信息的集成，例如，视频播放时就是静态的图像和连续的音频信息的如，视频播放时就是静态的图像和连续的音频信息的集成。输入时，每一种信息都有一个独立的数据流；集成。输入时，每一种信息都有一个独立的数据流；播放时，需要对这些数据流加以合成。各种类型的媒播放时，需要对这些数据流加以合成。各种类型的媒体信息可以存储在一起，也可单独进行存储。体信息可以存储在一起

6、，也可单独进行存储。第第5章章 多媒体技术基础多媒体技术基础多媒体信息的特点多媒体信息的特点连续性连续性 多媒体信息一般包含时间数据，具有连续性的特点。多媒体信息一般包含时间数据，具有连续性的特点。例如，音频、视频和动画都是时间相关的。例如，音频、视频和动画都是时间相关的。编码方式多样编码方式多样 多媒体信息由于处理的信息类型复杂，导致编码方式多媒体信息由于处理的信息类型复杂，导致编码方式多样。例如，文本中的英文字符使用多样。例如，文本中的英文字符使用ASCII编码，中编码，中文字符使用汉字信息交换码、音频和图像都是基于采文字符使用汉字信息交换码、音频和图像都是基于采样样-量化量化-编码的过程

7、进行编码。编码的过程进行编码。第第5章章 多媒体技术基础多媒体技术基础音频的编码技术音频的编码技术什么是音频信号什么是音频信号模拟信号与数字信号模拟信号与数字信号音频的编码技术：采样、量化和编码音频的编码技术：采样、量化和编码音频文件存储容量的计算音频文件存储容量的计算第第5章章 多媒体技术基础多媒体技术基础什么是音频信号什么是音频信号音频，又称为声音，是通过空气传音频，又称为声音，是通过空气传播的一种连续的波，称为声波。声播的一种连续的波，称为声波。声音的强弱体现在声波压力的大小，音的强弱体现在声波压力的大小，音调的高低体现在声音的频率上。音调的高低体现在声音的频率上。声音信号的两个基本参数

8、是频率和声音信号的两个基本参数是频率和幅度。幅度。频率小于频率小于20Hz的信号称为亚音信号；的信号称为亚音信号；频率在频率在20Hz20kHz的信号称为音的信号称为音频信号；人们说话的信号频率通常频信号；人们说话的信号频率通常在在300Hz3kHz；频率大于；频率大于20kHz的信号称为超音频信号，或者称为的信号称为超音频信号，或者称为超声波信号。超声波信号。第第5章章 多媒体技术基础多媒体技术基础模拟信号与数字信号模拟信号与数字信号模拟信号模拟信号:时间和幅度都是连续的信号时间和幅度都是连续的信号数字信号数字信号:幅值被限制在有限个数值之内，它不是连续幅值被限制在有限个数值之内，它不是连续

9、的而是离散的，即幅值只能取有限的数值的而是离散的，即幅值只能取有限的数值第第5章章 多媒体技术基础多媒体技术基础音频的编码技术音频的编码技术由于多媒体信息的特殊性，其二进制编码的技术和方由于多媒体信息的特殊性，其二进制编码的技术和方法比一般的字符编码要复杂很多；法比一般的字符编码要复杂很多；基本的思想就是将基本的思想就是将“连续连续”变成变成“离散离散”，将，将“模拟模拟信号信号”变为变为“数字信号数字信号”一般需经过一般需经过采样、量化、编码采样、量化、编码三个过程。三个过程。第第5章章 多媒体技术基础多媒体技术基础音频采样音频采样音频采样音频采样：每隔一个时间间隔在声音波形上取：每隔一个时

10、间间隔在声音波形上取一个幅度值，将时间上连续的信号变成离散的一个幅度值，将时间上连续的信号变成离散的信号；信号；采样的目的是在时间上，对连续的变化进行离采样的目的是在时间上，对连续的变化进行离散化，最终以有限个数的散化，最终以有限个数的“点点”，去替代原来，去替代原来连续的信号。连续的信号。第第5章章 多媒体技术基础多媒体技术基础音频采样的例子音频采样的例子t第第5章章 多媒体技术基础多媒体技术基础音频采样的例子音频采样的例子t第第5章章 多媒体技术基础多媒体技术基础音频量化音频量化音频量化音频量化：指的是在幅度值的取值空间上进行离散化，：指的是在幅度值的取值空间上进行离散化，用有限位的二进制

11、代码，表示落在同一时间段内的幅用有限位的二进制代码，表示落在同一时间段内的幅度值度值第第5章章 多媒体技术基础多媒体技术基础音频量化的例子音频量化的例子3位量化位量化2位量化位量化第第5章章 多媒体技术基础多媒体技术基础音频编码音频编码根据采样和量化的结果，将各离散点的幅度值进行根据采样和量化的结果，将各离散点的幅度值进行“逐点逐点”记录，将记录的结果保存为一个文件，即为记录，将记录的结果保存为一个文件，即为该音频信息的数据文件，该音频信息的数据文件，实现对音频信息的编码；实现对音频信息的编码；将来按照采样、量化和编码的将来按照采样、量化和编码的“逆思想逆思想”，可把该文，可把该文件还原。只有

12、当采样频率高于声音信号最高频率的两件还原。只有当采样频率高于声音信号最高频率的两倍时，才能将数字信号表示的声音还原为原来的声音。倍时，才能将数字信号表示的声音还原为原来的声音。第第5章章 多媒体技术基础多媒体技术基础音频编码的图示音频编码的图示00 10 10 10 01 01 01 11 11 000 100 100 100 010 001 010 101 110 第第5章章 多媒体技术基础多媒体技术基础音频文件存储容量的计算音频文件存储容量的计算采样频率：采样频率：(Hz 单位时间内的采样次数单位时间内的采样次数 一般为一般为11.025kHz或或22.05kHz)量化位数：量化位数：(b

13、it 表示量化级别的二进制的位数表示量化级别的二进制的位数 一般为一般为8位或位或16位位)声道数量：声道数量：单声道单声道or多声道多声道第第5章章 多媒体技术基础多媒体技术基础不同技术指标下的效果图示不同技术指标下的效果图示采样频率采样频率11KHz 8位量化位量化采样频率采样频率22KHz 16位量化位量化第第5章章 多媒体技术基础多媒体技术基础音频文件存储容量的计算音频文件存储容量的计算音频数据的存储容量音频数据的存储容量l采样频率采样频率*量化位数量化位数*声道数声道数*播放时间播放时间/8（字节（字节B）采样频率采样频率=44.1kHz 样本精度样本精度=16bit 立体声立体声

14、播放时间播放时间=60秒秒l存储空间存储空间=44.1*1000*16*2*60/(8*1024*1024)=10.09 MB第第5章章 多媒体技术基础多媒体技术基础图像的编码技术图像的编码技术颜色模型颜色模型图像的编码技术：采样、量化和编码图像的编码技术：采样、量化和编码图像文件存储容量的计算图像文件存储容量的计算第第5章章 多媒体技术基础多媒体技术基础颜色模型颜色模型颜色模型（颜色模型（color model）指的是描述所有颜色的一套规）指的是描述所有颜色的一套规则和定义。最典型的代表是则和定义。最典型的代表是RGB（Red Green Blue）颜）颜色模型。色模型。两种典型的颜色模型：

15、两种典型的颜色模型：RGB颜色模型：红绿篮颜色模型颜色模型：红绿篮颜色模型 HSL颜色模型：色调饱和度亮度颜色模型颜色模型：色调饱和度亮度颜色模型第第5章章 多媒体技术基础多媒体技术基础RGB颜色模型颜色模型颜色颜色=R（红色的百分比）（红色的百分比）+G（绿色的百分比）（绿色的百分比）B（蓝色的百分比）。（蓝色的百分比）。当三种基本颜色等量相加时，当三种基本颜色等量相加时，得到白色。得到白色。第第5章章 多媒体技术基础多媒体技术基础RGB颜色模型颜色模型颜色颜色=R（红色的百分比）（红色的百分比）+G（绿色的百分比）（绿色的百分比）B（蓝色的百分比）。（蓝色的百分比）。当红绿等量相加而篮为当

16、红绿等量相加而篮为0时得到黄色。时得到黄色。第第5章章 多媒体技术基础多媒体技术基础RGB颜色模型颜色模型颜色颜色=R（红色的百分比）（红色的百分比）+G（绿色的百分比）（绿色的百分比）B（蓝色的百分比）。（蓝色的百分比）。当红篮等量相加而绿为当红篮等量相加而绿为0时得到品红色。时得到品红色。第第5章章 多媒体技术基础多媒体技术基础RGB颜色模型颜色模型颜色颜色=R（红色的百分比）（红色的百分比）+G（绿色的百分比）（绿色的百分比）B（蓝色的百分比）。（蓝色的百分比）。当绿篮等量相加而红为当绿篮等量相加而红为0时时得到青色。得到青色。第第5章章 多媒体技术基础多媒体技术基础图像的编码技术图像的

17、编码技术图像的数字化编码也经过图像的数字化编码也经过采样、量化采样、量化和和编码编码三个过程三个过程采样采样是将图像在二维空间上进行离散化是将图像在二维空间上进行离散化l分别在图像的横向和纵向设置分别在图像的横向和纵向设置M和和N个相等的间隔；个相等的间隔；l然后得到然后得到M*N个点，组成一个的包含若干行和若干列个点，组成一个的包含若干行和若干列的一个的一个“阵列阵列”，每个点称为一个每个点称为一个像素像素；第第5章章 多媒体技术基础多媒体技术基础量化与编码量化与编码量化量化是对像素的颜色进行离散化是对像素的颜色进行离散化(即用确定的数值记录点的即用确定的数值记录点的颜色颜色)l量化的等级与

18、每个像素颜色的二进制数值的位数有关量化的等级与每个像素颜色的二进制数值的位数有关l表示像素状态的位数越多，具有的色彩就越丰富表示像素状态的位数越多，具有的色彩就越丰富 黑白方式黑白方式：用一个：用一个“位位”表示像元的颜色；有表示像元的颜色；有2种色种色 真彩色方式真彩色方式：用三个字节表示一个像元的颜色；具：用三个字节表示一个像元的颜色；具有有2563个不同的颜色个不同的颜色编码编码是对每个像素的颜色，以不同的二进制代码形式进行是对每个像素的颜色，以不同的二进制代码形式进行记录记录第第5章章 多媒体技术基础多媒体技术基础图像编码的例子图像编码的例子采样采样：在横方向和纵方向上都设置：在横方向

19、和纵方向上都设置10个采样点，个采样点，得到得到10*10个像素个像素量化量化：由于是黑白图像，所以量化字长设置为：由于是黑白图像，所以量化字长设置为1位位二进制代码，并假定二进制代码，并假定“0”表示黑色，表示黑色，“1”表示白表示白色色编码编码：最后将编码数值一行一行地记录保存起来，：最后将编码数值一行一行地记录保存起来，就完成了对图像的二进制编码就完成了对图像的二进制编码 第第5章章 多媒体技术基础多媒体技术基础图像编码的例图像编码的例11 1 0 1 1 1 1 0 1 11 1 0 1 1 1 1 0 1 11 1 0 1 1 1 1 0 1 11 1 0 1 1 1 1 0 1 1

20、0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 01 1 0 1 1 1 1 0 1 11 1 0 1 1 1 1 0 1 11 1 0 1 1 1 1 0 1 11 1 0 1 1 1 1 0 1 1第第5章章 多媒体技术基础多媒体技术基础影响图像质量的因素影响图像质量的因素图像分辨率（相当于音频的采样频率）图像分辨率（相当于音频的采样频率）l用多少个用多少个 像素表示图像像素表示图像像素深度或位深度（相当于音频的量化精度）像素深度或位深度（相当于音频的量化精度）l用多少个二进制位表示一个像素的状态用多少个二进制位表示一个像素的状态分辨率越高，像素深度越大，将占用越

21、多的存储分辨率越高，像素深度越大，将占用越多的存储空间；当然，图像就越清晰圆滑美观逼真空间；当然，图像就越清晰圆滑美观逼真第第5章章 多媒体技术基础多媒体技术基础宽度：宽度：271高度：高度：300颜色：颜色：2色色大小：大小：9.9 KB宽度：宽度：271高度：高度：300颜色：颜色：4色色大小：大小：19.8 KB不同像素深度的例不同像素深度的例第第5章章 多媒体技术基础多媒体技术基础宽度：宽度：271高度：高度：300颜色：颜色：256色色大小：大小：79.4 KB宽度：宽度：271高度：高度：300颜色：真彩色颜色：真彩色大小：大小：238.2 KB不同像素深度的例不同像素深度的例第第

22、5章章 多媒体技术基础多媒体技术基础不同分辨率的例子不同分辨率的例子第第5章章 多媒体技术基础多媒体技术基础图像文件存储容量的计算图像文件存储容量的计算存储一幅存储一幅352288的静态真彩色图像的静态真彩色图像l图像分辨率为图像分辨率为 352288l像素深度为像素深度为 3Bl存储容量存储容量=(352288 3)/1024=297KB如提高图像分辨率如提高图像分辨率l存储容量存储容量=(7681024 3)/(10241024)=2.25MB第第5章章 多媒体技术基础多媒体技术基础视频的编码技术视频的编码技术将视频信息在时间上、帧内空间上和色彩上分别进行离散将视频信息在时间上、帧内空间上

23、和色彩上分别进行离散化，并最终以二进制代码形式编码记录化，并最终以二进制代码形式编码记录将涉及比音频信息和图像信息数字化更复杂的原理和方法，将涉及比音频信息和图像信息数字化更复杂的原理和方法，其基本的思想包括：其基本的思想包括：l 将完整的视频信息在时间上分解为若干的帧；将完整的视频信息在时间上分解为若干的帧；l 参照图像信息编码的方法进行参照图像信息编码的方法进行“帧内编码帧内编码”；l 参照音频信息编码的方法进行伴音编码处理；参照音频信息编码的方法进行伴音编码处理；l 考虑播放速率和伴音同步，最后完成视频信息编码考虑播放速率和伴音同步，最后完成视频信息编码 第第5章章 多媒体技术基础多媒体

24、技术基础视频文件的存储容量计算视频文件的存储容量计算表示一幅表示一幅352*288的静态真彩色图象需要的存储空间的静态真彩色图象需要的存储空间l352*288*3(B)=304128B=297KB假设每秒播放假设每秒播放25帧，计算帧，计算1分钟视频数据的存储空间分钟视频数据的存储空间（不含音频数据）（不含音频数据）l352*288*3*25*60(B)=435.06MB第第5章章 多媒体技术基础多媒体技术基础数据压缩技术数据压缩技术数据压缩的必要性数据压缩的必要性数据压缩的基本概念数据压缩的基本概念文本文件的压缩文本文件的压缩音频文件的压缩音频文件的压缩图像文件的压缩图像文件的压缩第第5章章

25、 多媒体技术基础多媒体技术基础数据压缩的必要性数据压缩的必要性尽管我们可以利用信息理论中的各种编码技术表达字尽管我们可以利用信息理论中的各种编码技术表达字符、图形图像、音频、视频，但是包含这些数据的文符、图形图像、音频、视频，但是包含这些数据的文件往往是相当大的件往往是相当大的l 一秒钟的视频需要约一秒钟的视频需要约 9MB 的内存空间的内存空间l 一幅全屏的位图约占用一幅全屏的位图约占用 25MB的内存空间的内存空间l 一段一段45分钟的声音文件有大约分钟的声音文件有大约 475 MB第第5章章 多媒体技术基础多媒体技术基础数据压缩的必要性数据压缩的必要性大文件需要大文件需要大的内存空间大的

26、内存空间，否则将降低运行速度，否则将降低运行速度大文件需要大文件需要大的外部存储空间大的外部存储空间，因而降低计算机硬盘，因而降低计算机硬盘等存储设备的有效使用效率等存储设备的有效使用效率大文件需要大文件需要较长的传输时间较长的传输时间，因而容易发生在传输过，因而容易发生在传输过程中的中断程中的中断第第5章章 多媒体技术基础多媒体技术基础数据压缩基本概念数据压缩基本概念压缩：压缩：指重新记录一个文件，以使它占用较小存储空间指重新记录一个文件，以使它占用较小存储空间解压缩：解压缩：数据压缩必须是可逆的；数据压缩的逆过程叫数据压缩必须是可逆的；数据压缩的逆过程叫解压缩解压缩压缩比：压缩比：当数据被

27、压缩的时候，包含数据的文件将缩小；当数据被压缩的时候，包含数据的文件将缩小；其缩小量可用其缩小量可用压缩比压缩比衡量衡量l压缩比原文件容量压缩比原文件容量压缩后新文件的容量压缩后新文件的容量l缩比为缩比为20:1意味着原始文件是压缩后文件的意味着原始文件是压缩后文件的20倍倍第第5章章 多媒体技术基础多媒体技术基础数据压缩基本概念数据压缩基本概念有损压缩有损压缩l为获得更高地压缩比，首先对数据信息进行重新的为获得更高地压缩比，首先对数据信息进行重新的组织整理，剔除某些不重要、不敏感、可忽略的原组织整理，剔除某些不重要、不敏感、可忽略的原始数据，然后再进行压缩始数据，然后再进行压缩无损压缩无损压

28、缩l数据无需事先进行重新组织而直接进行压缩，压缩数据无需事先进行重新组织而直接进行压缩，压缩文件中完全保留了原文件中的全部信息数据文件中完全保留了原文件中的全部信息数据第第5章章 多媒体技术基础多媒体技术基础文本文件的数据压缩文本文件的数据压缩实现文本文件压缩的方法很多介绍：自适应模型替代法第第5章章 多媒体技术基础多媒体技术基础自适应模型替代法自适应模型替代法它首先扫描整个文本，寻找重复出现两次或两它首先扫描整个文本，寻找重复出现两次或两次以上的次以上的字节模型字节模型当找到一个模型后，就用在文本中没有用到过当找到一个模型后，就用在文本中没有用到过的一个新的的一个新的字节模型字节模型替代它替

29、代它只要新的字节模型只要新的字节模型“短短”于原字节模型，就可于原字节模型，就可起到起到“压缩压缩”的目的的目的第第5章章 多媒体技术基础多媒体技术基础自适应模型替代法举例自适应模型替代法举例自适应模型替代法将44个字节（包括空格和标点）长的句子压缩到29个字节。原始文件包含44个字节the rain in Spain falls mainly on the plain.用“”替代“the”用“”替代“ain”%r in Sp falls mly on%pl.%rain in Spain falls mainly on%plain.第第5章章 多媒体技术基础多媒体技术基础 the ain“压缩

30、”后建立一个字典式记录。第第5章章 多媒体技术基础多媒体技术基础图像信息的数据压缩图像信息的数据压缩例如：在右侧图像中，兰色区域中所有点（像素）的颜色是相同的，如果仍“逐点记录”，必然产生很大的数据冗余。图像信息是“逐点记录的”。之所以能进行压缩是因为信息本身通常存在很大的数据冗余量。第第5章章 多媒体技术基础多媒体技术基础图像数据压缩方法图像数据压缩方法“游程长度编码游程长度编码”法法（Run length encoding）游程长度：具有相同颜色并且是连续的像素游程长度：具有相同颜色并且是连续的像素的数目。的数目。通过为连续的相同颜色的像素重新编码实现通过为连续的相同颜色的像素重新编码实现

31、图像文件的压缩图像文件的压缩游程长度编码。游程长度编码。第第5章章 多媒体技术基础多媒体技术基础有一个3232象素，256色的位图（如右图所示），其中每个像素需要一个字节存储颜色；如白色用1111 1111表示，黑色用0000 0000表示没压缩时：图像的前九行有329=288个像素，需288个字节存储游程长度编码例游程长度编码例第第5章章 多媒体技术基础多媒体技术基础图中有图中有167个连续的白色像素。个连续的白色像素。把这把这167个字节压缩成个字节。个字节压缩成个字节。一个字节记录连续的像素点数，一个字节表一个字节记录连续的像素点数，一个字节表示示共同的颜色共同的颜色。1010 0111

32、（167）1111 1111（白色）（白色）使用相同的方法可以继续压缩后续的像素。使用相同的方法可以继续压缩后续的像素。游程长度编码方法第第5章章 多媒体技术基础多媒体技术基础前167个白色像素被压缩成2B：10100111 11111111下面5个黑色像素编码为：00000101 00000000代 表 5 个黑色代表167代表白色3232像素压缩图示：第第5章章 多媒体技术基础多媒体技术基础58/88重复次数重复次数(十进制十进制)重复次数重复次数(二进制二进制)像素颜色像素颜色像素颜色像素颜色(二进制二进制)16710100111白色白色11111111500000101黑色黑色0000

33、00002600011010白色白色11111111100000001黑色黑色00000000500000101黄色黄色10100000100000001黑色黑色000000002300010111白色白色11111111200000010黑色黑色00000000700000111黄色黄色101000001800010010黑色黑色00000000500000101白色白色11111111100000001黑色黑色000000002500011001黄色黄色10100000100000001白色白色11111111100000001黑色黑色00000000用游程长度编码压缩后，前9行只需30个字节即第二、四列的二进制数第第5章章 多媒体技术基础多媒体技术基础59/88第第5章章 多媒体技术基础多媒体技术基础课堂测验