第11章多媒体技术基础课件.ppt

1、佛山科学技术学院佛山科学技术学院第11章 多媒体技术基础 Internet及多媒体应用Internet及多媒体应用及多媒体应用主要内容主要内容多媒体概述1多媒体素材及其处理2多媒体数据压缩35Internet及多媒体应用及多媒体应用11.1 11.1 多媒体概述多媒体概述Internet及多媒体应用及多媒体应用v随着计算机软、硬件技术的进一步发展，计算机的处理能力越来越强，应用领域得到进一步拓展，计算机处理的内容由单一的文字形式逐渐发展到目前的文字、声音、图像、动画、视频等多种媒体形式，出现了真正意义上的计算机多媒体系统。伴随着网络技术的发展，多媒体的功能得到了更好的发挥，很多多媒体应用与In

2、ternet结合在一起，形成了所谓的“超媒体”信息系统，这是多媒体应用最让人赏心悦目的亮点。目前，Internet已经成为多媒体作品发布的最重要的平台。Internet及多媒体应用及多媒体应用什么是多媒体什么是多媒体v 媒体（medium）媒体是指承载信息的载体 信息:有价值的消息Internet及多媒体应用及多媒体应用 媒体（媒体（mediummedium）根据ITU-T（原CCITT，国际电信联盟）的定义，媒体有五种类型：v 感觉媒体 指的是用户接触信息的感觉形式，如视觉、听觉和触觉等。v 表示媒体表示媒体 指的是信息的表示和表现形式，如文字、声音、语音、图形、图像、视频、动画等，是我们关

3、注的核心。一般说来，如不特别强调，我们所说的媒体指的就是表示媒体。v 显示媒体 是表现和获取信息的物理设备，如显示器、打印机、扬声器、键盘和摄像机等。v 存储媒体 是存储数据的物理设备，如磁盘、光盘、硬盘等。v 传输媒体 是传输数据的物理设备，如电缆、光缆、电磁波等。Internet及多媒体应用及多媒体应用媒体（媒体（mediummedium）v根据与时间的关系可以将媒体（表现媒体）划分为：静态媒体：信息的再现与时间无关，如文本、图形、图像等等 连续媒体：具有隐含的时间关系，其播放速度将影响所含信息的再现。如声音、动画、视频等。连续媒体的引入给传统的计算机系统、通信系统和分布式应用系统提出了更

4、高的要求。Internet及多媒体应用及多媒体应用多媒体的概念多媒体的概念v多媒体的基本概念 从计算机处理的角度看，所谓多媒体，首先是数字化的媒体，其次，是“信息表示媒体的多样化（常见的形式有文字、图形、图像、声音、动画、视频等），是多种媒体的综合”，相关的技术也就是“怎样进行多种媒体综合的技术”。因此，多媒体技术可以定义为以数字化为基础，能够对多种媒体信息进行采集、编码、存储、传输、处理和表现，综合处理多种媒体信息并使之建立起有机的逻辑联系，集成为一个系统并具有交互性的技术。Internet及多媒体应用及多媒体应用多媒体的关键特性多媒体的关键特性 v多媒体的关键特性多媒体的关键特性 信息载体

5、的多样性 多媒体就是要把机器处理的信息多维化，通过信息的捕获、处理与展现，使之交互过程中具有更加广阔和更加自由的空间，满足人类感官空间全方位的多媒体信息需求。多媒体的信息多维化不仅指输入，还指输出。交互性 它将向用户提供更加有效的控制和使用信息的手段和方法，同时也为应用开辟了更加广阔的领域。交互可做到自由地控制和干预信息的处理，增加对信息的注意力和理解，延长信息的保留时间。集成性 多媒体的集成性主要表现在两个方面：多媒体信息的集成，操作这些媒体信息的工具和设备的集成。Internet及多媒体应用及多媒体应用 多媒体计算机系统的层次结构Internet及多媒体应用及多媒体应用多媒体的应用多媒体的

6、应用v应用模式应用模式 单机的、以光盘为主要载体的多媒体应用；基于网络的多媒体应用v应用领域应用领域 教育与教学 商业 新闻与电子出版物 多媒体通信 家用多媒体 虚拟现实 Internet及多媒体应用及多媒体应用虚拟现实虚拟现实v基本概念基本概念 所谓“虚拟现实”，是用计算机及其相关技术为用户生成一个具有逼真视觉、听觉、触觉及嗅觉的虚拟世界（环境），用户可以根据自身的感觉，用人的自然技能与这个世界（环境）进行交互，参与其中的事件。v主要特征主要特征 多感知性 沉浸感，又称临场感 交互性 想象力 Internet及多媒体应用及多媒体应用虚拟现实虚拟现实v 主要研究内容主要研究内容 动态环境建模

7、实时三维图形生成技术 立体显示和传感器技术 应用系统开发工具 系统集成技术 v 关键技术关键技术 实时三维计算机图形技术 广角（宽视野）的立体显示 立体声 触觉与力觉反馈 语音输入输出Internet及多媒体应用及多媒体应用虚拟现实虚拟现实v代表性设备代表性设备 在VR系统中，有许多有趣的、功能不同的专用设备 BOOMBOOM可移动式显示器可移动式显示器 数据手套 TELETACT手套 数据衣服 v虚拟现实技术的应用虚拟现实技术的应用 虚拟现实的本质是人与计算机的通信技术，它几乎可以支持任何人类活动，适用于任何领域。目前来说，主要涉及航天、军事、通信、医疗、教育、娱乐、图形、建筑和商业等领域

8、Internet及多媒体应用及多媒体应用多媒体研究的主要问题多媒体研究的主要问题v多媒体数据的表示技术 v多媒体创作和编辑工具 v多媒体数据的存储技术 v多媒体信息的管理技术 v多媒体的应用开发 Internet及多媒体应用及多媒体应用11.2 11.2 多媒体素材及其处理多媒体素材及其处理Internet及多媒体应用及多媒体应用数字媒体的分类数字媒体的分类v 按时间属性分类 分为静止媒体和连续媒体两大类。静止媒体也叫做与时间无关的媒体或离散媒体，其特征是媒体的值（内容）不会随着时间而变化，例如，文本、图形、静止的图像等。连续媒体也叫做随时间变化的媒体或时变媒体，其特征是媒体的值（内容）随着时

9、间而变化，例如，人的语音、音乐、视频、动画等。v 按生成属性分类 分为自然媒体和合成媒体两大类 自然媒体指的是客观世界存在的景物、声音等，以及经过专门的设备进行数字化和编码处理之后得到的数字媒体。例如，数码相机拍摄的照片、数码录音机录制的声音等。合成媒体指的是以计算机为工具，采用特定符号、语言或算法表示的，由计算机生成（合成）的文本、音乐、语音、图像和动画。v 按组成属性分类 分为单一媒体和复合媒体两大类。单一媒体是指只具有一种表现形式的媒体，如文本、图形、图像等离散媒体，以及语音、音乐、动画、视频等连续媒体。复合媒体是指多种媒体组合而成的表现形式。例如，以文本为主体的复合媒体有Word文档、

10、PDF文件及Web页面等 Internet及多媒体应用及多媒体应用文本（文本（TextText）v 文本是指各种文字，包括各种字体、字的大小、格式及色彩的文本，它是计算机文字处理程序的基础，也是多媒体应用程序的基础。通过对文本显示方式的组织，多媒体应用系统可以使显示的信息更易于理解，通常使用的文本文件的格式有.RTF，.DOC，.TXT等。v 文本文件中如果只有文本信息，没有其他任何有关格式的信息，则称为纯文本文件；带有各种排版格式的文本文件，称为格式化文本文件。文本的多样化是由文字的变化，即文字的格式（Style）、文字的定位（Align）、字体（Font）、字的大小（Size），以及由这四

11、种变化的各种组合形成的。v 常用的文本编辑软件，例如WPS，MS Word，Notepad等 Internet及多媒体应用及多媒体应用 图形图像处理：图形图形图像处理：图形(graphic)(graphic)v 图形(矢量图）图形是指由外部轮廓线条构成的矢量图，是由计算机绘制出来的基本图元，如点、直线、圆、矩形、多边形等。图形文件的格式是一组描述几何图形的大小、形状及其位置的指令集合,在图形文件中只记录生成图的算法和图上的某些特征点，所以图形文件的存储容量通常较图像小。图形文件在旋转、放大、缩小和扭曲时不会失真，在屏幕上可重叠。常见的图形格式有：.3DS.DXF.WMFInternet及多媒体

12、应用及多媒体应用 图像是视觉景物的某种形式的表示和记录。是通过扫描仪、数字像机、摄像机等输入设备输入到计算机中以数字格式保存的实际场景。静止的图像是一个矩形，由排成行列的点组成，这些点称为像素。位图中的位用来定义每个像素的颜色和亮度。图形图像处理：图形图像处理：图像（位图图像（位图,Image,Image）Internet及多媒体应用及多媒体应用图形图像处理：图形图像处理：图像（位图图像（位图,Image,Image）处理图像时要考虑的基本因素有大小、分辨率、亮度、颜色等。一张在设置成800*600分辨率的屏幕上满屏显示的图像，在设置成1024*768分辨率的屏幕上显示时只能覆盖屏幕的一部分。

13、存储图像文件的字节数的计算方法是：高*宽*颜色数/8，如一张200*300的256色图像的存储容量是：200*300*256/8Internet及多媒体应用及多媒体应用图形图像信息处理技术图形图像信息处理技术v色彩模型（描述一种颜色的方法）HSB是色调、饱和度和亮度组合。它是艺术绘画使用的描述色彩 RGB是三原色混合组成的等效色。模拟自然界中的绝大多数色彩 CMYK是彩色墨水或颜料的混合。是彩色打印机和彩色图片印刷的色彩v根据不同的需要，采用不同的色彩模型，制作图形和图像Internet及多媒体应用及多媒体应用图像的主要属性图像的主要属性v分辨率 屏幕上能显示的像素数目 800*600、102

14、4*780v颜色深度 记录每个像素所使用的二进制位数。决定了图像可以使用的最多颜色数目 4位16种颜色 8位256种颜色 16位32768种颜色(15位)，剩余1位用于表示透明度 24位16M种颜色，真彩色 32位16M种颜色(24位)，剩余8位用于表示透明度Internet及多媒体应用及多媒体应用图像格式图像格式常见图像文件格式有：BMP，GIF，JPG，TIF，PNG，PCX，PSD，TGA，SVG等Internet及多媒体应用及多媒体应用各种不同格式图片与容量、效果的比较BMP24位图BMP256色GIFJPGTIFPNG901K302K74K25K762K466K下表为一张640X48

15、0（像素）大小的图片以不同格式压缩时占用的存储容量：Internet及多媒体应用及多媒体应用图形和图像的获取图形和图像的获取v图形的获取 利用软件绘制图形 利用数字化仪绘制图形 利用光笔绘制图形v图像的获取 扫描仪 摄像机 数码像机Internet及多媒体应用及多媒体应用图像处理工具图像处理工具常用处理图像的软件有：Photoshop Microsoft Photo Editer,Windows画图修改图片尺寸转换图片格式Internet及多媒体应用及多媒体应用音频信息处理技术音频信息处理技术v音频（Audio）是多媒体计算机技术中一种不可缺少的媒体。v音频格式分类:本地音频文件 流式音频文件

16、vP2P音频下载工具 酷狗kugoo: 搜狗音乐盒Internet及多媒体应用及多媒体应用多媒体文件格式多媒体文件格式音频文件音频文件v Wav文件（.wav）标准波形声音文件、实际声音、文件容量大v MPEG文件（.MP1 .MP2 .MP3三层压缩）音频压缩文件、有损压缩、文件容量小v RealAudio文件（.ra .rm .ram）流式音频文件、音质好、文件容量较小v WMA文件（.wma）压缩比和音质都超过MP3，很受欢迎v MIDI文件（.mid）电脑音乐文件、合成音乐、文件容量小于声音文件Internet及多媒体应用及多媒体应用录音机的使用录音机的使用v 从MIC录音，然后保存为

17、WAV格格式。v 启动：程序、附件、娱乐、录音机v 保存文件：文件、另存为Internet及多媒体应用及多媒体应用音频格式转换工具音频格式转换工具-StreamboxStreamboxv点右下角的”load”，调入WAV文件v点“CONVERT”，在下页所示的对话框中设置，然后开始转换Internet及多媒体应用及多媒体应用视频信息处理技术视频信息处理技术v 视频也称活动影像，是根据人类的眼睛具有“视觉暂留”的特信创造出来的，是各种媒体中携带信息最丰富，表现力最强的一种媒体。v 视频主要参数包括：帧数、数据量、图像质量v视频文件可以分成两大类：影音文件，比如说常见的VCD；流式视频文件，或称流

18、媒体视频文件。Internet及多媒体应用及多媒体应用视频文件(Video)v AVI格式（.avi）数字音频和视频文件，同步播放音频和视频，只能本地播放v MPEG格式（.MPEG .MPG）视频压缩文件，压缩率高，图像和音响质量好，只能本地播放v ASF格式(.asf)是Microsoft公司的影像文件格式，该格式文件可实现流式多媒体内容的发布。v RM格式（.rm）视频流格式文件，压缩好，文件小,是流媒体格式v MOV格式(.mov)APPLE公司的视频格式，默认播放器是QuickTime Player，只能本地播放。Internet及多媒体应用及多媒体应用RMVBRMVBv 常用扩展名

19、：.rmvb、.rmv 常用领域：压缩影碟、电脑视频、网络流媒体v 简介：RMVB是一种由RM视频格式升级延伸出的新视频格式，它的先进之处在于打破了原先RM格式那种平均压缩采样的方式，在保证平均压缩比的基础上合理利用比特率资源，就是说静止和动作场面少的画面场景采用较低的编码速率，这样可以留出更多的带宽空间，而这些带宽会在出现快速运动的画面场景时被利用。这样在保证了静止画面质量的前提下，大幅地提高了运动图像的画面质量，从而图像质量和文件大小之间就达到了微妙的平衡。Internet及多媒体应用及多媒体应用FlashFlashv 常用扩展名：.swf、.flvv 常用领域：电脑视频、网络流媒体v 简

20、介：Flash MX 以前，flash 中的视频文件得导入是一帧一帧变成位图。结果导致文件巨大，限制了它的应用范围。随着FlashMX的推出，Macromedia公司开发了属于自己流式视频格式FLV。FLV格式不仅可以轻松的导入Flash中，几百帧的影片就以两秒钟;同时也可以通过rtmp协议从Flashcom服务器上流式播出。目前网上大量的视频网站都使用这种格式的在线视频。Internet及多媒体应用及多媒体应用RealRealv 常用扩展名：Media、.rm、.ra、.ramv 常用领域：电脑视频、网络流媒体v 简介：RealNetworks公司所制定的音频视频压缩规范称之为RealMed

21、ia，RealMedia可以根据不同的网络传输速率制定出不同的压缩比率，从而实现在低速率的网络上进行影像数据实时传送和播放。这种格式的另一个特点是用户使用RealPlayer或RealOnePlayer播放器可以在不下载音频/视频内容的条件下实现在线播放。Internet及多媒体应用及多媒体应用MPEGv Moving Picture Expert Group，即运动图像专家组格式，是以下MPEG-1、MPEG-2等视频格式的总称，VCD、SVCD、DVD就是这种格式。MPEG格式是运动图像压缩算法的国际标准，它采用了有损压缩方法从而减少运动图像中的冗余信息。本地影音视频。v MPEG-1常用

22、扩展名：.mpg、.mlv、.mpe、.mpeg、.dat常用领域：电脑视频、影碟v MPEG-2常用扩展名：.mpg、.mpe、.mpeg、.m2v、.vob、.tp、.ts常用领域：电脑视频、影碟v MPEG-4常用扩展名：.avi、.mov、.asf、.mp4常用领域：电脑视频、手机、多媒体终端v MPEG-7v MPEG-21Internet及多媒体应用及多媒体应用WMVv常用扩展名：.wmvv常用领域：电脑视频、网络流媒体v简介：WindowsMediaVideo，是微软推出的一种采用独立编码方式并且可以直接在网上实时观看视频节目的文件压缩格式。WMV格式的主要优点包括：本地或网络回

23、放、可扩充的媒体类型、可伸缩的媒体类型、多语言支持、环境独立性、丰富的流间关系以及扩展性等。Internet及多媒体应用及多媒体应用MOVMOVv 常用扩展名：.qt、.movv 常用领域：电脑视频，可根据需要制作成本地影音视频或流格式。v 简介：QuickTime格式是Apple公司开发的一种音频、视频文件格式。QuickTime 用于保存音频和视频信息。v 具有较高的压缩比率和较完美的视频清晰度等特点，但是其最大的特点还是跨平台性，不仅能支持MacOS，同样也能支持Windows系列操作系统。Internet及多媒体应用及多媒体应用ASFASFv 常用扩展名：.asfv 常用领域：电脑视频

24、、网络流媒体v 简介：AdvancedStreamingformat的缩写，由字面(高级流格式)意思就应该看出这个格式的用处。实际上ASF就是Microsoft为了和的Real竞争而发展出来的一种可以直接在网上观看视频节目的文件压缩格式.由于它使用了MPEG4的压缩算法，所以压缩率和图像的质量都很不错。ASF的图象质量比VCD差一点点，但比同是视频“流”格式的RAM格式要好。Internet及多媒体应用及多媒体应用其他设备视频格式其他设备视频格式v.MP4 用mpeg-4编码，适合所有手机，特别是带存储卡的手机，优点：图像清晰。文件大小适中。v.3GP 适合所有手机，特别是内存小的手机。优点：

25、文件小，但清晰度略差。v.AMV MP3 的视频格式，很多可以播放视频的MP3播放起，用的就是这种格式，与 MP4 的区别就像 VCD 和 DVD 的区别v.avi 影碟机：VP6/7 摄像机视频：DV-AVIInternet及多媒体应用及多媒体应用动画（动画（Animation)Animation)v动画是利用具有连续性内容的静止画面，一幅接着一幅高速地呈现在人们的视野之中，利用视觉暂留特性产生相应的效果。v常用的动画制作工具有：Macromedia Director 二维动画：AnimatorPro，Flash，Authorware 三唯动画：3D MAXInternet及多媒体应用及多媒

26、体应用动画格式动画格式v SWF格式（.swf）流式动画文件，是Flash软件制作的一种格式，源文件为.fla，播放文件格式为.swfv GIF格式(.gif)GIF（Graphics Interchange Format,图形交换格式)，是一种高压缩比的彩色图像文件格式，主要用于网络传输的图像，可以保存单幅静止的图片，也可以是多幅图片构成的动画。v Flic格式(.fli,flc)Flic文件是Autodesk公司2D 3D动画制作软件中采用的动画格式，是一种无损压缩格式。Internet及多媒体应用及多媒体应用流媒体的基础知识流媒体的基础知识v什么是流媒体什么是流媒体流媒体简单来说就是应用

27、流式传输技术在网络上传输的多媒体文件，而流式传输技术的主要特点是：把连续的影像和声音信息经过压缩处理后放上网站服务器，让用户一边下载一边观看、收听，而不需要等整个压缩文件下载到自己机器后才可以观看。该技术先在用户端的计算机上创造一个缓冲区，在播放前预先下载一段资料作为缓冲，接着就可以开始播放，文件的剩余部分则继续从服务器下载，即在后台“流动”。如果数据流动速度保持足够快的话，播放是连续的。流媒体文件的生成及播放流媒体文件的生成及播放.目前在流媒体领域竞争的公司主要有三个：Microsoft、Real Networks和APPLE，相应的产品是：Windows Media、Real Media和

28、QuickTime，它们都有相应的流媒体制作软件和服务器端的发布软件。v顺序流式传输和实时流式传输的区别顺序流式传输和实时流式传输的区别流式传输有顺序流式传输（progressive streaming）和实时流式传输（Real time streaming）两种方式。顺序流式传输是指顺序下载，在下载文件的同时用户可观看在线媒体。这种方式，通常服务器端是普通的Web服务器，使用的是HTTP协议。顺序流式传输也叫“渐进式下载（progressive download）”或者“伪流媒体（pseudo-streaming）”，其主要原因是，这种方式和传统的下载方式没有本质的区别，只是因为客户端的软件

29、可以在媒体没有完全下载时就开始播放，它不能跳过头部，必须先下完前面的才可以看后面的；它也不能支持现场直播（即媒体必须是预先制作好的）。并且，顺序流式传输方式会将播放的媒体文件保存在客户端的磁盘上（默认保存在Internet临时目录中）。实时流式传输与顺序流式传输不同，它需要专用的流媒体服务器与传输协议，以及与之配套的客户端播放软件。常用的服务器协议有rtp/rtcp、mms、rtsp等。实时流式传输总是实时传送的，特别适合现场事件。Internet及多媒体应用及多媒体应用11.3 11.3 多媒体数据压缩多媒体数据压缩Internet及多媒体应用及多媒体应用数据压缩的基本原理和方法数据压缩的基

30、本原理和方法v 多媒体信息包含声音、图形、动画和视频等多种媒体信息。经过数字化处理后，其数据量很大，如果不进行压缩处理，计算机就无法进行存储和交换。另一方面，图像、音频和视频数据中，数据的冗余度很大，具有很大的压缩潜力。因此，在允许一定限度失真的前提下，能够对图像数据进行很大程度的压缩。v 数据压缩技术的性能指标 压缩比是指压缩过程中输入数据量和输出数据量之比。一般来说，压缩比大的为好。图像质量是指压缩后的重建图像与原图像之间的差异，评判的标准有主观评分和客观尺度两种。压缩和解压缩的速度，一般来说希望速度尽可能快。在不同的应用场合，对压缩和解压速度的要求会存在很大的差别。Internet及多媒

31、体应用及多媒体应用数据冗余v 数据冗余数据冗余 数据是用来表示信息的，但是，对于某一定量的信息，不同的表示方法需要的数据量不同。那么，使用数据量较多的方法中，必然存在某些数据代表了无用的信息，或者重复地表示了其他数据已表示的信息。这就是数据冗余的概念。音频、图像和视频数据中存在的冗余主要有以下几种 时间冗余:时间上连续的多个帧画面之间存在相似性和相关性，将重复存储的部分去掉，就可以减少很多数据量。空间冗余:图像本身的数据冗余。比如，一个黑色像素旁有几十个红色像素，用不着存储几十个红色像素的数据，只用存储红色像素的个数就可以了。视觉冗余:人眼对于图像场的注意是非均匀的，人眼并不能察觉图像场的所有

32、变化。事实上，人类视觉的分辨能力为26灰度等级，而一般图像的量化采用的是28灰度等级，即存在着视觉冗余。听觉冗余:人耳对不同频率的声音的敏感性是不同的，并不能察觉所有频率的变化，对某些频率不必特别关注，因此存在听觉冗余。其他冗余:包括信息熵冗余、结构冗余和知识冗余等。Internet及多媒体应用及多媒体应用数据压缩方法的分类v 数据压缩方法的分类数据压缩方法的分类 根据多媒体数据冗余类型的不同，相应地有不同的压缩方法。根据压缩编码后数据与原始数据是否完全一致进行分类，压缩方法分为无损压缩和有损压缩两大类。无损压缩 也称为冗余压缩或无失真压缩。冗余压缩法去掉或者减少了数据中的冗余，但这些冗余数据

33、是用特定的方法重新插入到数据中的。冗余压缩是可逆的，它能保证百分之百地恢复原始数据。在多媒体技术中，一般用于文本的压缩，但这种方法压缩比较低。常用的压缩编码方法有LZW编码、行程编码、霍夫曼（Huffman）编码等，压缩比一般在2:15:1之间。有损压缩 也称为有失真压缩或熵压缩法。压缩了熵，会减少信息量，而损失的信息量是不能恢复的，因此这种压缩方法是不可逆的。这种方法适合对图像、声音、动态视频等数据进行压缩，对动态视频的压缩比可达到50:1200:1。当然，对多媒体数据进行有损压缩后，会涉及压缩质量的问题，一般要求压缩后的内容不应该影响人们对信息的理解。Internet及多媒体应用及多媒体应

34、用音频的压缩音频的压缩v音频信号质量的等级 电话质量的语音级：频率范围是300Hz3.4kHz。调幅广播质量级：50Hz7 kHz。高保真度音频级：10Hz20 kHz。v对于不同质量的音频信号，制定了不同的压缩标准。电话质量：G.711 调幅广播质量：G.722 高保真:MPEG音频Internet及多媒体应用及多媒体应用图像和视频的压缩图像和视频的压缩v图像的压缩标准 静止图像的压缩标准JPEG 电视电话/会议压缩编码标准H.261 运动图像压缩标准MPEGv视频图像压缩标准（无MPEG-3）MPEG-1用于VCD的制作 MPEG-2用于DVD的制作 MPEG-4用于视像电话、电子新闻制作