网络多媒体技术与应用课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《网络多媒体技术与应用课件.ppt》由用户(晟晟文业)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 网络 多媒体技术 应用 课件
- 资源描述:
-
1、第1章 计算机网络概述 (2)第2章 网络应用及应用层协议 (4)第3章 因特网技术基础 (4)第4章 局域网及网络设备 (4)第5章 企业信息基础和服务器平台 (2)第6章 HTML与PHP基础)(2)第第7 7章章 网络多媒体技术与应用网络多媒体技术与应用 (2)(2)第8章 网站的建设与管理)(2)第9章 网络信息服务平台安全性 (2)合计学时合计学时 2424计算机网络技术计算机网络技术第第7章章 多媒体网络多媒体网络本讲目标:了解多媒体网络的应用要求 n延迟n带宽n数据丢失学习如何更好使用因特网提供的尽力而为的服务学习因特网将如何进化以便更好的支持多媒体应用本讲概述:多媒体的网络应用
2、存储式音频/视频流nRTSP交互式的实时应用nIP电话举例RTPH.323 and SIP在尽力而为的基础上发展n调度和策略的实施n集成服务n区别服务多媒体概述多媒体概述Audio:-8000(samples/sec)x 8 bits voice phone 64Kb.-44,100 samples/sec x 16 bits Audio CDs 705.6 kbps(1.411 Mbps for stereo).Image:320 x240 x8bits grayscale image 77Kb1100 x900 x24bits color image 3MBVideo(TV):640 x4
3、80 x24x30frames/sec 27.6 MB/secPAL576x576x25x16132.MbpsHDTV1920 x1080 x30 x12746 Mbps So,multimedia data must be compressed!多媒体数据冗余:多媒体数据冗余:n空间冗余元素(数据对象)的空间强相关性;n时间冗余重复的图或者声音;这两种反映随机信号的统计特性,又称为统计冗余。信息熵冗余(编码冗余)信息熵冗余(编码冗余)n结构冗余n知识冗余n感觉(听绝、视觉)冗余其它冗余压缩的基础压缩的基础压缩技术的性能指标压缩技术的性能指标压缩比压缩和解压速度重现质量:主观标准(右表)客观标
4、准 信噪比,均方差分数分数 质量级别质量级别失真级别失真级别5优优(Excellent)察觉不到察觉不到4良良(Good)(刚)察觉但不(刚)察觉但不讨厌讨厌3中中(Fair)(察觉)及有点(察觉)及有点讨厌讨厌2差差(Poor)讨厌而不反感讨厌而不反感1劣劣(Bad)极讨厌(令人极讨厌(令人反感)反感)1 1)音频:音宽与频)音频:音宽与频带带 语音(语音(SpeechSpeech)带宽)带宽音频(音频(AudioAudio)带宽)带宽次声带次声带超声带超声带 20 300 3K 20K f(Hz)20 300 3K 20K f(Hz)音阶音阶CDEFGAB简谱符号简谱符号1234567频率
5、(频率(HzHz)261293330349392440494频率(对数)频率(对数)48.349.350.350.851.852.853.8音阶与基频的对应关系音阶与基频的对应关系频带宽度频带宽度 声音质量等级与信号带宽 电话电话AM AM 广播广播FM FM 广播广播CDCDDADA10 20 50 200 3.4K 7K 15K 22K f(Hz)10 20 50 200 3.4K 7K 15K 22K f(Hz)2)图像图像 单色平面图像单色平面图像与与、t 无关无关,x、y 为连续变量的静止图像为连续变量的静止图像。一个图像源,就是光辐射能量在空间和时间上的分布图,即),(tzyxfI
6、 t 时间;时间;I 光强度(亮度或灰度),代表光辐射能量;光强度(亮度或灰度),代表光辐射能量;x,y,z 立体空间坐标;立体空间坐标;光的波长,可见光波长:光的波长,可见光波长:350780 nm。),(yxfI 其中其中:_ 彩色平面彩色平面图像图像根据三基色原理,可分解为三幅单色图像根据三基色原理,可分解为三幅单色图像:连续图像连续图像n 空间坐标离散化(采样):空间坐标离散化(采样):n 灰度值离散化(量化):灰度值离散化(量化):对每个样本值进行二进制编码。对每个样本值进行二进制编码。_ 图像数字化图像数字化离散图像离散图像数字图像数字图像连续坐标连续坐标(x,y)离散坐标离散坐标
7、(xi,yj)i=0,1,2,.,M-1;j=0,1,2,.,N-1色调、亮度和饱和度色调、亮度和饱和度 光的物理性质:波长和幅度 人眼对色彩的感觉:色调、亮度和饱和度 色调波长 亮度幅度:光作用于人眼时所引起的明亮程度的感觉,是指色彩明暗深浅的程度,也可称为色阶。饱和度色光的纯度:色彩纯粹的程度不完全饱和 完全饱和 不完全饱和色彩的空间表达色彩的空间表达RGB:显示器信号HIS:适合人的视觉系统:n色调(Hue)n色饱和度(Saturation或Chroma)n亮度(Intensity或Brightness)YUV:电视信号(为兼容黑白和彩色电视信号,亮度Y和色度U、V分离。)CMY:油墨或
8、颜料(彩色印刷)三基色:n青(Cyan)n品红(Magenta)n黄(Yellow)HSI色彩空间和RGB色彩空间转换公式:),min(1,180;,0)3tan(9036013IBGRSBGBGFArcHBGRIBGBGRF2BGRVUY096.052.061.044.029.015.011.059.03.0YUV色彩空间与RGB色彩空间的转换关系:计算机中色值的数学表示计算机中色值的数学表示基色基色记录位记录位(bitbit)色彩数色彩数1010进制进制2 2进制进制1616进制进制R/G/BR/G/B8 80 025525500000000000000001111111111111111
9、0000FFFF混合表示法:混合表示法:【RGBRGB】如:红色:如:红色:【FF0000FF0000】绿色:绿色:【00FF0000FF00】蓝色:蓝色:【0000FF0000FF】黄色:黄色:【FFFF00FFFF00】位图与矢量图的比较位图与矢量图的比较矢量图位图数据量记录指令,小记录点阵,大放大失真重新计算和绘制,无失真点阵的重复,可能产生“马赛克”应用侧重于“绘制”和“创建”侧重于“获取”和“复制”图像文件结图像文件结构构文文件件头头文文件件体体文文件件尾尾软件版本号软件版本号图像分辨率图像分辨率图像尺寸图像尺寸图像深度图像深度色彩类型色彩类型编码方式编码方式压缩算法压缩算法图像数据
10、图像数据色彩变换表色彩变换表用户名用户名注释注释开发日期开发日期工作时间工作时间图像压缩的基本概念图像压缩的基本概念无损压缩:将相同的或相似的数据或数据特征归类,使用较少的数据量描述原始数据。有损压缩:利用人眼的视觉特性有针对性地简化不重要的数据。图像压缩比:压缩后的图像数据量/压缩前的图像数据量(1)。常用图像文件格式常用图像文件格式 BMP文件-采用位映射存储格式,文件所占用的空间很大。几乎所有Windows环境下的图像处理软件都支持BMP格式。PCX文件-采用RLE行程编码,文件体中存放的是压缩后的图像数据。是PC Paintbrush(PC画笔)的图像文件格式。TIFF文件-支持多种编
11、码方法。是一种非常通用的图像文件格式。定义了四种不同的子类.GIF文件-采用了可变长度等压缩算法。最多支持256种色彩的图像。在一个GIF文件中可以存多幅彩色图像,可以构成简单动画。JPEG文件-(Later)JPEG Lossy Codec Scheme3)视频视频The scanning pattern used for NTSC video and television.Video Analog SystemsMPEG 标准标准Synchronization of the audio and video streams in MPEG-1.Types of Mpeg framesI-fr
12、ames(intra-coded frames):Like JPEG,Real-time decoding demandsP-frames(predictive coded frames):Reference to previous I-or P-framesMotion vector,MPEG does not define how to determine the motion vector,difference of similar macro blocks is DCT codedDC and AC coefficients are run length codedB-frames(b
13、i-directional predictive coded frames):Reference to previous and subsequent(I or P)framesInterpolation between macro blocksD-frames(DC-coded frames):Only DC-coefficients are DCT codedFor fast forward and rewindSequence of I-,P-,and B-frames:I-Frames(Intra coded)P-Frames(Predictive Coded)B-Frames(Bi-
14、directionally Coded)Sequence:Defined by application E.g.,I B B P B B P B B I B B P B B P B B Order of transmission is different:I P B B.网络中的多媒体网络中的多媒体 基本特征:一般对延迟敏感.但可以容忍部分数据的丢失:偶尔发生的数据丢失会产生轻微的干扰,可以忽略.数据资料的传输(程序,银行信息,etc.),却正好相反,可以容忍延迟,但不能容忍数据的丢失.多媒体也称“连续媒体(continuous media)/流媒体”多媒体应用的分类:存储式的 audio/v
15、ideo流媒体直播式的audio/video流媒体实时交互式的audio/video存储式流媒体客户端从服务器请求audio/video文件,以流水方式从网络上进行接收并显示交互:用户可进行操作(如同操作录像机:暂停,恢复播放,快进,回退,etc.)延迟:从客户端发出请求到开始播出为110秒实况转播(单向实时):如同 TV 和无线广播,但是从因特网上传送非交互,只是收视/收听实时交互:电话或视频会议由于实时特性,比流媒体点播和实况转播要求更为严格Video:150 ms尚可Audio:150 ms比较好,400 ms可以接受TCP/UDP/IP 协议族提供的是尽力而为,无延迟或延迟变动承诺的服
16、务.n流媒体的应用有 5-10的延迟今天看来十分普遍,但当链路(越洋线路)拥塞时,情况会急剧恶化 n实时交互应用对分组延时和抖动(jitter)具有严格的限制.n抖动(Jitter)是指在同一分组流传输过程中发生的分组延时变化.如果在因特网中能分出服务级别,那么多媒体应用的设计将要容易的多.n但是在公共因特网中,所有分组所受到的服务完全是相等的.n包含实时交互audio和video 数据分组在网络中所受到的待遇,和其他分组完全一样.目前对在因特网中提供区别对待的服务的研究一直在进行之中.将尽力而为的服务用到极致将尽力而为的服务用到极致为减少“尽力而为”的因特网的服务原则的影响,我们可以:使用U
17、DP来避免TCP和它的慢启动过程在客户端缓存部分内容和控制回放来弥补传输抖动造成的影响我们可以给分组加上时间戳来提醒接收端及时回放该分组.选择压缩等级来适配可用带宽我们还可以发送冗余的分组来减少分组丢失所造成的影响。我们将讨论这些“小技”因特网应如何进化才能更好的支持多媒体因特网应如何进化才能更好的支持多媒体?集成服务(Intserv)的哲学:改变因特网协议以便应用程序能够预定端对端的带宽n需要部署协议来预留带宽n必须修改路由器的调度策略来响应带宽预留n应用程序必须体为网络提供信息流量的描述,并进而遵循这样的描述.在主机和路由器中开发新的更复杂的软件区别服务(Diffserv)的哲学:对因特网
18、的基础结构进行改造,使其可以提供分级的服务.分组要加标记用户为高级别的服务付出更多的费用.ISP为骨干网络收发高级别的分组付出更多的费用.自由放任(Laissez-faire)哲学 没有带宽预定,不搞分组标记只要需求增加,供应更多的带宽将存储内容置于网络的边缘:nISP和主干上增加缓存n内容提供商将内容置于 CDN 结点nP2P:选择临近的存储有内容的对等结点虚拟专网(VPN)为企业保留永久性的带宽域(blocks of bandwidth).路由器可以根据IP 地址来识别VPN的信息流路由器使用特殊的调度策略来提供预留的带宽.存储式存储式Audio&Video流流存储式流媒体:Audio/v
19、ideo 文件存储在服务器上用户根据需求调用audio/video 文件.Audio/video 在请求的10秒以内提供.提供交互性(暂停,重新定位等,etc.).媒体播放器(Media player):n消除抖动n解压缩n错误校正n提供图形交互界面进行控制 可以使用插件(Plug-in)将媒体播放器植入浏览器窗口.从从Web服务器调用流媒体服务器调用流媒体 Audio和 video文件存储在 Web服务器上最原始的方法浏览器使用HTTP请求报文从Web服务器访问流媒体文件Web服务器用HTTP响应报文发送文件content-type 首部行描述了 audio/video的编码浏览器启动媒体播
20、放器,并将文件传递给它媒体播放器解读该文件 主要缺点:媒体播放器通过浏览器作为中介与Web 服务器交互改进:在服务器和播放器之间建立连接浏览器请求和接收元文件(meta file)(用来描述对象的文件)而不是接收文件本身);Content-type首部说明是特定的audio/video应用浏览器启动媒体播放器并将元文件传递给它 播放器与服务器建立TCP 连接并发送 HTTP请求.问题讨论:媒体播放器使用HTTP通信,没有 pause,ff,rwnd 功能可以考虑使用 UDP通信从流媒体服务器调用流媒体从流媒体服务器调用流媒体该结构可以使用非HTTP协议进行通信在服务器和流媒体播放器之间进行通信
21、 可以使用UDP来替代 TCP.实时流媒体协议(实时流媒体协议(Real Time Streaming Protocol):RTSP HTTP HTTP所服务的媒体已经定型:HTML,images,applets,etc.HTTP 的设计没有考虑流媒体(i.e.,audio,video,etc.)RTSP:RFC 2326客户端-服务器应用层协议.可为用户提供播出控制:rewind,fast forward,pause,resume,repositioning,etc它所不能做到的:没有流媒体传递过程中的audio/video数据的封装不限制流媒体的传递方式;既可以用 UDP也可以用TCP没有
22、定义流媒体播放器如何对 audio/video数据进行缓存RealNetworks服务器和播放器使用RTSP 互相向对方发送控制信息RTSP:带外控制带外控制-out of band controlFTP 使用了“带外”的控制通道:文件传输通过一个通道控制信息(cd,rm,mv,etc.)则通过分离的TCP连接发送.“带外”和“带内”通道使用不同的端口号.RTSP 报文也使用带外通道传送:RTSP控制报文使用的端口号与媒体流使用的不同,所以是带外传递.流媒体的分组结构不是由RTPS定义的,因此被认为是在“带内”传输的.如果RTSP报文使用与流媒体相同的端口号,RTSP将与流媒体一起“间隔”传送
23、.RTSP 启动和控制传递启动和控制传递首先客户端获取多媒体的表示方式描述,这可以由若干媒体流组成.浏览器个根据表示方式所描述的内容类型调用媒体播放器(辅助的应用程序-helper application).表示描述中使用URL方法 rtsp:/将媒体流包含在内播放器发送 RTSP SETUP请求;服务器发送 RTSP SETUP响应.播放器发送 RTSP PLAY 请求;服务器发送 RTSP PLAY 响应.媒体服务器“泵出”流媒体.播放器发送 RTSP PAUSE请求;服务器发送 RTSP PAUSE响应.播放器发送 RTSP TEARDOWN请求;服务器发送 RTSP TEARDOWN响
24、应.HTTP GETSETUPPLAYmedia streamPAUSETEARDOWNmediaplayerWebservermediaserverWebbrowserclientserverpresentation desc.元文件举例元文件举例Twister RTSP会话会话每次RTSP 都会有由服务器选择的会话定义符.当客户端用SETUP请求启动会话,服务器就会使用定义符来进行响应.在随后的过程中,客户端反复在每个请求中都使用该定义符,直到客户端使用 TEARDOWN请求来结束会话.RTSP 端口号为 554.RTSP 报文可以通过 UDP或TCP发送.每个 RTSP 报文可以通过一个
25、分离的TCP 连接进行.RTSP:交换实例交换实例 C:SETUP rtsp:/ RTSP/1.0 Transport:rtp/udp;compression;port=3056;mode=PLAY S:RTSP/1.0 200 1 OK Session 4231 C:PLAY rtsp:/ RTSP/1.0 Session:4231 Range:npt=0-C:PAUSE rtsp:/ RTSP/1.0 Session:4231 Range:npt=37 C:TEARDOWN rtsp:/ RTSP/1.0 Session:4231 S:200 3 OKRTSP:流媒体的缓存流媒体的缓存对R
展开阅读全文