1、2022-10-19南京大学多媒体研究所21.视频基本知识2.数字视频3.数字视频的输入和输出2022-10-19南京大学多媒体研究所4o视频(video)：随时间变化其内容的一组图象(24,25,30帧/秒)，又叫运动图象或活动图象(motion picture)。o常见视频信号：电视，电影，动画等.o视频信号的特点：n内容随时间而变化,n伴随有与画面动作同步的声音(伴音),n人类接受的信息70%来自视觉,其中活动图象是信息量最丰富、直观、生动、具体的一种承载信息的媒体。n视频信息的处理是多媒体技术的核心。2022-10-19南京大学多媒体研究所5o 电视是当代最有影响力的信息传播工具!o
2、3种彩色电视制式:n NTSC制(正交平衡调幅制),美国、加拿大，台湾、日本、韩国、菲律宾等采用n PAL制(逐行倒相正交平衡调幅制),德国、英国，中国、朝鲜等采用n SECAM制(顺序传送彩色与存储制),法国、苏联及东欧国家采用.2022-10-19南京大学多媒体研究所6 o 拍摄图像和播放图像都采用“光栅扫描”(raster scan)的原理。摄象机摄取景物时，把自然景物的颜色分解为R,G,B 三个分量在彩电信号传输中，用Y,C1,C2分别表示亮度信号和两个色差信号，C1,C2的含义与彩电的制式有关。电视接收机把Y,C1,C2信号重新转换为R,G,B进行显示.2022-10-19南京大学多
3、媒体研究所7o 隔行扫描(interlaced,电视图象采用)奇数场偶数场1帧图像o 逐行扫描(progressive,计算机显示图象时采用)2022-10-19南京大学多媒体研究所8575625垂直回扫水平回扫(PAL)485525垂直回扫水平回扫(NTSC)vertical resolutionaspect ratio(4:3 or 16:9)2022-10-19南京大学多媒体研究所9o 动作连贯性感觉的要求：帧频=15f/s；o 无闪烁感觉的要求：画面刷新速率必须=每秒50次。PAL制式：帧频为25 帧/s,场频50场/s；NTSC制式：帧频是30 帧/s,场频是60场/so 电视扫描信
4、号的行频：nPAL：625 x 25=15.625 kHz，周期为64s;nNTSC：525 x 30=15.75 kHz，周期为63.5s2022-10-19南京大学多媒体研究所10575625(4/3)*575o 模拟信号传输电视节目时的带宽：nPAL制式是8.0MHz（亮度信号为5.5 MHz，2个色度信号均为1.8 MHz），nNTSC制式是6.0MHz（亮度信号为4.2 MHz，2个色度信号均为1.0 MHz）。全屏光点总数:575*(4/3)*575=440 kb(P)484*(4/3)*484=310 kb(N)视频信号最高频率:440 k*25/2=5.5MHz(P)310 k
5、*30/2=4.65MHz(N)2022-10-19南京大学多媒体研究所11o在彩色电视中，用Y、C1,C2彩色表示法分别表示亮度信号（Luminance或Luma）和两个色度信号（Chrominance或Chroma）。oC1，C2的含义与具体的电视制式有关:电视制式 C1的含义 C2的含义NTSC I QPAL U VCCIR601数字电视 Cr Cb2022-10-19南京大学多媒体研究所12n YUV空间(PAL)亮度分量 Y=0.3*R+0.59*G+0.11*B色度分量 U=(B-Y)*0.493色度分量 V=(R-Y)*0.877n YIQ空间(NTSC)亮度分量 Y=0.3*R
6、+0.59*G+0.11*B色度分量 I=0.6*R-0.28*G-0.32*B色度分量 Q=0.21*R-0.52*G+0.31*B (优点：与黑白电视兼容；有利于压缩信号带宽)2022-10-19南京大学多媒体研究所13oYCrCb是国际通用的CCIR601数字电视信号中使用的彩色空间，它由YUV彩色空间经过缩放和平移得到。oY值的额定范围在16-235之间，Cr和Cb在16-240之间，具体的转换公式如下：nY=(77/256)*R+(150/256)*G+(29/256)*BnCr=(131/256)*R-(110/256)*G-21/256)*B+128nCb=-(44/256)*R
7、-(87/256)*G+(131/256)*B+1282022-10-19南京大学多媒体研究所14o 使用Y、C1，C2彩色空间的优点：Y和C1，C2是独立的，因此彩色电视和黑白电视都可以使用，Y分量可由黑白电视接收机直接使用而不需做任何进一步的处理；可以利用人的视觉特性来节省信号的带宽和功率，通过选择合适的颜色模型，可以使C1，C2的带宽明显低于Y的带宽，而又不明显影响彩色图像的质量。2022-10-19南京大学多媒体研究所15o 模拟形式：n 模拟复合信号n 模拟分量信号n 模拟S-video信号o 数字形式：n 数字复合信号n 数字分量信号2022-10-19南京大学多媒体研究所16o
8、复合电视信号(composite video signal)：由亮度、色度信号及同步信号复合而成的单一信号，也称为全电视信号.o 复合电视信号 适合于进行远距传输，其质量称为VHS（家用级)。彩色空间转换 RGB=YUV 图象信号编码信号复合RGBYUVCVBSV SyncH Sync复合电视信号 （模拟电视信号的编码）2022-10-19南京大学多媒体研究所17o 为便于电视信号远距传输，必须把三个分量信号以及同步信号复合成一个信号，然后才进行传输。CVBS=Y+a*U*Sin(Wsc*t)+b*V*Cos(Wsc*t)(Wsc 为副载波频率)o 伴音信号与视频信号也复合在一起传输。亮度色度
9、6 MHz(NTSC)-1.0 0.0 1.0 2.0 3.0 4.0 5.0图象载波声音载波色度副载波音频2022-10-19南京大学多媒体研究所18n 为保证视频信号质量，近距离时可用分量视频信号(component video signal)传输,分量信号是指每个基色分量(R,G,B 或 Y,U,V)作为独立的电视信号传输。(Betacam，广播级或专业级).n 视频节目制作时使用的是分量视频信号n 计算机输出的视频信号，是分量形式的视频信号。2022-10-19南京大学多媒体研究所19 o S-Video是亮度(包含同步信号)和色度(2个色度信号复合在一起)互相分离的一种电视信号，优点
10、：减少亮度信号和色度信号之间的交叉干扰；不需要使用梳状滤波器来分离亮度信号和色度信号，这样可提高亮度信号的带宽。信号电平=1V 阻抗=75 ohms 信号电平=0.3V 阻抗=75 ohms S-Video使用单独的两条信号线分别传输亮度信号和色度信号，这两个信号称为Y/C信号。S-Video使用4针连接器2022-10-19南京大学多媒体研究所21n易于编辑、修改等操作处理n用户接收的图像质量更好(可达演播室水平)n有利于存储，信息复制不会失真n有利于传输(抗干扰能力强)n节省频率资源(占用频道较窄)n可以通过公共电信网和计算机网传输n可以与其它媒体组合使用n可以生成描述信息（bits ab
11、out bits）,便于信息的检索和使用2022-10-19南京大学多媒体研究所22视频信号数字化过程:(8-10 bits)滤波取样量化PCM编码数字视频信息模拟视频信号VUYUVY亮度信号的取样频率:13.5MHzU,V色度信号的取样方式有多种不同格式2022-10-19南京大学多媒体研究所23CCIR601）oITU-R BT.601标准(CCIR601,美国称为D1标准)，对3种制式电视的取样频率和有效分辨率都作了统一规定。o每一行的像素数目:PAL:13.5MHz=62525N=15625N,N=864NTSC:13.5 MHz=52530N=15734N,N=858 有效（可显示）
12、像素 均统一为：720720 pel(有效取样样本)12/16 pel 132/122 pel水平扫描线(64us)蓝色为NTSC蓝色为NTSC2022-10-19南京大学多媒体研究所24o 人对颜色的敏感程度远不如对亮度信号那么灵敏，所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量。o 色度信号的取样频率有4种:格式 取样频率 平均每个像素的样本数 4:4:4 同亮度信号取样频率 3样本/像素 4:2:2 亮度信号取样频率的一半 2样本/像素 4:1:1 亮度信号取样频率的1/4 1.5样本/像素 4:2:0 亮度信号取样频率的一半,1.5样本/像素 但隔行处理202
13、2-10-19南京大学多媒体研究所254:2:2亮度信号色度信号4:4:44:2:04:1:12022-10-19南京大学多媒体研究所26 名称 亮度(Y)色度(Cb,Cr)(行数/帧)(像素/行)(行数/帧)(像素/行)取样格式CCIR601 576 720 576 360 4:2:2CIF 288 360 144 180 4:2:0QCIF 144 180 72 90 4:2:0SQCIF 96 128 48 64 4:2:0(CCIR601 ITU-R 601)亮度的取值范围:16(黑)-235(白)色度的取值范围:16-2402022-10-19南京大学多媒体研究所27o 视频信号数字
14、化有2种情况:1 模拟复合视频信号的数字化视频信号数字化芯片复合视频信号YC信号(S-video)CCIR601数字视频24位RGB数字视频视频信号数字化芯片RGB分量模拟视频信号CCIR601数字视频 2 模拟分量视频信号的数字化.2022-10-19南京大学多媒体研究所28把复合视频信号或YC信号进行模数转换。例如使用8位AD转换器，得到8位数字化的值把亮度(Y)和2个色度(C)信号分开。分离后Y的数值范围为4-200，仍包含同步和消隐信息；色度信号是经调制的色度信号，取值范围为082(NTSC)或087(PAL)。接收调制的数字色度信息，经过解调，输出基带 I,Q(NTSC)或 U,V(
15、PAL)色度信号，即恢复出NTSC或PAL制的色度信号按需要对对比度、亮度和饱和度进行调节完成从YIQ或YUV颜色空间到RGB和YCrCb颜色空间的转换模数转换Y/C分离色度信号解调信号调节颜色空间转换复合视频信号数字视频信号S-Video信号2022-10-19南京大学多媒体研究所295.75MHz低通滤波器5.75MHz低通滤波器查找表A/D13.5MHz时钟A/D13.5MHz时钟A/D13.5MHz时钟查找表查找表5.75MHz低通滤波器5.75MHz低通滤波器2.75MHz低通和筛选滤波器RGB到YcrCb转换矩阵2.75MHz低通和筛选滤波器MUXMUX视频时序插入控制RGBCbC
16、rY辅助数据数字RGB输入4:2:2数字视频信号GAMMA校正模拟分量电视信号进行低通滤波,防止走样现象的发生进行取样和8位A/D转换(配置成能产生16-240/235范围内的数据输出)使用ROM(RAM)组成的查色表实现必要的校正把采样频率从13.5MHz降到6.75MHz，产生4:2:2 YCrCb数据输出2022-10-19南京大学多媒体研究所305.75MHz低通滤波器2.75MHz低通滤波器查找表A/D13.5MHz时钟A/D6.75MHz时钟A/D6.75MHz时钟查找表查找表2.75MHz低通滤波器模拟RGB到YUV转换矩阵MUXMUX视频时序插入控制RGBCbCrY辅助数据4:
17、2:2数字视频信号GAMMA校正YUV模拟分量视频信号进行低通滤波彩色空间转换输出范围为16-235(Y)和16-240(Cr和Cb)2022-10-19南京大学多媒体研究所31o AVIo RM，RMVBo ASF和WMV文件o MOV文件o MPEG文件o DAT文件2022-10-19南京大学多媒体研究所33o视频帮助窗口（Video help windows）；o电子文档中的视频标注(Video notes within a document)；o远程视频会议（Video teleconferencing）；oCD-ROM及网络服务器上的视频播放（CD-ROM and network
18、servers）；o视频编辑和教学等（Video editing）；o收看电视（Video viewing）；o视频辅导/交互式教学(Video tutorials/interactive teaching)2022-10-19南京大学多媒体研究所34(1)计算机图形显示技术发展迅速,使模拟视频信号的图像分辨率和画面刷新速率与计算机图形显示器有很大差别。(2)计算机显示器是逐行扫描方式，显示质量很高。这就需要在视频输入时进行扫描方式由隔行到逐行的转换(又称逐行化)，而在视频输出时再进行逐行到隔行的转换。(3)视频信息应纳入到图形用户界面(GUI),与图像/图形进行统一的操作;反之，计算机屏幕上
19、任意位置任意窗口的显示内容也应该能转换成为视频信号输出。2022-10-19南京大学多媒体研究所35模拟音频R模拟和数字音频输出RAMDAC隔行化/缩放/帧速率转换模拟NTSC/PAL/SECAM编码器模拟音频R数字分量视频编码器数字复合视频编码器图形控制器&帧存储器模拟和数字音频输入数字分量视频解码器数字复合视频解码器模拟NTSC/PAL/SECAM解码器音频编码视频编码音频解码视频解码模拟音频L数字音频数字分量视频数字复合视频模拟视频信号模拟音频L数字音频数字分量视频数字复合视频模拟视频信号CRT显示器(模拟RGB）逐行化/缩放/帧速率转换波表合成器FM合成器网络接口网络接口2022-10
20、-19南京大学多媒体研究所37o 视频卡的产品类型:1 视频采集(捕获)卡。将模拟视频信号转换为数字视频并存入硬盘,采集的视频数据可以压缩或不经压缩存储2 视频输出卡。将计算机输出的视频信息转换成标准的模拟电视信号,供录像带记录或用电视机收看，具有这种编码功能的接口卡叫视频输出(编码)卡(TV Coder)3 电视接收卡。视频采集卡缺少高频电视信号的接收、调谐电路，电视接收卡即用来完成这一任务4 视频压缩卡。目的是压缩数字视频的数据量，需遵循国际标准,分成实时处理和非实时处理两种。2022-10-19南京大学多媒体研究所38o从多种视频源中选择一种作为视频输入;o支持不同的电视制式;o能同时处
21、理图像信号的伴音;o可在显示器上监看输入的视频信号,其位置及大小可调;o能将计算机生成的图像/图形/文本与视频图像迭加处理;o可随时冻结(定格)一幅画面,并按指定格式保存;o可 实时压缩与存储视频及其伴音信息;o可 实时解压缩并播放视频及其伴音信息,输出设备可选(VGA监视器、电视机、录相机等)2022-10-19南京大学多媒体研究所39videograbbervideobufferoverlayconversionTV coderVGAgraphicsVGAVRAMMMCPUDSPCodecPCI busvideoRGB monitorTV setdisc2022-10-19南京大学多媒体研
22、究所40o 最高分辨率为640480，一般都是352288，o 速度一般在30fps（每秒30帧）以下，o 镜头的视角可达到45-60度,o 支持USB接口 或FireWire（火线）接口。2022-10-19南京大学多媒体研究所41 o提供480线以上的分辨率，清晰度高，o自动对焦(Auto focus)，自动曝光(Auto Expose)，o使用M-JPEG或MPEG-2进行压缩编码，然后记录在磁带或磁盘上，o提供录音功能，o数据量很大，采用USB接口或IEEE1394（FireWire）接口，后者传输速率可以达到200-800MB/s。2022-10-19南京大学多媒体研究所42o 图形
23、控制卡也称显示卡、视频卡等，作用是：n存储正在屏幕上显示的图像数据；n将RGB三基色的数字信号转换为模拟信号，n协助CPU完成图像的生成和修改(更新)o 图形卡及CRT显示器的分辨率、帧频、扫描方式、彩色空间等与视频信号差异较大，o 为了在图形/图像显示设备上监看输入的视频信息,图形控制卡的结构必须进行修改和扩展;2022-10-19南京大学多媒体研究所43o要求视频的时序必须与计算机图形数据的时序相同。如果输入视频信号是50Hz或60Hz隔行扫描方式，那么图形控制器必须也能以50Hz或60Hz隔行扫描方式操作。处理像素数据,完成校正,生成模拟 RGB视频信号控制视频和图形数据之间的切换把输入
24、视频的时序信号(HSYNC,VSYNC和像素时钟)来控制图形控制器的时序RAMDAC MU X图形帧存储器视 频解码器CRT显示器(模拟RGB）图形控制器时序发生器色键检测模拟或数字视频信号同步和时钟信号2022-10-19南京大学多媒体研究所44RAMDACMU X视频解码器CRT显示器 (模拟RGB）图形控制器时序发生器色键检测模拟或数字视频信号1模拟或数字视频信号2模拟或数字视频信号3视频帧存储器逐行化处理缩放处理视频解码器逐行化处理缩放处理视频解码器逐行化处理缩放处理图形帧存储器视频帧存储器与图形帧存储器的大小一样切换或按优先权叠加定义视频窗口以双缓冲存储器方式工作,实现帧速率转换20
25、22-10-19南京大学多媒体研究所45o 功能:n输入的视频信号可以与图形/图像同时进行显示;n视频显示窗口可任意大小,任意位置;n视频信号的帧频容易与图形显示器的帧频同步;o 缺点:n使用额外的存储器来实现视频帧的存储,代价高;n多于一个视频源时，视频帧缓冲存储器的带宽将会增加。2022-10-19南京大学多媒体研究所46RAMDACCRT显示器(模拟RGB）时序控制器模拟或数字视频信号1模拟或数字视频信号2缩放处理视频解码器逐行化处理视频解码器逐行化处理缩放处理图形帧存储器图形处理器FFIFOFFIFO临时保存视频数据，直到可访问帧存储器时为止每个视频源必须能调整值、亮度、对比度、色度和
26、色饱和度等统一使用一个帧存储器，把视频数据当成是 另一种可写到图形帧存储器中的数据类型;显示分辨率可变，在多个帧存和多个监视器 时不影响视频功能;帧存储器的容量与视频源数目无关.2022-10-19南京大学多媒体研究所47o 需求:n 将计算机输出的视频信号转换成NTSC、PAL或SECAM制式的模拟电视信号,用于把电视信号记录到录像带上，供电视播出使用.n 将计算机输出的视频信号转换成数字分量视频或数字复合视频信号,用于把数字视频信号记录到数字磁带记录机上。2022-10-19南京大学多媒体研究所48RAMDACMU X视频解码器CRT显示器 (模拟RGB）图形控制器时序发生器色键检测模拟或
27、数字视频信号视频帧存储器逐行化处理缩放处理图形帧存储器缩放处理将分辨率调整成为电视信号的分辨率模拟复合视频信号视频编码器帧速率转换将帧频转换为标准电视信号的帧频隔行化处理将逐行扫描转换为隔行扫描2022-10-19南京大学多媒体研究所49RAMDACCRT显示器(模拟RGB）时序控制器模拟或数字视频信号1模拟或数字视频信号2缩放处理视频解码器逐行化处理视频解码器逐行化处理缩放处理图形帧存储器图形处理器FFIFOFFIFO先进行颜色空间转换，将数字RGB颜色信号转换为YIQ(NTSC)和YUV(PAL)，生成数字亮度(Y)数据与数字色度(C)数据；然后把它们相加在一起形成数字彩色视频信号,最后经8位DAC生成0-1.3V的模拟复合视频信号模拟复合视频信号视频编码器帧速率转换缩放处理隔行化处理
