1、第4章 视频信号的获取与处理 多媒体计算机需要计算机综合处理声、文、图信息，根据一项心理学测定和估计的结果，进入人类大脑的信息约有80%来自眼睛，10%来自耳朵，其余来自人的其他器官。客观世界较多的是景物和图像等客观事物，语言和文字是对客观事物的一种描述。在日常生活中人们会发现，有时用语言和文字难以表达的事物，用一张简单的图就能精辟而准确地表达。因此，在多媒体计算机中视频信息的获取及其文件格式就显得非常重要。彩色空间表示及其转换(,)f x y(,)f x y 多媒体计算机处理图像和视频，首先必须把连 续的图像函数进行空间和幅值的离散化处颜色的离散化称为量化。两种离散化结理。空间连续坐标(x,
2、y)的离散化叫做采样：合在一起叫做数字化，离散化的结果称为数字图像。采样(,)f x yxyNNN N(,)f m nxy(,)f x y(,)f x y对连续图像彩色函数，沿x方向以等间隔采样点数为N，沿y方向以等间隔于是得到一个的离散样本了达到由离散样本阵列以与）必须满足惠特克卡切尼柯失真地重建原图。实际情况限函数，那么它的频域带宽不可能有限，卷积时混叠采样，阵列最小失真重建原图的目的，Whittaker-Kotelnikov-Shannon）采样定理。农（采样定理阐述了采样间隔与 频带之间的依系，频带愈窄，相应的采样频率可以降低，采样频图像变化频率的两倍时，就能保证由离散图像数是空域图像
3、采样，采样点数为N，为采样密度（间隔夫香存关率是据无一般为有现象也不可避免，因而用数字图像表示连续图像总会有些失真。量化(,)f x y(,)x y采样是对图像函数的空间坐标进行离散化处理，而量化是对每个离散点像素的灰度或颜色样本进行数字化处理。色彩的基本概念 从人的视觉系统看，色彩可用色调、饱和度和亮度来描述。人眼看到的任一彩色光都是这三个特性的综合效果，这三个特性可以说是色彩的三要素，其中色调与光波的波长有直接关系，亮度和饱和度与光波的幅度有关。图像深度与色彩类型图像深度与色彩类型 图像深度与显示深度图像深度与显示深度 亮度 亮度是光作用于人眼时所引起的明亮程度的感觉，它与被观察物体的发光
4、强度有关。由于其强度不同，看起来可能亮一些或暗一些。显然，如果彩色光的强度降到使人看不到了，在亮度标尺上它应与黑色对应；同样，如果其强度变得很大，那么亮度等级应与白色对应。对于同一物体照射的光越强，反射光也越强，也称为越亮；对于不同的物体在相同照射情况下，反射越强者看起来越亮。此外亮度感还与人类视觉系统的视敏函数有关，即便强度相同，不同颜色的光当照射同一物体时也会产生不同的亮度。亮度与明度同一物体因受光不同会产生明度上的变化不同颜色的光，强度相同时照射同一物体也会产生不同的亮度感觉。明度也可以说是指各种纯正的色彩相互比较所产生的明暗差别。在纯正光谱中，黄色的明度最高，显得最亮；其次是橙、绿；再
5、其次是红、蓝；紫色明度最低，显得最暗。同一物体因受光不同会产生明度上的变化同一物体因受光不同会产生明度上的变化照射的光越强，反射光也越强，看起来越亮。显然，如果彩色光的强度降到使人看不到了，在亮度标尺上它应与黑色对应。同样，如果其强度变得很大，那么亮度等级应与白色对应。亮度是非彩色属性，彩色图像中的亮度对应于黑白图像中的灰度色调 色调是当人眼看一种或多种波长的光时所产生的彩色感觉，它反映颜色的种类，是决定颜色的基本特性。红色、棕色等都是指色调。某一物体的色调，是指该物体在日光照射下，所反射的各光谱成分作用于人眼的综合效果，对于透射物体则是透过该物体的光谱综合作用的结果。色彩连续变化的色环色彩连
6、续变化的色环太阳光带中的六标准色与六个中间色，即红橙，黄橙，黄绿，蓝绿（青），蓝紫，红紫（品红），合称十二色相或色调。把不同的色调按红橙黄绿蓝紫的顺序衔接起来，就形成了一个色调连续变化过渡的圆环，称作为色环。饱和度 饱和度是指颜色的纯度，即掺入白光的程度，或者说是指颜色的深浅程度，对于同一色调的彩色光，饱和度越深颜色越鲜明或越纯。例如，当红色加进白光之后冲淡为粉红色，其基本色调还是红色，但饱和度降低，换句话说，淡色的饱和度比深色要低一些。饱和度还和亮度有关，因为若在饱和的彩色光中增加白光的成分，增加了光能，因而变得更亮了，但是它的饱和度却降低了。如果在某色调的彩色光中，掺入别的彩色光，则会引起
7、色调的变化，只有掺入白光时仅引起饱和度的变化。饱和度与纯度饱和度与纯度对于同一色调的彩色光，饱和度越深，颜色越鲜明或说越纯，相反则越淡饱和度和亮度 在饱和的彩色光中增加白光的成分，相当于增加了光能，因而变得更亮了，但是它的饱和度却降低了。若增加黑色光的成分，相当于降低了光能，因而变得更暗，其饱和度也降低了 人眼对图像的亮度信息敏感、对人眼对图像的亮度信息敏感、对颜色分辨率弱颜色分辨率弱由于人眼对色彩细节的分辨能力远比对亮度细节的分辨能力低，若把人眼刚能分辨的黑白相间的条纹换成不同颜色的彩色条纹，那么眼睛就不再能分辨出条纹来。如图所示，等宽的蓝红相间的彩条，蓝绿相间的彩条和黑白相间的条纹比较。使
8、眼睛逐渐远离屏幕，当你分辨不出彩条时，黑白条还能分辨出来视觉系统对颜色的感知视觉系统对颜色和亮度的响应特性视觉系统对颜色的感知产生波长不同的光所需要的三基色值三基色（RGB）原理 自然界中所有的颜色都可以用红、绿、蓝(RGB)这三种波长颜色的不同的强度组合而得，这就是人们常说的三基色原理。因为 RGB 颜色合成产生白色，它们也叫作加色 把三种基色交互重叠，就产生了次混合色：青(cyan)、洋红(magenta)、黄(yellow)在数字视频中，对RGB三基色各进行8位编码就构成了大约16.7万种颜色，这就是我们常说的真彩色。电视机和计算机的监视器都是基于RGB颜色模式来创建其颜色的。RGB色彩
9、空间RGB相加混色模型RGB相加色示例R G B 强度 颜色色彩效果0 0 0 黑（Black）0 0 1 蓝（Blue）0 1 0 绿（Green）0 1 1 青（Cyan）1 0 0 红（Red）1 0 1 品红（Magenta）1 1 0 黄（Yellow）1 1 1 白（White）彩色空间表示 RGB彩色空间 在多媒体计算机技术中，用的最多的是RGB彩色空间表示，因为计算机彩色监视器的输入需要RGB三个彩色分量，通过3个分量的不同比例，在显示屏幕上合成所需要的任意颜色，所以不管多媒体系统中采用什么形式的彩色空间表示，最后的输出一定要转换成RGB彩色空间表示。RGB彩色空间 RGB彩色
10、空间，任意彩色光F，其配色方程可写成：FrRgGbB RGB色度图 其中r、g、b为三色系数，rR、gG、bB为F色光的三色分量。任意一种色光，其色度可由相对色系数中的任意两个唯一确定。因此，各种彩色的色度可以用二维函数表示。用r和g作为直角坐标系中两个直角坐标所画的各种色度的平面图形，就叫RGB色度图，如图所示。YUV和YIQ彩色空间 RYBYRYBY 在现代彩色电视系统中，通常采用三管彩色摄像机或彩色电荷耦合器件（Charge Coupled Derice，CCD）摄像机，它把摄得的彩色图像信号，经分色棱镜分成R0G0B0三个分量的信号，分别经放大和g 校正得到RGB，再经过矩阵变换电路得
11、到亮度信号Y、色差信号和，最后发送端将Y、及行编码，用同一信道发送出去。这就是我们常用的三个信号进YUV彩色空间。采用YUV彩色空间的好处如下：（1）亮度信号Y解决了彩色电视机与黑白电视机的兼容问题。（2）大量实验表明，人眼对彩色图像细节的分辨本领比对黑白的低得多，因此对色度信号U、V，可以采用“大面积着色原理”。用亮度信号Y传送细节，用色差信号U、V进行大面积涂色。因此彩色图像的清晰度由亮度信号的带宽保证（PAL制式亮度信号Y的带宽为4.43MHz），而把色度信号的带宽变窄（PAL制式色度信号带宽限制在1.3 MHz）。YIQ彩色空间 适用适用于NTSC彩色电视制式，选用了YIQ彩色空间，Y
12、仍为亮度信号，I、Q仍为色差信号，但它们与U、V是不同的，其区别是色度矢量图中的位置不同，如右图所示，Q、I为互相正交的坐标轴，它与U、V正交轴之间有33夹角。IQ轴与UV轴的关系 I、Q与V、U之间的关系可以表示成：IVcos33Usin33QVsin33Ucos33其他彩色空间表示 在HSI彩色空间中，人们常用H、S、I三参数描述颜色特性，其中H表示色调（Hue），S表示颜色的饱和度（Saturation），I表示光的强度（Intensity）。彩色空间表示还有很多种，如CIE（国际照明委员会）制定的CIE XYZ、CIE LAB彩色空间，以及国际无线电咨询委员会（Consultative
13、 Committee International Radio，CCIR）制定的CCIR601-2YCbCr彩色空间。彩色全电视信号 电视摄像机是一种广泛使用的视频和图像的输入设备，它能将景物、图片等光学信号转变为全电视信号，目前主要有黑白和彩色两种摄像机。黑白全电视信号 彩色全电视信号 视频信息获取技术 多媒体计算机最常用的图像有3种：图形、静态图像和动态图像（也称视频）。获得这3种图像可用下述方法：（1）计算机产生彩色图形、静态图像和动态图像。（2）用彩色扫描仪扫描输入彩色图形和静态图像。（3）用视频信号数字化仪将彩色全电视信号数字化后，输入到多媒体计算机中，可获得静态和动态图像。视频采集卡
14、的功能简介 视频采集卡有很多，例如新加坡Creative Labs公司的Video Blaster SE、Video Blaster SE100、Video Blaster FS200和Video Blaster RT300等。它们只能接收AV信号，不能收看电视节日，多用于与录像机或摄像机相接。还有如Video Plus，它其实是一块TV转VGA的转换卡。另外有一些具有组合功能的几合一卡，如北京银河公司的四合一卡、台湾丕文公司的PV123三合一卡，都是集视频采集、MPEG解压、电视于一身的卡，只不过这些卡并没有标准、形形色色，难以一概而论。视频采集卡的工作原理 多媒体计算机视频信号获取器总体框
15、图 视频采集卡的工作原理 视频采集卡也称视频信号获取器。工作原理概述如下：视频信号源、摄像机、录像机或激光视盘的信号首先经过A/D变换，送到多制式数字解码器进行解码得到Y、U、V数据，然后由视频窗口控制器对其进行剪裁，改变比例后存入帧存储器；帧存储器的内容在窗口控制器的控制下，与VGA同步信号或视频编码器的同步信号同步；再送到D/A变换器模拟彩色空间变换矩阵；同时送到数字式视频编码；最后输出到VGA监视器及电视机或录像机。图像文件格式及其转换 多媒体计算机通过彩色扫描仪能够把各种印刷图像及彩色照片，数字化后送到计算机存储器中；通过视频信号数字化器能够把摄像机、录像机、激光视盘等彩色全电视信号数
16、字化存到计算机存储器中；还有计算机本身可以通过计算机图形学的方法编程，生成二维、三维彩色几何图形及三维动画，存在计算机存储器中。采用上述3种形式形成的数字化的图形、图像及视频信息，都以文件的形式存储到计算机的存储器，我们希望能够有国际标准的文件格式，但是目前流行大多数是工厂或企业的标准。下面将其分成两类：一类是静态图像文件格式；另一类是动态视频图像文件格式。对于静态图像文件格式，将介绍6种当前比较流行的图像格式：GIF、TIFF、TGA、BMP、PCX及MMP；对于动态视频图像文件格式，将简单介绍一下MPG、AVI等文件格式。常用图形、图像文件的格式矢量图和位映像图图像文件的一般结构BMP文件
17、格式 GIF文件格式TIF文件格式 PNG文件格式 图像文件的一般结构矢量图和位映像图矢量图是用数学方法描述的一系列点、线、弧和其它几何形状，因此存放这种图使用的格式称为矢量图格式，存储的数据主要是绘制图形的数学描述；位映像图(bitmapped graphics)也称光栅图(raster graphics)，这种图就像电视图像一样，由像点组成的，因此存放这种图使用的格式称为位映像图格式，经常简称为位图格式，存储的数据是描述像素的数值。矢量图 矢量图是用一系列计算机指令来表示一幅图，如画点、画线、画曲线、画圆、画矩形等。这种方法实际上是数学方法来描述一幅图，然后变成许多的数学表达式，再编程，用
18、计算机语言来表达。在计算显示图时，也往往能看到画图的过程。绘制和显示这种图的软件通常称为绘图程序(draw programs)。位图 位图法与矢量图法很不相同。它是把一幅彩色图分成许多的像素，每个像素用若干个二进制位来指定该像素的颜色、亮度和属性。因此一幅图由许多描述每个像素的数据组成，这些数据通常称为图像数据，而这些数据作为一个文件来存储，这种文件又称为图像文件。如要画点位图，或者编辑点位图，则用类似于绘制矢量图的软件工具，这种软件称为画图程序(paint programs)。位图和矢量图的区别 BMP文件格式 图文件(Bitmap-File，BMP)格式是Windows采用的图像文件存储格
19、式，在Windows环境下运行的所有图像处理软件都支持这种格式。BMP图像文件由以下三部分组成：位图文件头(BITMAPHEADER)数据结构、位图信息(BITMAPINFO)数据结构和位图阵列。位图文件头位图文件头 位图文件头数据结构包含BMP图像文件的类型、显示内容等信息。它的数据结构如下：typedef structint bfType;/*always BM*/long bfSize；/*file size*/int bfReserved1；int bfReserved2；long bfOffBits;/*image data offset*/BITMAPFILEHEADER;典型的B
20、MP图像文件 在Windows环境中，它的名字是SEAWATER.BMP。图像的种类标准单色图 标准灰度图图像的种类256色标准图像 24位标准图像图像的种类256色标准图像转换成的灰度图 24位标准图像转换成的灰度图GIF 文件格式GIF(Graphics Interchange Format)是CompuServe公司开发的图像文件存储格式，称为图形交换格式。1987年开发的GIF文件格式版本号是GIF87a，1989年进行了扩充，扩充后的版本号定义为GIF89a。一个GIF文件由表示图形/图像的数据块、数据子块以及显示图形/图像的控制信息块组成。GIF文件格式采用了LZW(Lempel-
21、Ziv Walch)压缩算法来存储图像数据。GIF文件格式可在一个文件中存放多幅彩色图形/图像。TIF文件格式TIF是TIFF(Tagged Image Format File)文件的扩展名，该格式由美国Aldus Developers Desk和Microsoft Windows Marketing Group制订。TIFF支持任意大小的图像，从单色的二值图像到24位的真彩色图像；支持灰度图像，也支持EGA/VGA上最常见的调色板式图像。TIF格式的优点主要是适合于广泛的应用程序，它与计算机体系结构、操作系统和图形处理的硬件无关。TIFF文件组成TIFF文件组成:文件头(8字节)参数指针表
22、参数数据表 TIFF文件定义了4类不同的TIFF文件格式：TIFF-B适用于二值图像；TIFF-G 适用于黑白灰度图像；TIFF-P适用于带调色板的彩色图像;TIFF-R适用于RGB的彩色图像。TIFF-X是一种通用型，通过编程可以适用于上述所有4种类型。PNG文件格式 PNG是20世纪90年代中期开始开发的图像文件存储格式，其目的是企图替代GIF和TIFF文件格式，同时增加一些GIF文件格式所不具备的特性。PNG使用从LZ77派生的无损数据压缩算法。PNG的优点 兼有GIF和JPEG的色彩模式 PNG能把图像文件压缩到极限以利于网络传输，但又能保留所有与图像品质有关的信息的解决方案 更优化的
23、传输显示 透明图像在制作网页图像的时候很有用 PNG可以让你在Macintosh上制作的图像与在Windows上所显示的图像完全相同 PNG图像的缺点 PNG不支持动画的应用 因为PNG采用的是无损压缩方式，尽管相同图像质量的PNG图像文件比JPEG图像文件小，但是JPEG可以适当地牺牲画面品质而取得比PNG更小的文件尺寸 PNG不支持CMYK的模式 动态图像的分类 动态图像一般可分为：视频和动画。视频：视频：每一帧图像是实时获取的自然景物的真实图像。和音频一样，在多媒体计算机中使用的是数字视频。数字视频的应用于VCD/DVD、数字电视、远程教学及视频会议等。动画：动画：每一帧图像是由计算机或
24、人工制作的具有真实感的图像。若画面仅为二维透视效果时，则为二维动画二维动画；若画面具有空间效果时，则为三维三维动画动画；若加上真实的光照效果和质感，则为三维三维真实感动画真实感动画。动态图像的特点连续性连续性 在时间轴上以帧为运动单位，属于离散型媒体类。动态图像比静态图像表示的范围广、表现力强。时延性时延性 动态图像数据量大，必须被压缩后才能在计算机中应用。计算机的容量和速度直接影响图像质量。相关性相关性 帧之间的关联是动态图像连续动作形成的基础，也是进行压缩和其他处理的条件。但对错误的敏感性较低。动态图像压缩编码文件格式 动态图像的文件格式目前在多媒体计算机中常用的有MPG、AVS及AVI等
25、。AVS和AVI是Intel和IBM公司共同研制的数字视频交互（Digital Video Interactive，DVI）系统动态图像文件格式，AVS文件格式只能在DVI系统硬件支撑下才能读写，这样系统的硬件设备投资比较大，为了降低系统造价，Intel公司最近又推出了Indeo系统，它可以在Microsoft公司的Video for Windows支持下，用软件播放AVI 文件。AVS文件格式 AVS文件格式比起图像文件格式能够提供较多的灵活性，它能够支持多个数据流同时操作。AVS文件还提供了三种附加数据流的类型：底层数据、数据和图像。AVS文件的一帧可能没有固定的尺寸，特别是经过压缩编码的
26、视频数据，某些帧可能比另外的一些帧多些或少些数据。资源交换文件格式 资源交换文件格式（Resource Interchange File Format，RIFF），是IBM和Microsoft公司推荐了为多媒体资源文件而开发的一种带标记的文件结构。实际上它不是一种文件格式，而是一种定义标准的范式。目前，很多多媒体资源文件都是按RIFF范式定义的，如多媒体影片文件（MMM）、波形音频文件（WAV）和位图文件（RDIB）。Microsoft公司在Windows 3.1中提供了对多媒体文件I/O（MMIO）的支持，为RIFF文件的应用开辟了新的途径。习题1国际上常用的视频制式有哪些？简述其应用范围。2全电视信号主要由哪些信号组成？3视频卡的种类很多，主要包括哪几种？简述其应用原理和应用范围。4彩色全电视信号主要由哪些信号组成？5数字视频编码的方式有哪些？6在多媒体计算机中，常用的图像输入设备有哪些？7视频采集卡能支持多种视频源输入，哪些设备采集的信息是视频采集卡支持的视频源？8简述视频信息获取的流程，并画出视频信息获取的流程框图。9简述视频信号获取器的工作原理。
