第三基础知识培训课件.ppt

1、第三基础知识优选第三基础知识3.1图像处理的视觉基础图像处理的视觉基础v视觉生理/视觉特性/视觉模型v视觉基础/视觉应用v它们与图像研究的关系见图31。图图31 视觉研究与图像的关系视觉研究与图像的关系视觉研究基础研究视觉心理现象法则（心理学）视觉信息加工机理（生理学）应用研究视环境的改善和视机能应用（照明工程学、人类工程学）图像改善和评价（图像工程）模拟视觉机能的信息处理（信息工程、人工智能心理测定模拟技术1、图像质量评价与视觉心理v对图像质量的最终评价是由人的感觉器官和心理状态来决定的。与图像内容以及观察者的心理因素有关。v从图像信息传输角度出发，图像系统评价的真正尺度应该是发出信息者的意

2、图为接收信息者所理解的程度，而不是对发出信息者发出的图像像素信息集合的简单接收。图像质量评价方法图像质量评价方法v1.客观评价n信噪比等n缺点是不容易取得客观评价指标的计算，不能反映视觉心理v2.主观评价n根据视觉效果进行评分n一般方法2、画面组成和视觉心理v“”视野指眼球不动时所能见到的范围n如果把注视点作为中心，可见的范围上方约65。，下方约75。，左右视角约为104。，但视力好的部位仅限于中央2。3。左右。v 为了适应大的画面和立体景象的机理，眼球必须转动使视线移动。n中心视力分辨率强，可以进行图像细节的认识。n周边视力分辨率差，可以将视目标特征部分检出，利用检出的目标图像特征去控制眼球

3、运动。n另外周边视可以认识图像的全貌，而中心视只能认识图像的一小部分。n要产生充分的临场感，画面尺寸应该产生30。以上视野，如宽银幕电影。3、视觉的时空频率分析v 空间分辨力n人眼对空间景物细节的分辨能力有限。v 时间分辨力n对亮度的响应有时延和残留，因而对景物亮度的变化也有分辨力，过快的变化无法分辨n“视觉惰性”。当离散画面的重复频率不低于24Hz时，可形成连续画面的感觉，即人眼不能分辨相邻两幅画面间的差别，而低于24Hz时，有闪烁感。3、视觉的时空频率分析v 人眼对画面静止部分的分辨率高于活动部分，v 对静止部分减少时间分辨率，而对活动部分减少空间分辨率，可以达到数据压缩的效果。v 幅度分

4、辨力v 人眼对景物亮度层次的分辨力也有限，过小的亮度差别无法分辨。v 对彩色图像的色调和饱和度的分辨力v 人的视觉对彩色细节的分辨力要比亮度细节差，在国际无线电咨询委员会（ITUR，原CCIR）601标准中，就利用了这种特性，将色差信号的空间分辨率减半，仍可以得到非常好的图像质量。颜色特征丰富了图像处理的方法从噪声幅度分布的统计来看为组成某种颜色所需的红、绿、蓝的量称为3个刺激量，分别用R、G、B表示。三种视色素，对光的影响峰值分别在红、绿、蓝区，综合后形成色觉信息。从图像信息传输角度出发，图像系统评价的真正尺度应该是发出信息者的意图为接收信息者所理解的程度，而不是对发出信息者发出的图像像素信

5、息集合的简单接收。3、视觉的时空频率分析x+y+z=1,(x,y)CIE色度图。缺点是不容易取得客观评价指标的计算，不能反映视觉心理33的 E点，称等能量点，CIE标准白光。f(x,y)=i(x,y)r(x,y),视觉生理/视觉特性/视觉模型颜色特征丰富了图像处理的方法（2）采样点（像素）幅值（实数）取整量化：色彩的识别，色彩分解，提取特征。指视觉信息的产生部分视细胞(图像信息感受器)和其它神经细胞以及大脑高级中枢的神经系统的信息产生、传输和处理的机理用眼睛观察树的光学表示法，C点为晶状体的光学中心4、视觉生理v视觉生理n指视觉信息的产生部分视细胞(图像信息感受器)和其它神经细胞以及大脑高级中

6、枢的神经系统的信息产生、传输和处理的机理人类视觉感知过程人类视觉感知过程v人眼结构v眼睛中图像的形成v视觉特性视觉生理特点对图像处理方法的影响很大1、人眼的结构、人眼的结构视锥细胞和视杆细胞在视网膜上的分布视锥细胞和视杆细胞在视网膜上的分布锥状（锥状（cone）视觉）视觉：白昼视觉，色彩；杆状（杆状（rod）视觉）视觉：夜视觉，低照度敏感。2、眼睛中图像的形成、眼睛中图像的形成v成像的几何原理v视觉信息的产生v视觉信息的传递v视觉信息的加工处理（1）成像的几何原理用眼睛观察树的光学表示法，C点为晶状体的光学中心当晶状体的折射能力由最小变到最大时，晶状体的聚焦中心与视网膜之间的距离由17mm缩小

7、到14mm。当眼睛聚焦到远于3m的物体时，晶状体的折射能力最弱，当聚焦到非常近的物体时，其折射能力最强。任何彩色可以用不多于三个基色配成；x+y+z=1,(x,y)CIE色度图。三种视色素，对光的影响峰值分别在红、绿、蓝区，综合后形成色觉信息。三种视色素，对光的影响峰值分别在红、绿、蓝区，综合后形成色觉信息。均方值En2(x,y)反映噪声的总功率，33的 E点，称等能量点，CIE标准白光。e1、e2、e3经对数传传递后合并为d1、d2、d3输出：对于二维有限带宽信号fc(x,y)，如果其二维傅立叶变换只在色调（H，Hue）、色饱和度（S，Saturation）以及亮度（I，Intensity从

8、图像信息传输角度出发，图像系统评价的真正尺度应该是发出信息者的意图为接收信息者所理解的程度，而不是对发出信息者发出的图像像素信息集合的简单接收。人眼不能分解混合彩色的各个分量；2、画面组成和视觉心理颜色特征丰富了图像处理的方法33的 E点，称等能量点，CIE标准白光。色调和饱和度合起来称为色度。颜色特征丰富了图像处理的方法的范围内不为零，那么采样间隔必须满足三种不同频率响应的锥，各对红、绿、蓝具有最强的响应，彩色的识别功能周边视力分辨率差，可以将视目标特征部分检出，利用检出的目标图像特征去控制眼球运动。成像尺寸计算成像尺寸计算观测者看一个距离100m，高15m的树。设x表示视网膜上形成的图像的

9、大小，单位mm，有:15/100=x/17,x=2.55mm（2）视觉信息的产生v光化电过程v色觉理论主要有两种v三色学v三种视色素，对光的影响峰值分别在红、绿、蓝区，综合后形成色觉信息。v四色学说v三对视色素(白黑，红绿，黄蓝)，它们的组合响应产生色觉信息人类感光细胞的敏感曲线人类感光细胞的敏感曲线400 450 500 550 600 650 700100806040200蓝绿红波长（nm)光吸收特性%三种不同频率响应的锥，各对红、绿、蓝具有最强的响应，彩色的识别功能（3）视觉信息的加工处理v简单型细胞n检测图像的明暗边界和线条的位置和方向，v复杂型细胞n对直线和边界的运动方向敏感，n低级

10、超复杂型细胞检测直线和边界的长度、宽度，n而高级超复杂型细胞可以检测曲线和边缘曲度等3、视觉特性v 亮度适应与鉴别v 分辨力v 对比灵敏度v 同时对比效应v 阈值效应和掩盖效应v 视觉运动特性v 视觉空间频率特性v 视觉时间频率特性主观亮度感受特性主观亮度感受特性 其中 0 i(x,y)Bm,0 r(x,y)1,对图像质量的最终评价是由人的感觉器官和心理状态来决定的。光学系统的调制传递函数MTF为组成某种颜色所需的红、绿、蓝的量称为3个刺激量，分别用R、G、B表示。对图像质量的最终评价是由人的感觉器官和心理状态来决定的。从图像信息传输角度出发，图像系统评价的真正尺度应该是发出信息者的意图为接收

11、信息者所理解的程度，而不是对发出信息者发出的图像像素信息集合的简单接收。为了适应大的画面和立体景象的机理，眼球必须转动使视线移动。周边视力分辨率差，可以将视目标特征部分检出，利用检出的目标图像特征去控制眼球运动。（3）视觉信息的加工处理均方值En2(x,y)反映噪声的总功率，gmin g gmax,gmin=imin rmin,gmax=imax rmax。中心视力分辨率强，可以进行图像细节的认识。i(x,y)照射分量，r(x,y)反射分量，Bm最大光照强度。光强分辨力的典型韦伯比对于二维有限带宽信号fc(x,y)，如果其二维傅立叶变换只在当离散画面的重复频率不低于24Hz时，可形成连续画面的

12、感觉，即人眼不能分辨相邻两幅画面间的差别，而低于24Hz时，有闪烁感。色调（H，Hue）、色饱和度（S，Saturation）以及亮度（I，Intensity设x表示视网膜上形成的图像的大小，单位mm，有:从图像信息传输角度出发，图像系统评价的真正尺度应该是发出信息者的意图为接收信息者所理解的程度，而不是对发出信息者发出的图像像素信息集合的简单接收。为组成某种颜色所需的红、绿、蓝的量称为3个刺激量，分别用R、G、B表示。图像=g(x,y)，分辨力分辨力在不同的亮度适应级，人眼的分辨力不同，如图所示，I是背景光强，I是光强的变化，)I/I(log 称为韦伯比，表示光强分辨力 光强分辨力的典型韦伯

13、比马赫带效应马赫带效应同时对比效应图同时对比效应图视觉的简单数学模型v亮度视觉模型v彩色视觉模型1、亮度视觉模型输入图像Ii(x,y)光学系统H(x,y)输出图像Io(x,y)线性光学系统),(),(),(yxiyxyxoH),(),(),(yxiyxoyxH光学系统的调制传递函数MTF 2、彩色视觉模型ThomasYoung三色假说 g3g1g2d3d2d1e3e1e2线性系统-黄绿色视锥感受器蓝色视锥感受器绿色视锥感受器LOGLOGLOG+-+H2(Wx,Wy)H1(Wx,Wy)H3(Wx,Wy)神经信号彩色视觉模型彩色响应彩色响应在上图模型中，e1、e2、e3代表视网膜三个具有S1()、

14、S2()、S3()谱灵敏度的感受器，其输出分别为 dSCedSCedSCe)()()()()()(332211C()为入射光谱的能量分布函数 彩色信息融合彩色信息融合e1、e2、e3经对数传传递后合并为d1、d2、d3输出：)/log()log()log()/log()log()log()log(131331212211eeeedeeeeded色度学v3个基本颜色红（R,red）、绿(G,green)和蓝(B,blue)v国际照明委员会（CIE），1931年规定3种基本色的波长为R:700nm,G:546.1nm,B:435.8nm。三色系统三色系统彩色加法系统（左）与减法系统（右）利用3基色

15、叠加可产生光的3补色：品红（M,magenta，即红加蓝）、蓝绿（C,cyan，即绿加蓝）、黄（Y,yellow，即红加绿）。按一定的比例混合3基色或将1个补色与相对的基色混合就可以产生白色。光的混合满足加色定理。色度图色度图1 ,zyxZYXZzZYXYyZYXXxxyz相对三色系数（色品坐标）x+y+z=1,(x,y)CIE色度图。对应于 x=y=0.33的 E点，称等能量点，CIE标准白光。0.800.20.8xy520nm700-770nm红蓝绿NTSCPAL紫 色度图色品坐标系色品坐标系颜色特征颜色特征v区分颜色通常用3种基本特性v亮度v色调v饱和度。v色调和饱和度合起来称为色度。颜

16、色可以用亮度和色度共同表示坐标系坐标系为组成某种颜色所需的红、绿、蓝的量称为3个刺激量，分别用R、G、B表示。BBGGRRC颜色还可以用色品值r、g、b（相对色系数）表示，定义如下 1 ,bgrBGRBbBGRGgBGRRr主要彩色匹配规则主要彩色匹配规则v任何彩色可以用不多于三个基色配成；v混合色的光亮度等于各分量亮度之和；v人眼不能分解混合彩色的各个分量；v在某一亮度等级上的彩色匹配可适用于较宽的亮度范围；3.2图像的数学模型图像的数学模型 v连续模型连续模型v离散模型离散模型v随机场模型随机场模型图像的连续模型图像的连续模型v基本的连续模型v照明反射模型v噪声模型1、基本的连续模型图像可

17、以用灰度级G在x，y二维空间的连续变换来描述，即：Sg(x,y)f(x,y)图像处理的基本框图图像=g(x,y)，时间序列图像的描述为：图像序列=g1(x,y),g2(x,y),gt(x,y)或：图像序列=g(x,y,t)。图像处理 f(x,y)=Sg(x,y)其中S可以是有意施加的某种处理方法，也可以是图像系统中导致图像退化的原因。G(x,y)=S-1f(x,y)是图像复原的基本模型。（2）、照明反射模型（3）、彩色模型2、离散模型3、随机场模型三、图像的数字化f(x,y)=i(x,y)r(x,y),其中 0 i(x,y)Bm,0 r(x,y)1,i(x,y)照射分量，r(x,y)反射分量，

18、Bm最大光照强度。gmin g gmax,gmin=imin rmin,gmax=imax rmax。gmin，gmax 是图像灰度范围。该模型常用于同态滤波，计算机图形：真实感模型2、照明反射模型3、通用的彩色模型vRGB模型vHSI模型低级超复杂型细胞检测直线和边界的长度、宽度，是图像复原的基本模型。的范围内不为零，那么采样间隔必须满足15/100=x/17,x=2.3个基本颜色红（R,red）、绿(G,green)和蓝(B,blue)颜色特征丰富了图像处理的方法对于二维有限带宽信号fc(x,y)，如果其二维傅立叶变换只在光的混合满足加色定理。图像清晰度（可分辨的细节的程度）取决于N和 k

19、。gmin，gmax 是图像灰度范围。缺点是不容易取得客观评价指标的计算，不能反映视觉心理在只有光照亮度发生变化的应用中，不考虑亮度，只使用色度进行区域分割。周边视力分辨率差，可以将视目标特征部分检出，利用检出的目标图像特征去控制眼球运动。凡是统计特征不随时间变化的；是图像复原的基本模型。低级超复杂型细胞检测直线和边界的长度、宽度，颜色特征丰富了图像处理的方法400 450 500 550 600 650 700用眼睛观察树的光学表示法，C点为晶状体的光学中心从图像信息传输角度出发，图像系统评价的真正尺度应该是发出信息者的意图为接收信息者所理解的程度，而不是对发出信息者发出的图像像素信息集合的

20、简单接收。（1）RGB模型模型（2）HSI模型v视觉生理模型v色调（H，Hue）、色饱和度（S，Saturation）以及亮度（I，Intensityv在特定应用环境中，用于图像分析有特殊的优势n在只有光照亮度发生变化的应用中，不考虑亮度，只使用色度进行区域分割。圆锥体模型圆锥体模型.,2;,)()()()(21cos);,min(31 ;3/)(21BGBGHBGBRGRBRGRBGRISBGRIRGB到到HSIBRIGSIBHHSIRHBRIGSIBHHSIRHBRIGSIBHHSIRH3),1(3,)300cos()240cos(13,360240;3),1(3,)180cos()120

21、cos(13,240120;3),1(3,)60cos()cos(13,1200HSI到到RGB颜色特征丰富了图像处理的方法颜色特征丰富了图像处理的方法色彩的识别，色彩分解，提取特征。例如：滤色镜，遥感、着色后细胞红绿蓝红黄绿蓝紫4、彩色电视色度坐标系统RGB三基色系统称为“物理三基色”CIE另外规定了一种虚拟的三基色系（XYZ）标准色度系统，在匹配各种彩色时，三基色系数都是正值TTTBGRAZYX),(),(5943.50601.01302.10565.05907.47518.10000.00000.17689.2A5、噪声的模型、噪声的模型v噪声的特征v噪声的来源v噪声模型（1）噪声的特征

22、图像信号，f(x,y)噪声，n(x,y)，随机性的，可以用随机过程来描述。一般常用统计特征来描述，如均值、方差、相关函数等。均值En(x,y)反映噪声的直流分量，均方值En2(x,y)反映噪声的总功率，均方差E(n(x,y)-En(x,y)2描述噪声的交流功率，均值的平方En(x,y)2，表示噪声的直流功率。（2）噪声的来源）噪声的来源v外部噪声v从处理系统外来的影响，如电磁波干扰。v内部噪声v(1)由光和电的基本性质引起的噪声。v(2)机械运动产生的噪声。v(3)元器件材料本身的缺陷带来的噪声。v(4)系统内部电路噪声。噪声分类噪声分类v 从统计观点看n平稳噪声n凡是统计特征不随时间变化的；

23、n非平稳噪声n统计特征随时间变化的。v 从噪声幅度分布的统计来看n其密度函数有高斯型、瑞利型等，分别称为高斯噪声和瑞利噪声。v 按噪声频谱形状命名的，如频谱均匀分布的噪声称为白噪声，频谱与频率成反比的称为1/f噪声，频谱与频率平方成正比的称为三角噪声（3）噪声的模型加法性噪声：g(x,y)=f(x,y)+n(x,y)乘法噪声：g(x,y)=f(x,y)1+n(x,y)=f(x,y)+f(x,y)n(x,y)离散模型)1,1()1,1()0,1()1,1()1,1()0,1()1,0()1,0()0,0(),(NNfNfNfNfffNfffyxf33的 E点，称等能量点，CIE标准白光。颜色特征

24、丰富了图像处理的方法计算过程中间可能离散。f(x,y)=i(x,y)r(x,y),1、图像质量评价与视觉心理其中S可以是有意施加的某种处理方法，也可以是图像系统中导致图像退化的原因。图像=g(x,y)，33的 E点，称等能量点，CIE标准白光。对图像质量的最终评价是由人的感觉器官和心理状态来决定的。均方值En2(x,y)反映噪声的总功率，这样才能保证信号可以重构。色调（H，Hue）、色饱和度（S，Saturation）以及亮度（I，Intensity均方差E(n(x,y)-En(x,y)2描述噪声的交流功率，3、视觉的时空频率分析图像序列=g1(x,y),g2(x,y),gt(x,y)gmin

25、，gmax 是图像灰度范围。或：图像序列=g(x,y,t)。设x表示视网膜上形成的图像的大小，单位mm，有:从图像信息传输角度出发，图像系统评价的真正尺度应该是发出信息者的意图为接收信息者所理解的程度，而不是对发出信息者发出的图像像素信息集合的简单接收。指视觉信息的产生部分视细胞(图像信息感受器)和其它神经细胞以及大脑高级中枢的神经系统的信息产生、传输和处理的机理光的混合满足加色定理。数字图像，数字化（1）连续画面空间坐标离散化采样：方形、三角形、正六角形点阵等。采样点阵（2）采样点（像素）幅值（实数）取整量化：均匀、非均匀/矢量、标量1、图像的均匀采样yxxy典型的采样方式yxj yix它

26、,j yxix(x,y),f(x,y)fcd其，0y二维采样定理二维采样定理对于二维有限带宽信号fc(x,y)，如果其二维傅立叶变换只在cUu cVv 的范围内不为零，那么采样间隔必须满足cU2/1x cV2/1y 这样才能保证信号可以重构。该条件称为Nyquist采样定理 2、图像的量化q1 q0 q2 qN-1 0 f0 f1 f2 fN-1 fN fq量化过程量化的准则是：若1iifff则igg 量化误差量化误差v“量化误差”v“量化失真”n由量化误差产生的图像失真称为量化失真。3、数字图像的表示、数字图像的表示v整数矩阵v向量)1,1()1,1()0,1()1,1()1,1()0,1(

27、)1,0()1,0()0,0(),(MNfNfNfMfffMfffyxfknmLNM2 ,2 ,2数字图像，矩阵元素：像元、图像元素、像素电视图像：512512 128；一般图像：256 256 64。（1）整数矩阵）整数矩阵v 灰度分辨率灰度2k灰度级，k比特v 空间分辨率矩阵MN。v 像素v 计算过程中间可能离散。v 编程实现。图像表示矩阵矩阵图像清晰度（可分辨的细节的程度）取决于N和 k。N小，“检测板效应”；k小，“假轮廓”。图像的数据量（bit）kNMb前图中f(x,y)既可以表示整幅图像，也可以表示x行y列交点处的图像的像素值，f(x,y)的值都是整数。数字图像举例数字图像举例xy

28、0g(x,y)只改变空间分辨率只改变空间分辨率512、256、128、64、32、16三种视色素，对光的影响峰值分别在红、绿、蓝区，综合后形成色觉信息。光学系统的调制传递函数MTF对图像质量的最终评价是由人的感觉器官和心理状态来决定的。观测者看一个距离100m，高15m的树。低级超复杂型细胞检测直线和边界的长度、宽度，图像处理 f(x,y)=Sg(x,y)均方差E(n(x,y)-En(x,y)2描述噪声的交流功率，凡是统计特征不随时间变化的；3个基本颜色红（R,red）、绿(G,green)和蓝(B,blue)图31 视觉研究与图像的关系（2）采样点（像素）幅值（实数）取整量化：的范围内不为零，那么采样间隔必须满足方形、三角形、正六角形点阵等。要产生充分的临场感，画面尺寸应该产生30。称为韦伯比，表示光强分辨力周边视力分辨率差，可以将视目标特征部分检出，利用检出的目标图像特征去控制眼球运动。统计特征随时间变化的。在特定应用环境中，用于图像分析有特殊的优势颜色还可以用色品值r、g、b（相对色系数）表示，定义如下改变空间分辨率改变空间分辨率