《数字图像处理》课件第10章图像复原.pptx

1、数字图像处理数字图像处理Digital Image ProcessingDigital Image Processing目目 录录1.概论2.数字图像处理基础3.图像增强4.图像的几何变换5.频域处理6.数学形态学基础7.图像分割8.图像特征与理解9.图像编码10.图像复原第十第十章章 图像图像复原复原1.图像退化与复原2.非约束复原3.最小二乘类约束复原4.非线性复原方法5.其他图像复原技术10.1 图像图像退化与复原退化与复原n 数字图像在获取的过程中，由于光学系统的像差、光学成像衍射、成像系统的非线性畸变、摄影胶片的感光的非线性、成像过程的相对运动、大气的湍流效应、环境随机噪声等原因，图

2、像会产生一定程度的退化。n 因此，必须采取一定的方法尽可能地减少或消除图像质量的下降，恢复图像的本来面目，这就是图像复原，也称为图像恢复。10.1 图像图像退化与复原退化与复原n 图像复原与图像增强 n 图像复原是试图利用退化过程的先验知识使已退化的图像恢复本来面目，即根据退化的原因，分析引起退化的环境因素，建立相应的数学模型，并沿着使图像降质的逆过程恢复图像。从图像质量评价的角度来看，是提高图像的可理解性。n 增强图像的目的是提高视感质量，图像增强的过程基本上是一个探索的过程，利用人的心理状态和视觉系统去控制图像质量，直到视感效果满意为止。10.1 图像图像退化与复原退化与复原n 图像降质的

3、数学模型 n 输入图像f(x,y)经过某个退化系统后的输出是一幅退化的图像。n 数字图像的图像恢复问题可看为，根据退化图像g(x,y)和退化算子H(x,y)的形式，沿着反向过程去求解原始图像f(x,y)，或者说是逆向地寻找原始图像的最佳近似估计。(,)H x y(,)f x y(,)nx y(,)g x y图像的退化模型),(),(),(yxnyxfHyxg10.1 图像图像退化与复原退化与复原n 图像降质的数学模型 n 一幅连续图像f(x,y)可以看作是由一系列点源组成的。因此，f(x,y)可以通过点源函数的卷积来表示。即n 在不考虑噪声的一般情况下，连续图像经过退化系统H后的输出为：ddy

4、xfyxf),(),(),(),(),(),(),(ddyxfHyxfHyxg 10.1 图像图像退化与复原退化与复原n 在线性和空间不变系统的情况下，退化算子H具有如下性质。n 线性:设f1(x,y)和f2(x,y)为2幅输入图像。k1和k2为常数，则：n 空间不变性，如果对任意f(x,y)以及和，有：),(),(),(),(22112211yxfHkyxfHkyxfkyxfkH),(),(yxgyxfHddyxhfddyxHfddyxfHyxfHyxg),(),(),(),(),(),(),(),(10.1 图像图像退化与复原退化与复原n 在线性和空间不变系统的情况下，退化算子H具有如下性

5、质。n 空间不变性，退化系统的输出就是输入图像信号f(x,y)与点扩展函数h(x,y)的卷积。n 图像退化除了受到成像系统本身的影响外，有时还要受到噪声的影响，假设噪声n(x,y)是加性白噪声，这时上式可写成：),(*),(),(),(),(yxhyxfddyxhfyxg),(),(*),(),(),(),(),(yxnyxhyxfyxnddyxhfyxg),(),(),(),(vuNvuHvuFVUG10.1 图像图像退化与复原退化与复原n 离散图像退化的数学模型n 一维离散退化模型:设f(x)为具有A个采样值的离散输入函数，h(x)为具有B个采样值的退化系统的冲激响应函数，则经退化系统后的

6、离散输出函数g(x)为输入f(x)和冲激响应h(x)的卷积。n 为了避免上述卷积所产生的各个周期重叠（设每个采样函数的周期为M），分别对f(x),和h(x)用添零延伸的方法扩展成周期M=A+B-1的周期函数。g xfxh x1100)()(1100)()(MxBBxxhxhMxAAxxfxfee10.1 图像图像退化与复原退化与复原n 离散图像退化的数学模型n 因为fe(x)和he(x)已扩展成周期函数，故ge(x)也是周期性函数，用矩阵表示为：)1()2()1()0()0()2()1()3()1()2()2()0()1()1()1()0()1()2()1()0(MffffhMhMhMhhhM

7、hhhMhhhMggggeeeeeeeeeeeeeeee10.1 图像图像退化与复原退化与复原n 二维离散模型n 设输入的数字图像f(x,y)大小为AB，点扩展函数h(x,y)被均匀采样为CD大小。为避免交迭误差，仍用添零扩展的方法，将它们扩展成M=A+C-1和N=B+D-1个元素的周期函数。其它且其它且10100),(),(10100),(),(DyCxyxhyxhByAxyxfyxfee10.1 图像图像退化与复原退化与复原n 二维离散模型则n 输出的降质数字图像为n 二维离散退化模型同样如下矩阵形式表示),(),(),(),(),(1010yxhyxfnymxhnmfyxgeMmNnee

8、Hfg 1010),(),(),(),(MmNneeeeyxnnymxhnmfyxgnHfg假 设 图 像 大 小 M=N=5 1 2，相 应 矩 阵 H 的 大 小 为MNMN=262144262144，这意味着要解出f(x,y)需要解262144个联立方程组，其计算量十分惊人。考虑到矩阵H为循环矩阵，因此可利用循环矩阵的性质简化运算。10.2 非非约束复原约束复原n 非约束复原是指在已知退化图像g的情况下，根据对退化系统H和n的一些了解或假设，估计出原始图像，使得某种事先所确定的误差准则为最小(,)H x y(,)f x y(,)nx y(,)g x y图像的退化模型10.2 非非约束复原

9、约束复原n 逆滤波：指在对n没有先验知识的情况下，可以依据这样的最优准则，即寻找一个，使得 在最小二乘方误差的意义下最接近g，即要使n的模或范数（norm）最小：n 如果在求最小值的过程中，不做任何约束，称这种复原为非约束复原,由极值条件：n 对上式作Fourier变换，得:fHf)()(22fHgfHgfHgnnnTT0)(0)(fHgHffLTgHgHHHfTT11)(),(/),(),(vuHvuGvuF10.2 非非约束复原约束复原n 非约束图像复原的病态性质n 由于H(u,v)在分母上，当在(u,v)平面上某引起点或区域H(u,v)很小或等于零，即出现了零点，就会导致不稳定解。n N

10、athan在用逆滤波图像复原时采用的是限定恢复转移函数最大值的方法。其H(u,v)和恢复函数M(x,y)，如下图所示。(a)实际传递函数 (b)修改后的恢复转移函数逆滤波复原10.2 非非约束复原约束复原n 非约束图像复原的病态性质n 为了避免H(u,v)值太小，一种改进方法是在H(u,v)=0的那些频谱点及其附近，人为地设置H-1(u,v)的值，使得在这些频谱点附近N(u,v)/H(u,v)不会对 产生太大的影响。,f u v幅值频率 幅值频率(b)逆滤波器传递函数幅值频率(c)改进的逆滤波器传递函数逆滤波器零点的影响及其改进(a)退化系统的传递函数 10.2 非非约束复原约束复原n 非约束

11、图像复原的病态性质n 另一种改进是考虑到退化系统的传递函数H(u,v)带宽比噪声的带宽要窄得多，其频率特性具有低通性质，取恢复转移函数M(u,v)为：202220221),(1),(vuvuvuHvuM式中：0截止频率，选取原则是能将H(u,v)为零的点除去。该方法的缺点是复原后图像的振铃效果较明显。10.3 最小最小二乘类约束复原二乘类约束复原n 非约束复原是指除了使准则函数 最小外，再无其他的约束条件。由于传递函数存在病态问题，复原只能局限在靠近原点的有限区域内进行，使非约束图像复原具有相当大的局限性。n 最小二乘类约束复原是指除了要求了解退化系统的传递函数之外，还需要知道某些噪声的统计特

12、性或噪声与图像的相关情况。根据所了解噪声的先验知识的不同，采用不同的约束条件，从而得到不同的图像复原技术。2)(fHgfL10.3 最小最小二乘类约束复原二乘类约束复原n 在最小二乘类约束复原中，要设法寻找一个最优估计 ，使得形式为 的函数最小化。求这类问题的最小化，常采用拉格朗日乘子算法。也就说，要寻找一个 ，使得准则函数：f22nfQf222)(nfHgfQfJ最小。式中：Q为 的线性算子；为一常数，称为拉格朗日乘子，对上式求导：f0)(ffJ0)(fHgHfQQTT10.3 最小最小二乘类约束复原二乘类约束复原n 求解 得到：fgHQQHHfTTT1)(式中：=1/，该常数必须调整到约束

13、被满足为止。求解的关键是选用一个合适的变换矩阵Q。选择Q形式不同，便可得到不同类型的有约束最小二乘类图像复原方法。如果用图像f和噪声的相关矩阵Rf和Rn表示Q，即为维纳滤波复原方法。若选用拉普拉斯算子形式，则可推导出有约束最小平方恢复方法。10.3 最小最小二乘类约束复原二乘类约束复原n 维纳滤波n 在一般情况下，图像信号可近似为平稳随机过程，维纳滤波将原始图像f和对原始图像的估计 看作为随机变量。假设Rf和Rn为f和n的自相关矩阵，其定义为：fTnTfnnERffER10.3 最小最小二乘类约束复原二乘类约束复原n 维纳滤波n Rf和Rn均为实对称矩阵，在大多数图像中，邻近的像素点是高度相关

14、的，而距离较远的像素其相关性较弱。通常，f和n的元素之间的相关不会延伸到2030个像素的距离之外。因此，一般来说，自相关矩阵在主对角线附近有一个非零元素带，而在右上角和左上角的区域内将为零值。如果像素之间的相关是像素之间距离的函数，可将Rf和Rn近似为分块循环矩阵。因而，用循环矩阵的对角化，可写成：f11WBWRWAWRnf式中：W为一个MNMN矩阵，包含MM个NN的块。M、N含义见二维离散模型部分。10.3 最小最小二乘类约束复原二乘类约束复原n 维纳滤波n W的第i,m个分块为：NWimMjmiW2exp),(1,1,0,Mmi其中WN为一个NN矩阵，其第k,n个位置的元素为：knNjnk

15、WN2exp),(1,1,0,NnkA和B的元素分别为Rf和Rn中的自相关元素的傅立叶变换。这些自相关的傅立叶变换被分别定义为fe(x,y)和ne(x,y)的谱密度Sf(u,v)和Sn(u,v)。10.3 最小最小二乘类约束复原二乘类约束复原n 维纳滤波n定义，代入上式得：nfTRRQQ1gHRRHHfTnfT11)(进一步可推导出：gWWDBWWADWWDf1*1111)(式中：D对角阵；D*D的共轭矩阵。D的对角元素与he(x,y)中的傅立叶变换有关：/,mod,0MN Hk NkNikD k iik1,exp2/eH u vhx yjux Mvy NMN10.3 最小最小二乘类约束复原二

16、乘类约束复原n 维纳滤波n对上式再进行矩阵变换：gWDBADDfW1*111)(假设M=N，则：),(),(/),(),(),(),(2vuGvuSvuSvuHvuHvuFfn),(),(/),(),(),(),(122vuGvuSvuSvuHvuHvuHfn式中：，u,v分别为0,1,2,N-1。),(),(),(2vuHvuHvuH10.3 最小最小二乘类约束复原二乘类约束复原n 维纳滤波n对上式作如下分析：(1)如果=1，称之为维纳滤波器。注意，当=1时，并不是在约束条件下得到的最佳解，即并不一定满足 。若为变数，此式为参变维纳滤波器。(2)当无噪声影响时，Sn(u,v)=0，称之为理想

17、的反向滤波器。逆滤波器可看成是维纳滤波器的一种特殊情况。(3)若不知道噪声的统计性质，即Sf(u,v)和Sn(u,v)未知时，可以用下式近似：22nfHg),(),(),(),(2vuGKvuHvuHvuF10.3 最小最小二乘类约束复原二乘类约束复原n 约束最小平方滤波n 约束最小平方复原是一种以平滑度为基础的图像复原方法。如前所述，在进行图像恢复计算时，由于退化算子矩阵H?的病态性质，多数在零点附近数值起伏过大，使得复原后的图像产生了多余的噪声和边缘。它仍然是以最小二乘方滤波复原公式为基础，通过选择合理的Q，并优化Qf2，从而去掉被恢复图像的尖锐部分，即增加图像的平滑性。10.4 非线性非

18、线性复原方法复原方法n 非约束复原和约束复原方法的共同特点是复原过程可以用矩阵乘法来表示。而且矩阵都是分块循环阵，从而可实现对角化，大大节省运算量。本节要介绍的非线性图像复原方法，它的准则函数不能用W进行对角化，因而不能用线性代数的方法简化运算。10.4 非线性复原方法非线性复原方法n 最大后验复原:最大后验复原是一种统计方法，它把原图像f(x,y)和退化图像g(x,y)均看作为随机场，在已知g(x,y)的前提下，求出后验条件概率密度函数P(f(x,y)/g(x,y)。若 使下式最大：)()|(max)|(maxfpgfpgfpf则 就代表退化图像g(x,y)最可能的原始图像f(x,y)。该方

19、法称之为最大后验图像复原方法。),(yxf10.4 非线性复原方法非线性复原方法n 最大后验复原:n 最大后验图像复原法把图像看作是非平稳随机场，把图像模型表示成一个平稳随机过程对于一个不平稳的零均值Gauss起伏，可得出求解迭代序列公式：221fffhghffkfknkk式中：k为迭代次数；和 分别为f和n的方差的倒数；是随空间而变的均值，它是一个常数，但要经过多次迭代才能收敛到最后的解。2n2ff10.4 非线性复原方法非线性复原方法n 最大熵复原:通过最大化某种反映图像平滑性的准则函数来作为约束条件，以解决图像复原中反向滤波法存在的病态问题。n 熵的定义为：n 熵是表征随机变量集合的随机

20、程度的量度。当所有随机变量等可能性，也就是说P1=P2=Pm，这时熵最大，为H=lnM。由于概率P(k)介于01，因此最大熵的范围是0 lnM之间，H不可能出现负值。dxxPxPH)(ln)(式中：P(x)随机变量x的概率密度。对于离散信号，熵的定义为：MkkPkPH1)(ln)(10.4 非线性复原方法非线性复原方法n 在二维数字图像中，熵的定义为：n 最大熵复原的原理是将f(x,y)写成随机变量的统计模型，然后在一定的约束条件下，找出用随机变量形式表示的熵的表达式，运用求极大值的方法，求得最优估计解。最大熵复原的含义是对 的最大平滑估计。最大熵复原常用Friend和Burg两种方法。MmN

21、nfnmfnmfH11),(ln),(10.4 非线性复原方法非线性复原方法n Friend法n 首先定义一幅大小为MN的图像f(x,y)，显然f(x,y)非负,图像的总能量E和熵分别为：n 类似地可定义噪声的熵Hn：MiNjjiyxfE11),(),(ln),(11jiMiNjjifyxfyxfH),(ln),(11jiMiNjjinyxnyxnH式中：n(x,y)=n(x,y)+B，B为最大噪声负值。10.5 其他其他图像复原图像复原技术技术n 几何畸变校正n 数字图像在获取过程中，由于成像系统的非线性，成像后的图像与原景物图像相比，产生比例失调，甚至扭曲，将此类图像退化现象称之为几何畸变

22、。n 几何畸变校正一般要对失真图像进行精确的几何校正。通常是先确定一幅图像为基准，然后去校正另一幅图像的几何形状。因此，几何畸变校正一般分2步来做。第1步是图像空间坐标的变换；第2步是重新确定在校正空间各像素点的取值。(a)原图像 (b)梯形失真 (c)枕形失真 (d)桶形失真10.5 其他其他图像复原图像复原技术技术n 几何畸变校正n 空间几何坐标变换 按照一幅标准图像g(u,v)或一组基准点去校正另一幅几何失真 图像f(x,y)，称之为空间几何坐标变换。根据2幅图像的一些已知对应点对(也称为控制点对)，建立起函数关系式，将失真图像的坐标系(x,y)变换到标准图像坐标系(u,v)，从而实现失

23、真图像按标准图像的几何位置校正，使f(x,y)中的每一像点均可在g(u,v)中找到对应像点。常采用三角形线性法。10.5 其他其他图像复原图像复原技术技术n 几何畸变校正n 三角形线性法 图像的几何失真虽然是非线性的，但在一个局部小区域内可近似认为是线性的，基于这一假设，将标准图像和被校正图像之间的对应点对划分成一系列小三角形区域，三角形顶点为3个控制点，在三角形区内满足以下线性关系。fevduycbvaux10.5 其他其他图像复原图像复原技术技术n 几何畸变校正n 三角形线性法 若3对控制点在2个坐标系中的位置分别为(x1,y1)、(x2,y2)、(x3,y3)和(u1,v1)、(u2,v

24、2)、(u3,v3)，则可建立2级方程组：fevduyfevduyfevduycbvauxcbvauxcbvaux333222111333222111解上面方程组，可求出a,b,c,d,e,f 6个系数。用式(10-44)可实现该三角形区内其它像点的坐标变换。对于不同的三角形控制区域，6个系数的值是不同的。10.5 其他其他图像复原图像复原技术技术n 几何畸变校正n 灰度值的确定 图像经几何位置校正后，在校正空间中各像点的灰度值等于被校正图像对应点的灰度值。一般校正后的图像某些像素点可能挤压在一起，或者分散开了，不会恰好落在坐标点上，因此常采用内插法来求得这些像素点的灰度值。10.5 其他其他

25、图像复原图像复原技术技术n 几何畸变校正n 灰度值的确定 最近邻点法:最近邻点法是取像素点4个相邻的点中距离最近的邻点灰度值作为该点的灰度值。最近邻点法计算简单，但精度不高，同时校正后的图像亮度有明显的不连续性。内插法:用像素点周围个邻点的灰度值加权内插作为g(u0,v0)，设像素点(x0,y0)周围个点为(x1,y1),(x1+1,y1),(x1,y1+1),(x1+1,y1+1)，校正值：最近邻点法 内插法几何校正10.5 其他其他图像复原图像复原技术技术n 几何畸变校正n 盲目图像复原 盲目图像复原法是在无图像退化先验知识的情况下，对观察目标的多幅图像以某种方式抽出退化信息，从而进行图像

26、复原的方法。加性噪声的模糊图像复原方法一般有2种：直接测量法和间接估计法。直接测量法复原图像时，需要测量图像的模糊脉冲响应和噪声功率谱或协方差函数。在所观察的景物中，往往点光源能量直接指示出冲激响应。另外图像边缘是否陡峭也可用来推测模糊冲激响应。在背景亮度相对恒定的区域内测量图像的协方差，可以估计出观测图像的噪声协方差函数。10.5 其他其他图像复原图像复原技术技术n 几何畸变校正n 盲目图像复原 间接估计法复原图像类似于多图像平均法处理。如对一个景物连续拍摄次，每一次获取的图像用下式表示：),(),(),(yxnyxfyxgiiNi,3,2,1式中：f(x,y)原始图像；gi(x,y)第i次获取的图像；ni(x,y)第i次的噪声函数。NiNiiiyxnNyxgNyxf11),(1),(1),(当N很大时，式右边的噪声项的值趋于它的数学期望En(x,y)。一般情况下白色高斯噪声在所有(x,y)上的数学期望等于零。原始图像为：NiiyxgNyxf1),(1),(