1、数字图像处理数字图像处理Digital Image ProcessingDigital Image Processing目目 录录1.概论2.数字图像处理基础3.图像增强4.图像的几何变换5.频域处理6.数学形态学基础7.图像分割8.图像特征与理解第三章第三章 图像增强图像增强1.灰度变换2.直方图修正3.图像平滑4.图像锐化5.伪彩色处理光照偏暗有雾图像图像增强目的图像增强目的1.图像增强的目的：改善图像的视觉效果视觉效果或使图像更适合于人或机器分析处理人或机器分析处理。2.从处理的作用域出发，图像增强可以分为空间域法空间域法和频率频率域法域法。前者在空间域（或称图像空间）空间域（或称图像空
2、间）直接对像素进行处理，后者在图像的变换域内处理变换域内处理，然后经逆变换获得增强图像。3.本章将介绍灰度变换、直方图、直方图修正、图像平滑、灰度变换、直方图、直方图修正、图像平滑、图像锐化和伪彩色增强图像锐化和伪彩色增强。3.1 灰度变换灰度变换 n 空域增强是指在由像素组成的空间直接对像素进行增强的方法，可表示为：点处理点处理：g(x,y)只依赖于输入f(x,y)，与其它像素无关区处理区处理：g(x,y)依赖于f(x,y)及其周围的点。),(),(yxfTyxgn 灰度变换灰度变换是一种点处理，原图像的像素灰度经过某个变换函数变换成新的图像灰度。3.1 灰度变换灰度变换 直接灰度变换灰度线
3、性变换分段线性变换非线性变换直方图修正直方图均衡化直方图规定化灰度变换3.1.1 灰度灰度线性变换线性变换n 假定原图像f(x,y)的灰度范围为a,b，希望变换后图像g(x,y)的灰度范围扩展至c,d，则灰度线性变换可表示为：cayxfabcdyxg),(),(3.1.1 灰度变换灰度变换 n 灰度线性变换可通过下图直观表示：abdccayxfabcdyxg),(),(3.1.1 灰度变换灰度变换 n 几个例子(a)原始图像(b)0,255255,0(c)0,1280,255(d)0,12864,2553.1.2 分段灰度变换分段灰度变换 n 几个例子取a=4,b=0对图像进行对比度增强变换方
4、程为：变换方程为：y=ax+b3.1.2 分段灰度变换分段灰度变换 n 几个例子取a=1,b=100将图像 所有灰度值上移 变换方程为：变换方程为：y=ax+b3.1.2 分段灰度变换分段灰度变换 n 为了突出感兴趣的灰度区间，相对抑制那些不感兴趣的灰度区间，可采用分段线性变换。LyxfbdbyxfbLdLbyxfacayxfabcdayxfyxfacyxg),(),(11),(),(),(0),(),(L-1abf(x,y)L-1cd3.1.2 分段灰度变换分段灰度变换 n 为了突出感兴趣的灰度区间感兴趣的灰度区间，相对抑制那些不感兴趣的灰度区间，可采用分段线性变换分段线性变换。(a)原始图
5、像 (b)变换曲线 (c)输出图像3.1.3 非线性非线性变换变换n 非线性变换采用非线性变换函数非线性变换函数，以满足特殊的处理需求。n 典型的非线性变换函数有幂函数幂函数、对数函数对数函数、指数函数指数函数、阈值函数阈值函数、多值量化函数多值量化函数、窗口函数窗口函数等。3.1.3 非线性非线性变换变换n 幂律变换：n 图像获取、打印和显示等设备的输入输出响应通常为非线性的，满足幂律关系。为了得到正确的输出结果而对这种幂律关系进行校正的过程就称之为校正。),(),(yxfcyxg3.2 直方图修正直方图修正n 图像直方图直方图是对像素的某种属性（如灰度、颜色、梯度等）分布进行统计分析的重要
6、手段。n 通过修正直方图修正直方图，可以增强图像对比度图像对比度；通过分析直方图分析直方图，有助于确定图像分割的阈值图像分割的阈值；直方图还可用于图像匹配等操作。3.2.1 直方图的基本概念直方图的基本概念n 灰度直方图是灰度级的函数灰度级的函数，它反映了图像中每一灰度级出现的次数或频率次数或频率。灰度直方图灰度直方图1,2,1,0)(Lknnrpkkr3.2.2 直方图的性质直方图的性质n 所有的空间位置信息空间位置信息全部丢失。n 图像与直方图间的多对一关系多对一关系。n 各子图像的直方图之和等于整幅图像的直方图。直方图的分解多对一关系3.2.3 直方图的计算直方图的计算n 灰度直方图计算
7、，依据定义，若图像具有L（通常（通常L=256,即即8位灰度级）级灰度位灰度级）级灰度，则大小为MN的灰度图象f(x,y)的灰度直方图Hist0L-1可用如下 算法得到：1.初始化初始化 Histk=0;k=0,L-1 2.统计统计 gray=f(x,y);Histgray=Histgray+1;x,y=0,M-1,0,N-1 3.标准化标准化 Hist=Hist/(M*N)其中，直方图的标准化是一个可选项，若不需要进行特殊处理可以不进行此操作。3.2.3 直方图的计算直方图的计算n 彩色图像是指每个像素的信息由RGB三原色构成的图像，其中RGB是由不同的灰度级来描述的。25525525525
8、5025525500R02550255255002550G000000255255255B3.2.3 直方图的计算直方图的计算n 统计图像中每一种颜色每一种颜色出现的次数，可得到彩色图像直方图彩色图像直方图。n 伪代码如下：Im;/彩色图像 Hist(256,256,256)=0;/初始化直方图数组 for i=1:height for j=1:width Red=Im(i,j,1);Green=Im(i,j,2);Blue=Im(i,j,3);Hist(Red,Green,Blue)=Hist(Red,Green,Blue)+1;end end Hist=Hist/(height*width
9、);/直方图规范化3.2.4 直方图均衡化直方图均衡化n 直方图均衡直方图均衡化化的基本思想是把原始图像的直方图变换为均均匀分布匀分布的形式，从而增加图像灰度的动态范围，达到增强图像对比度的效果。n 经过均衡化处理的图像均衡化处理的图像，此时图像的熵最大熵最大，图像所包含的信息量最大。1logniHp ip i 0rHA(r)0rs0sHB(s)255255drds熵熵:3.2.4 直方图均衡化直方图均衡化n 设r为灰度变换前的归一化灰度级归一化灰度级（0r1),T(r)为变换函数，s=T(r)为变换后的归一化灰度级归一化灰度级(0r1),变换函数T(r)满足下满足下列条件列条件：在0r1区间
10、内，T(r)单调增加单调增加;在0r1区间内，0T(r)1;3.2.4 直方图均衡化直方图均衡化n 对图像A(x,y)，灰度范围为0,L0,L，其图像的直方图为H HA A(r)(r)归一化：概率密度函数为：0AAHrprA 概率分布函数为：0001rrAAF rpr drHr drA 变换函数s=T(r)将输入图像A(x,y)转换为输出图像B(x,y)。总像素点数：00LAAHr dr3.2.4 直方图均衡化直方图均衡化n H HB B(s(s)为均衡化后的直方图，每个灰度值具有相同的概率。因此，可简写H HB B(s)=C;P(s)=C;PB B(s)=(s)=C/AC/A0 0。n 根据
11、直方图的含义，经过灰度变换后对应的小面对应的小面积元相等积元相等。0rHA(r)0rs0sHB(s)255255drds3.2.4 直方图均衡化直方图均衡化 BABAHs dsHr drps dspr dr ABprdssT rdrps又 01AABATrprprpsC 000rAAAsT rprF rCC 0AsT rF rF rC0rHA(r)0rs0sHB(s)255255drds3.2.4 直方图均衡化直方图均衡化n 离散离散情况情况：00()()01;0,1,1kkjkkrjjjjnsT rp rrkLnn 举例举例:f为原始图像，对f进行直方图均衡化(1)求出原图f的灰度直方图h，
12、设为h。h为一个10维的向量。f h3.2.4 直方图均衡化直方图均衡化n 举例举例:f为原始图像，对f进行直方图均衡化(2)求出图像f的总体像素个数Nf=mn（m，n分别为图像的长和宽），计算每个灰度级的像素个数在整个图像中所占的百分比。hs(i)=h(i)/Nf (i=0,1,9)h hs3.2.4 直方图均衡化直方图均衡化n 举例举例:f为原始图像，对f进行直方图均衡化(3)计算图像各灰度级的累计分布hp ikpkhih0)()(255,.,2,1i hs hp3.2.4 直方图均衡化直方图均衡化n 举例举例:f为原始图像，对f进行直方图均衡化(4)计算图像各灰度级的累计分布hp )(2
13、55ihgp9,.,2,1,0if g hp3.2.4 直方图均衡化直方图均衡化n 直方图均衡化结果演示直方图均衡化结果演示3.3 图像平滑图像平滑n 图像平滑的主要目的是消除噪声或模糊图像消除噪声或模糊图像，去除小的细节或弥合目标间的缝隙。n 从信号频谱角度来看，信号缓慢变化的部分在频率域表现为低频频率域表现为低频，而迅迅速变化的部分表现为高频速变化的部分表现为高频。(a)原图像 (b)平滑后3.3.1 图像噪声图像噪声n 图像图像噪声噪声，是图像在处理、存储、传输过程中所受到的随机干扰信号。n 噪声可以理解为“妨碍人们感觉器官妨碍人们感觉器官对所接收的信源信息理解的因素对所接收的信源信息理
14、解的因素”。(比如电视上的雪花点)n 噪声也可以理解为不可预测不可预测的，只能用概率统计方法来认识的随机误差。n 噪声可以借用随机过程及其概率密度随机过程及其概率密度函数来描述函数来描述，通常用其数字特征，如均数字特征，如均值、方差等值、方差等。3.3.1 图像噪声图像噪声n（1）按照产生原因，图像噪声可分为外部噪声和内部噪声外部噪声和内部噪声。n（2）按照统计特性，图像噪声可分为平稳噪声和非平稳噪声平稳噪声和非平稳噪声。n（3）按照幅度分布，图像噪声可以分为高斯噪声、椒盐噪声等高斯噪声、椒盐噪声等。n（4）按照噪声频谱，图像噪声可以分为白噪声和白噪声和1/f1/f噪声噪声等。n（5）按噪声和
15、信号之间的关系，图像噪声可分为加性噪声和乘性噪声加性噪声和乘性噪声。)()(tntS)(1)(tntS加性噪声加性噪声乘性噪声乘性噪声3.3.1 图像噪声图像噪声n 图像噪声的特点噪声在图像中的分布和大小不规则，即具有随机性。噪声一般与图像具有相关性相关性。噪声具有叠加性叠加性。在串联图像传输系统中，各个串联部件引起的噪声叠加起来，造成信噪比下降。3.3.2 模板卷积模板卷积n 模板模板操作操作是数字图像处理中常用的一种邻域运算方式，主要有卷积卷积和相关相关2种，可以实现图像平滑、图像锐化、边缘检测等功能。卷积是最近流行的卷积神经网络（深度学习）卷积神经网络（深度学习）最主要的操作之一。htt
16、ps:/ 模板模板图图像像3.3.2 模板卷积模板卷积n 模板卷积（或相关）是指模板与图像进行模板与图像进行卷积（或相关）运算卷积（或相关）运算，是一种线性滤波，其输出像素是输入邻域像素的线性加权和。(,)(,)(,)(,)(,)klklgfhg i jf ik jl h k lf k l h ik jl 卷积卷积 相关相关(,)(,)(,)(,)(,)klklgfhg i jf ik jl h k lf k l h ik jl 卷积与相关运算的主要区别在于卷积运算前需要将模板绕模模板绕模板中心旋转板中心旋转180，因其余运算过程一致而统称为模板卷积模板卷积。3.3.2 模板卷积模板卷积n 卷
17、积举例 评估一个地区化工厂污染物的排放量污染物的排放量：(1)假设t t时刻化工厂污染物的排放量是f(tf(t)g g；(2)被排放的药物在排放后tt时刻的残留时刻的残留比率比率是g(g(tt)g/g；(3)在u u时刻时刻，对于t t时刻时刻排放出来的污染物，它们对应的tt=u-t=u-t。从从t1t1时刻到当时刻到当前时刻前时刻u u，污染物的污染物的总残余总残余量量为:1utp uf t g ut dt3.3.2 模板卷积模板卷积n 模板卷积中的模板模板又称为卷积核卷积核，其元素称为卷积系数卷积系数、模板系数或加权系数，其大小及排列顺序决定了对图像进行邻域处理的类型。基本步骤如下：(1)
18、模板在输入图像上移动，让模板原点与某个输入像素f(i,j)重合；(2)模板系数与模板下对应的输入像素相乘，再将乘积相加求和；(3)将第(2)步的运算结果赋予与模板原点对应像素的输出g(i,j)。3.3.2 模板卷积模板卷积n 模板操作需注意两点(1)图像边界问题。(2)计算结果可能超出灰度范围。(1)通过padding（扩充图像边界）处理边界点不能进行卷积的问题。(2)采用ReLU函数，使得卷积结果小于零的置为0。n 在卷积神经网络中：3.3.2 模板卷积模板卷积n 卷积运算优化：模板卷积是一种非常耗时的运算，尤其是模板尺寸较大时。以33模板为例，每次模板运算需要9次乘法、8次加法和1次除法。
19、n 将二维模板分解为多个一维模板二维模板分解为多个一维模板，可有效减少运算量。1211111112422121212116441612111 在卷积神经网络卷积神经网络中，将二维模板拆成多个一维模板来实现卷积，也是常用的技巧之一，减少了参数个参数个数数，并降低并降低运算量。运算量。3.3.3 邻域邻域平均平均n 邻域邻域平均法平均法是一种线性低通滤波器低通滤波器，其思想是用与滤波器模板对应的邻域像素平均值邻域像素平均值或加权平均值加权平均值作为中心像素的输出结果，以便去除突变的像素点，从而滤除一定的噪声滤除一定的噪声。n 邻域平均的卷积核系数之和为之和为1 1。mniimniiiwzwyxg1
20、1),(3.3.3 邻域邻域平均平均n 邻域平均法中常用的两个模板111111111911212*42121161邻域平均法的主要优点是算法简单算法简单，但它在降低噪声的同时使图像产生模糊图像产生模糊，特别是在边缘和细节处边缘和细节处。模板尺寸越大，则图像模糊程度越大图像模糊程度越大。3.3.3 邻域邻域平均平均n 邻域平滑举例111111911113444566783.3.3 邻域邻域平均平均n 加权模板（Weighted average filter）01011140100111111811101111111011123.3.4 中值滤波中值滤波n 中值滤波是一种非线性滤波非线性滤波，它能
21、在滤除噪声的同时很好地保持图像边缘保持图像边缘。n 中值滤波把以某像素为中心像素为中心的小窗口内的所有像素的灰度按按从小到大排序从小到大排序，取排序结果的中间值中间值作为该像素的灰度值。2345666783.3.4 中值滤波中值滤波n 中值滤波性质(1)不影响阶跃信号、斜坡阶跃信号、斜坡信号信号.(2)中值滤波的输出与输入噪声的密度分布有关输入噪声的密度分布有关。(3)中值滤波频谱特性起伏不大，可以认为中值滤波后，信号频谱基本不变频谱基本不变。3.3.4 中值滤波中值滤波n 中值滤波演示3.3.4 中值滤波中值滤波n 邻域平滑与中值滤波比较(a)椒盐噪声图像 (b)图(a)的均值滤波 (c)图
22、(a)的中值滤波 (d)图(a)的高斯平滑(e)高斯噪声图像 (f)图(e)的均值滤波 (g)图(e)的中值滤波 (h)图(e)的高斯平滑3.3.5 图像平均图像平均n 图像平均法通过对同一景物的多幅图像取平均多幅图像取平均来消除噪声。设图像g(x,y)是由理想图像f(x,y)和噪声图像和噪声图像n(x,y)叠加而成叠加而成：M幅g(x,y)求平均来消除噪声：平均结果的数学期望 和方差方差 分别为：(,)(,)(,)g x yf x yn x y1111(,)(,)(,)(,)MMiiiig x yg x yf x yn x yMM(,)11(,)(,)(,)Mg x yiiEf x yn x
23、 yf x yM222(,)(,)111(,)Mg x yin x yiEn x yMM3.3 图像平滑补充图像平滑补充-双边滤波双边滤波n 双边滤波(Bilateral filter)：邻域平滑模板和高斯模板的元素值均已预先设定，不能自适应图像内容。双边滤波根据图像的空间域空间域和值域分别定义模板模板，然后进行合成合成，能够在图像平滑的同时，保持细节信息图像平滑的同时，保持细节信息。,yyfy w x yf xw x y,w x yx yx y22,exp2yxx y 22,exp2fyf xx y空间模板值域模板3.3 图像平滑补充图像平滑补充-双边滤波双边滤波n 双边滤波(Bilater
24、al filter)：双边滤波原理https:/ 3.3 图像平滑补充图像平滑补充-双边滤波双边滤波n 双边滤波(Bilateral filter)：https:/ 原始图像双边滤波双边滤波高斯滤波高斯滤波3.4 图像图像锐化锐化n 图像图像锐化锐化的目的是使模糊的图像变清晰图像变清晰，增强图像的边缘等边缘等细节细节。n 图像锐化增强边缘的同时会增强噪声增强噪声，因此一般先去除或减去除或减轻噪声轻噪声，再进行锐化处理锐化处理。n 图像锐化可以在空间域或频率域通过高通滤波来实现空间域或频率域通过高通滤波来实现，即减减弱或消除低频分量而不影响高频分量。弱或消除低频分量而不影响高频分量。3.4.1
25、微分法微分法n 图像模糊的实质是图像受到平均或积分运算平均或积分运算，因而用它的逆逆运算运算“微分微分”求出信号的变化率求出信号的变化率，有加强高频分量的作用，可以使图像轮廓清晰。一阶一阶微分微分：),(),1(yxfyxfxf),()1,(yxfyxfyf 二阶微分二阶微分：yxfyxfyxfyf,2)1,()1,(22),(2),1(),1(22yxfyxfyxfxf3.4.1 微分法微分法n 梯度算子梯度算子：在点(x,y)处，f(x,y)的梯度是一个矢量：梯度幅度梯度幅度(常简称为梯度）定义为常简称为梯度）定义为：梯度方向角为梯度方向角为：TTyxyfxfGGyxf),(2/122),
26、(),(yxGGyxmagyxffxyGGyx1tan),(yxGGyxf),(近似计算近似计算3.4.1 微分法微分法n 梯度算子梯度算子),()1,(),(),1(),(yxfyxfyxfyxfyxf 差分梯度近似：Robert交叉算子),1()1,(),()1,1(),(yxfyxfyxfyxfyxf这2种梯度计算方法都是在2 22 2邻域邻域内进行的，邻域中邻域中心不好心不好确定确定，易导致偏差。x,yx+1,yx,y+1x+1,y+13.4.1 微分法微分法n 中心差分法2/)1,()1,(2/),1(),1(yxfyxfGyxfyxfGyx常用梯度常用梯度算子算子),(),1(yx
27、fyxfxf),()1,(yxfyxfyf3.4.1 微分法微分法n 拉普拉斯拉普拉斯(Laplacian）算子是一种各向同性的二阶微分算子一种各向同性的二阶微分算子，在(x,y)处的值定义为：22222yfxff),(4)1,()1,(),1(),1(2yxfyxfyxfyxfyxff 离散化形式：离散化形式：写成模板形式：写成模板形式：121242121111181111010141010(a)标准形式 (b)扩展模板1 (c)扩展模板23.4 图像锐化图像锐化 补充补充n Haar-like特征特征，是计算机视觉领域一种常用的特征描述算子。由Papageorigiou等人在ICCV200
28、1一篇用于人脸检测的论文。它可看作是图像块图像块(Block)梯度梯度算子算子。以上是计算6个不同的Haar-like特征。图像来自于：Struck:Structured Output Tracking with Kernels,ICCV2011,PAMI 2015，引用次数引用次数1314次次（2017-11-14检索），检索），高引论高引论文。文。3.4.1 微分法微分法n 平滑平滑模板和微分模板模板和微分模板的对比的对比 (1)微分模板的权系数之和为权系数之和为0 0，使得灰度平坦区的响应为0。平滑模板的权系数都为正，其和为权系数都为正，其和为1 1，这使得灰度平坦区的输出与输入相同。(
29、2)一阶微分模板在对比度大的点产生较高的响应对比度大的点产生较高的响应，二阶微分模板在对比度大的点产生零交叉对比度大的点产生零交叉。一阶微分一般产生更粗的边缘，二阶微分则产生更细的边缘。相对一阶微分而言，二阶微分对细线、孤立点等小细节有更强的响应。(3)平滑模板的平滑或去噪程度与模板的大小成正比模板的大小成正比，跳变边缘的模糊程度与模板的大小成正比模板的大小成正比。3.4.2 非锐化非锐化滤波滤波n 非锐化滤波，也称为非锐化掩模（unsharp masking），是指从原始图像中减去原始图像的一个非锐化的或者说是平滑的图像，从而达到增强边缘等细节的目的。f(x,y)表示输入图像；fs(x,y)
30、表示由输入图像得到的平滑图像。),(),(),(yxfyxfyxgs 从原始图像中减去它的一个平滑图像一个平滑图像，就相当于除去了低频成低频成分分，保留了高频成分，产生了一个高通图像。3.4.3 高频高频增强滤波增强滤波n 将原始图像与高通图像相加，则可以在保持原始图像概貌的同时突出边缘等细节。A和K是两个比例系数，A0，0K1。K在0.2到0.7之间取值时，高频增强滤波效果较为理想。),(),(),(yxKgyxAfyxfhb121252121111191111010151010(a)高频增强模板1 (b)高频增强模板2 (c)高频增强模板33.4.3 高频高频增强滤波增强滤波n 举例(a)
31、原始图像 (b)拉普拉斯锐化结果(c)拉普拉斯高频增强滤波 (d)高斯平滑高频增强滤波3.5 伪彩色处理伪彩色处理n 伪彩色处理是指对不同的灰度级不同的灰度级赋予不同的颜色颜色，从而将灰度图像变为彩色图像彩色图像。n 这种人工赋予的颜色常称为伪彩色伪彩色。n 伪彩色处理在卫星云图、医学影像的判读卫星云图、医学影像的判读等领域具有广泛的应用。3.5.1 灰度分层法灰度分层法n 用一系列平行于xy平面的切割平面切割平面(可看作是阈值）可看作是阈值）把灰度图像的亮度函数分割为一系列灰度区间，对不同的区间分配不同的颜色。milyxflcyxgiii,1,0;),(),(1切割平面f(x,y)3.5.1
32、 灰度分层法灰度分层法n 举例 3.5.2 灰度变换法灰度变换法n 将原图像像素的灰度值送入具有不同变换特性的红、绿、蓝不同变换特性的红、绿、蓝3 3个变换器进行灰度变换个变换器进行灰度变换，再将3个变换结果作为三基色合成为彩色(a)灰度变换法伪彩色处理过程 (b)灰度变法中常用的变换函数LL/203.5.3 频域频域滤波法滤波法n 频域滤波法是一种在频率域进行伪彩色处理的技术，其输出色彩与图像的空间频率有关，目的是为感兴趣的频率成分分配特定的颜色。频域滤波法伪彩色处理3.6 图像增强图像增强实例实例同态滤波同态滤波n 图像是由场景物体对光的反射而形成的，像素的灰度f(x,y)由光照的入射分量
33、i(x,y)和物体的反射分量r(x,y)的乘积决定。),(),(),(yxryxiyxf入射分量i(x,y)描述景物的照明，与景物无关，它在空间是均匀的或缓慢变化的，其频谱特性集中在低频部分。反射分量r(x,y)随空间变化较大，其频谱特性集中在高频部分。3.6 图像增强图像增强实例实例同态滤波同态滤波n 图像是由场景物体对光的反射而形成的，像素的灰度f(x,y)由光照的入射分量i(x,y)和物体的反射分量r(x,y)的乘积决定。),(ln),(ln),(lnyxryxiyxf),(),(),(vuFvuFvuFrifLDvuDcLHevuH1)(),()/),(202),(),(exp),(1vuHvuFFyxgf3.6 图像增强图像增强实例实例同态滤波同态滤波n 举例(a)大米图像 (b)直方图均衡化结果 (c)同态滤波结果 (d)平滑后的同态滤波
