《数字图像处理》课件第8章 图像特征与理解.ppt

1、数字图像处理数字图像处理Digital Image ProcessingDigital Image Processing目目 录录1.概论2.数字图像处理基础3.图像增强4.图像的几何变换5.频域处理6.数学形态学基础7.图像分割8.图像特征与理解第八章第八章 图像特征与理解图像特征与理解1.图像的基本特征2.角点特征3.纹理分析4.不变矩特征5.图像匹配6.局部不变特征点提取8.1 图像的基本特征图像的基本特征几何特征几何特征101niixxn101niiyynn1.位置图像中物体的表示物体的表示：用1(或255)表示物体物体，0表示背景背景。物体的中心物体的中心：,x y8.1 图像的基本

2、特征图像的基本特征几何特征几何特征cossinxyn2.方向如果物体是细长的，则一般把较长方向的较长方向的轴定为物体的方向轴定为物体的方向。为了避免垂直线引起起数值问题，以极坐标表示直线。22,1,lni jiiiEr f x y dxdyEr f x yr 为点(x,y)到直线的垂直距离垂直距离r8.1 图像的基本特征图像的基本特征几何特征几何特征cossinxyn2.方向物体上任一点代入直线方程：1212cossin()iippxyrpppp2p1r21,niiiiEr f x y1cossin,niiiiiExyf x y8.1 图像的基本特征图像的基本特征几何特征几何特征cossinx

3、y21cossin,niiiiiExyf x yn2.方向如果物体是细长的，则一般把较长方向的轴定为物体的方向。p2p1r说明:该直必定经过目标的中心。cossinxy当(p,)取物体的长轴方向所在直线时，E最小。这时，对E求关于p的导数，将为零，有下面结果：8.1 图像的基本特征图像的基本特征几何特征几何特征xxx yyy令cossinxyn2.方向p2p1r最小化问题变为：2221121Ecossincossin,2,niiiiniiiiiniiiiabcwhereaxf x ybx y f x ycyf x y8.1 图像的基本特征图像的基本特征几何特征几何特征11Ecos2sin222

4、acacb1=2cossinxyn2.方向如果物体是细长的，则一般把较长方向的轴定为物体的方向。p2p1r当E取得极值时，其对求导，导数为零，因此有如下结论：tan2bac8.1 图像的基本特征图像的基本特征几何特征几何特征n3.周长区域的周长定义为区域的边界长度边界长度。由于周长表示方法不同，因而计算方法不同，常用的简便方法如下：(1)当把图像中的像素看做单位面积小方块单位面积小方块时，则图像中的区域和背景均由小方块组成。区域的周长即为区域和背景缝隙的长度和区域和背景缝隙的长度和，此时，边界用隙码表示边界用隙码表示。因此，周长就是计算隙码的长度。8.1 图像的基本特征图像的基本特征几何特征几

5、何特征n3.周长链码：在图像处理和模式识别中是一种常用表示方法，它最初由Freeman于1961年提出，用来表示线条模式。根据链条的斜率不同，有4链码和链码和8链码链码。例如，8链码的相邻方向之间夹角为相邻方向之间夹角为45度度，每个方向用i|i=0,1,2,3,4,5,6,7来编码012302461357四链码八链码8.1 图像的基本特征图像的基本特征几何特征几何特征2eopNNn3.周长(2)当把像素看做一个个点时，则周长用链周长用链码表示码表示，求周长也即计算链码长度。此时，当链码值为奇数时，其长度记作 当链码值为偶数时，其长度记作1。周长p表示为：式中：Ne,No分别是边界链码(8方向

6、)中走偶步与走奇步的数目。28.1 图像的基本特征图像的基本特征几何特征几何特征12Axdyydx n4.面积面积是物体所占的空间大小，与其内部灰度级的变化无关。(1)像素计数面积：像素计数面积：统计边界内部(也包括边界上)的像素的数目。(2)用边界坐标计算面积：用边界坐标计算面积：Green定理表明定理表明，在x-y平面中的一个封闭曲线包围的面积由其轮廓积分所决定，即：其中，积分沿着该闭合曲线进行。其中，积分沿着该闭合曲线进行。将其离散化，变为：将其离散化，变为：1111101122bbNNiiiiiiiiiiiiAxyyyxxx yxy8.1 图像的基本特征图像的基本特征几何特征几何特征n

7、5.长轴和短轴 当估算出物体的长轴方向后，将物体的长轴旋转到x轴，然后计算其外接矩形估计物体的长轴和短轴。8.1 图像的基本特征图像的基本特征几何特征几何特征n 6.物体的凸性面积凸性：面积/凸壳的面积周长凸性：周长/凸壳的周长圆 形 性：面积/凸壳周长平方来自：Cem Kalyoncu,Onsen Toyga,Geometric Leaf Classification,Computer Vision and Image Understanding,2015.8.1 图像的基本特征图像的基本特征几何特征几何特征4QdPxuyv，22QedPxuyv，n7.距离图像中两点P(x,y)和Q(u,v

8、)这间的距离是重要的几何性质，常用如下三种方法量测。(1)欧几里德距离欧几里德距离(2)市区距离市区距离(3)棋盘距离棋盘距离8Qmax,dPxuyv，p(x,y)q(x,y)8.1 图像的基本特征图像的基本特征几何特征几何特征n7.距离市区距离：以某点为中心的市区距离小于等于t的点形成以P为中心的菱形。0111122222222市区距离市区距离图像图像4QdPxuyv，8.1 图像的基本特征图像的基本特征几何特征几何特征n7.距离0111111112222222222222222棋盘距离棋盘距离图像图像 棋盘距离：以某点为中心的棋盘距离小于等于t的点形成以P为中心的正方形。8Qmax,dPx

9、uyv，8.1 图像的基本特征图像的基本特征形状特征形状特征oMERARAn1.矩形度反映物体对其外接矩形的充满程度，用物体的面积与其最小外接矩形的面积之比来描述：另外一个与形状有关的特征是长宽比r:A0:物体面积AMER:最小外接矩形的面积MERMERWrLr:MER宽与长的比值8.1 图像的基本特征图像的基本特征形状特征形状特征n2.圆形度圆形度用来刻画物体边界的复杂程度刻画物体边界的复杂程度。(1)致密度致密度Co:周长(P)的平方与面积(A)的比，圆的致密度最大：(2)边界能量边界能量E20PCA 201pEK pdpP在面积相同的条件下，圆具有最小边界能量在面积相同的条件下，圆具有最

10、小边界能量E8.1 图像的基本特征图像的基本特征形状特征形状特征n3.球状性(Sphericity):刻画物体接近于球的程度接近于球的程度。该物体的内切圆与外切圆之比内切圆与外切圆之比。在二维二维情况下，物体的球状性呈现为圆圆。icrSr8.1 图像的基本特征图像的基本特征形状特征形状特征n4.偏心率(Eccentricity)E也可叫伸长度伸长度(Elongation)，在一定程度上描述区域的紧凑性紧凑性。AMMME11202204)(8.1 图像的基本特征图像的基本特征形状特征形状特征n5.5.傅里叶描述子傅里叶描述子 y=sin(x)+sin(2*x)+sin(4*x)+sin(5*x)

11、+0.2*sin(18*x)+0.2*sin(20*x);任何一个函数都可以通过一组任何一个函数都可以通过一组基函数基函数的加权和得到。的加权和得到。不同不同频率频率的的正弦函数正弦函数和和余弦函余弦函数数可以拟合可以拟合任意的曲线任意的曲线8.1 图像的基本特征图像的基本特征形状特征形状特征 y=sin(x)+sin(2*x)+sin(4*x)+sin(5*x)+0.2*sin(18*x)+0.2*sin(20*x);去掉高频成分，用低频成分恢复信号去掉高频成分，用低频成分恢复信号 y=sin(x)+sin(2*x)+sin(4*x)+sin(5*x)n5.5.傅里叶描述子傅里叶描述子8.1

12、 图像的基本特征图像的基本特征形状特征形状特征该边界有920个点，如何较少的数据准确地描述该曲线。n5.5.傅里叶描述子傅里叶描述子8.1 图像的基本特征图像的基本特征形状特征形状特征n5.傅里叶描述子傅里叶描述子XY轴平面上的点轴平面上的点(x,y)可以表示成复数的形式：可以表示成复数的形式：u+jv，所有的边界点所有的边界点可依次得到一个坐标序列：可依次得到一个坐标序列：(1)s(k)=x(k)+jy(k),k=0,1,K-1(2)计算计算s(k)的离散傅叶变换，得到：的离散傅叶变换，得到：(xk,yk)uk+jvk(y,v)(x,u)10)/2exp()(1)(NkNkjksNS8.1

13、图像的基本特征图像的基本特征形状特征形状特征n5.傅里叶描述子傅里叶的高频高频分量对应于一些细节细节部分，而低频部分则对应基本形状。使用前面前面M个傅里叶系数个傅里叶系数来重构原来的图像，从而得到对s(k)近似而不改变基本形状，即：2/101,0,1,1juk KMus ka u ekNM (xk,yk)uk+jvk(y,v)(x,u)101()()exp(2/)Ns kSjk NN8.1 图像的基本特征图像的基本特征形状特征形状特征用一些低频分量的傅立叶系数足以近似描述边界形状。用一些低频分量的傅立叶系数足以近似描述边界形状。8.2 角点特征角点特征n定义定义：通常指二维图像：通常指二维图像

14、亮度变化最剧烈亮度变化最剧烈或图像边缘曲线上或图像边缘曲线上曲率值曲率值最大最大的像素点。的像素点。n性质性质：作为一个重要的局部特征，：作为一个重要的局部特征，角点利用极少的像素角点利用极少的像素，集中了，集中了图像很多重要的形状信息，具有图像很多重要的形状信息，具有旋转不变的特点，且对光照不敏旋转不变的特点，且对光照不敏感感。n应用：在应用：在图像匹配、摄像机标定、三维重建、运动物体图像匹配、摄像机标定、三维重建、运动物体的跟踪及的跟踪及模式识别等领域有着重要的应用。模式识别等领域有着重要的应用。n构造一幅全景图M.Brown and D.G.Lowe.Recognising Panora

15、mas.ICCV 20038.2 角点特征角点特征n需要配准图像8.2 角点特征角点特征 检测两幅图像中的特征点8.2 角点特征角点特征 检测两幅图像中的特征点 找到匹配点对 用这些点对来匹配图像8.2 角点特征角点特征n问题1:在两幅图像中检测相同的点no chance to match!需要一个可重复的角点检测器需要一个可重复的角点检测器8.2 角点特征角点特征n问题2:对每一个点，正确识别在另一幅图像中对应的点?需要一个可靠和判别性的描述子需要一个可靠和判别性的描述子8.2 角点特征角点特征8.2 角点特征角点特征n角点检测算法的准则：角点检测算法的准则：检测性、定位性、稳定性和复杂性检

16、测性、定位性、稳定性和复杂性n检测方法：检测方法：(1)(1)基于边缘的检测算法基于边缘的检测算法(2)(2)基于灰度变化的检测算法基于灰度变化的检测算法8.2 角点特征角点特征nMoravecMoravec算法算法19771977年由年由MoravecMoravec提出基于灰度变化的角点提取算法。它通过提出基于灰度变化的角点提取算法。它通过判断一个窗中判断一个窗中各个方向的灰度值的变化各个方向的灰度值的变化来检测角点。来检测角点。当当各个方向（各个方向（u,vu,v）的）的能量和能量和较大时时，较大时时，则认为则认为存在一个角点存在一个角点。2,(,),x ywE u vI xu yvI x

17、 yW(x0,y0)(x+u,y+v)(x,y)(x+u,y+v)8.2 角点特征角点特征nMoravecMoravec算法算法2,(,),x ywE u vI xu yvI x y当该点周围为一个光滑区域光滑区域时，其在各个方向的灰度变化都小各个方向的灰度变化都小；当该点周围为边结构边结构时，沿着边界方向的灰度值变化较小灰度值变化较小；而当该点围为一个角结构时一个角结构时，其在各个方向的灰度值都有较大的变化灰度值都有较大的变化。Moravec算法虽然简单简单，但计算复杂度高，效率低计算复杂度高，效率低。8.2 角点特征角点特征nHarrisHarris算法算法19881988年，受年，受Mo

18、ravecMoravec算法启发，算法启发，HarrisHarris考虑了窗口中不同位置考虑了窗口中不同位置的点对的点对图像灰度变化统计的影响图像灰度变化统计的影响，将，将MoravecMoravec改写为：改写为：2,(,),x ywE u vw x yI xu yvI x y22202,expox xyyw x y(1)orGaussian1 in window,0 outside8.2 角点特征角点特征nHarrisHarris算法算法2,(,),x ywE u vw x yI xu yvI x y,xyI xu yvI x yuIvI对式对式(1)右边泰勒展开：右边泰勒展开：将式将式(

19、2)(2)代入式代入式(1)(1)，并整理成矩阵相乘的形式：，并整理成矩阵相乘的形式：(1)(2),uE u vuv Mv 22,xxyx yWxyyII IacMw x yI IIcb8.2 角点特征角点特征nHarrisHarris算法算法22,xxyx yWxyyII IacMw x yI IIcb矩阵M的特征值与图像特征间的对应关系 矩阵M称为Harris矩阵矩阵，它决定了图像在各个方向的能量变化图像在各个方向的能量变化。矩阵M的性质由其两个特征值1和2所决定，下图显示了1和2与图像特征之间的关系。Harris Detector:Mathematics 1 2角1 和 2 都较大,1

20、2;能量E在各个方向均较大边1 2边2 1光滑区域1 和2 都比较小22,xxyx yWxyyII IacMw x yI IIcb8.2 角点特征角点特征nHarris算法根据矩阵的特征值与图像特征的对应关系根据矩阵的特征值与图像特征的对应关系，Harris采用矩阵的行列式和迹检测角，定义如下：2detRMktrace M式中：det(M)=ab-c2;trace(M)=a+b;k是一个常量，通常取0.040.06。当R大于某个给定的阈值，并且是一个局部极大值时局部极大值时，即认为相应局部窗口的中心点是一个角点一个角点。1 2角边边边边光滑光滑区域区域 R 依赖于依赖于M的特征值的特征值 (1

21、)在在角点处角点处，R 值较大值较大 (2)在在边界处边界处，R为负值，幅值较大为负值，幅值较大 (3)在在光滑区域光滑区域，|R|值较小值较小。R 0R 0R 对图像的平移具有不变性 I I+b尺度变化:I a IRx(image coordinate)thresholdRx(image coordinate)nHarrisHarris算法总结算法总结对仿射变换具有部分不变性对仿射变换具有部分不变性8.2 角点特征角点特征nHarrisHarris算法总结算法总结n对尺度变化不具有不变性对尺度变化不具有不变性所有的点被分类为边界所有的点被分类为边界角角8.2 角点特征角点特征nSUSANSU

22、SAN算法算法SUSANSUSAN算法是算法是19971997年由年由SmithSmith和和BradyBrady提出的一种直接利用灰度提出的一种直接利用灰度值进行角点检测的算法。它基于一个圆形模板，统计以每个像值进行角点检测的算法。它基于一个圆形模板，统计以每个像素为中心的模板邻域的灰度值与中心点灰度值相近点的个数。素为中心的模板邻域的灰度值与中心点灰度值相近点的个数。SUSANSUSAN设计了一个半径为设计了一个半径为3 3的圆形模板，含的圆形模板，含3737个像素。如下图所个像素。如下图所示，模板中心点称为核子，表示待检测的点。示，模板中心点称为核子，表示待检测的点。(a)(a)圆形模板

23、圆形模板 (b)SUSAN(b)SUSAN检测角点过程检测角点过程8.2 角点特征角点特征nSUSANSUSAN检测角点过程如下：检测角点过程如下：将将SUSANSUSAN模板在模板在图像上滑动图像上滑动，遍历整个图像，在，遍历整个图像，在每个位置上比每个位置上比较模板核子与邻域内位置的灰度值较模板核子与邻域内位置的灰度值：统计模板内与核子灰度值相近的统计模板内与核子灰度值相近的像素总数：根据设置的根据设置的阈值阈值g g，得到，得到角点响应值：将具有将具有局部极大值的点局部极大值的点认为是认为是角点角点:0001,0I rI rtc r rI rI rt 200,I rI rtc r re

24、00,rn rc r r 0000gn rn rgR r其它gR(r0)=g-n(r0)8.2 角点特征角点特征nSUSANSUSAN算法举例算法举例如下图所示，将模板在图像的如下图所示，将模板在图像的每个像素点上移动每个像素点上移动；当模板核子位于图像中亮度一致的区域内时，当模板核子位于图像中亮度一致的区域内时，SUSANSUSAN面积最大面积最大，其值为圆形模板的面积，随着其值为圆形模板的面积，随着模板核子离图像边缘模板核子离图像边缘越来越近，越来越近，其其面积越来越小面积越来越小。当模板中心靠近角点时，其面积值进一步减少，当当模板中心靠近角点时，其面积值进一步减少，当模板中心落模板中心落

25、在角点在角点上时，其上时，其面积达到局部最小值面积达到局部最小值。(a)(a)圆形模板圆形模板 (b)SUSAN(b)SUSAN检测角点过程检测角点过程8.2 角点特征角点特征nSUSANSUSAN检测结果：检测结果：8.2 角点特征角点特征nSUSANSUSAN算法总结：算法总结：直接对直接对像素的灰度像素的灰度比较进行角点检测，不需比较进行角点检测，不需计算梯度计算梯度。不需要不需要插值插值而且而且不依赖于图像分割不依赖于图像分割的结果。的结果。复杂度复杂度低于低于HarrisHarris算法，在图像处理中得到广泛的应用。算法，在图像处理中得到广泛的应用。只能检测只能检测相似亮度的集中范围

26、相似亮度的集中范围，这与角点的分布定义有一定，这与角点的分布定义有一定的的冲突冲突。只能提供只能提供角点的位置角点的位置，无法给出角点的，无法给出角点的尺度和方向尺度和方向，这给后，这给后续的图像匹配带来一定的续的图像匹配带来一定的局限性局限性。8.3 纹理分析纹理分析n 纹理是图像中一个重要的特征，呈现为某种图案在图像上有规律的重复。10.3 纹理分析纹理分析n纹理可分为人工纹理和自然纹理人工纹理是某种符号的有序排列，这些符号可以是线条、点、字母和砖墙等，是有规则的。自然纹理是具有重复排列现象的自然景象，如森林、草地等。自然纹理人工纹理8.3 纹理分析纹理分析n如何对一幅图像中的纹理进行度量

27、呢？一般常用如下三种方法描述和度量纹理：统计法、结构法和频谱法。n1.统计法(1)灰度差分统计法（类似于梯度直方图）设(x,y)为图像中的一点，该点和它只有微小距离微小距离的点(x+x,y+y)的灰度值为：每个点都有一个灰度差分灰度差分，形成一个灰度差分图像灰度差分图像G，统灰度差分图像的直方图直方图，度量该图像的纹理特征纹理特征。,gx yg x yg xx yy8.3 纹理分析纹理分析n1.统计法统计法(1)灰度差分统计法灰度差分统计法当当差分较小的值差分较小的值出现的出现的概率较大概率较大时，说明纹理比较时，说明纹理比较粗糙粗糙，概率分，概率分布比较平坦时，说明纹理较细。布比较平坦时，说

28、明纹理较细。,gx yg x yg xx yy8.3 纹理分析纹理分析n1.统计法统计法基于差分直方图，计算描述纹理的特征：基于差分直方图，计算描述纹理的特征：(1)对比度对比度:(2)角度方向二阶矩角度方向二阶矩:(3)熵熵:(4)平均值平均值:iipiCON)(2iiipmMEAN)(1iipASM2)()(log)(ipipENTi8.3 纹理分析纹理分析n1.统计法统计法(2)行程长度统计法行程长度统计法设点设点(x,y)的灰度值为的灰度值为 g，统计出从任何一点出发沿，统计出从任何一点出发沿theta角度方向角度方向上上连续连续n个点个点都具有灰度都具有灰度 值值g这种情况发生的这种

29、情况发生的概率概率，记为，记为p(g,n)。在同一方向上具有在同一方向上具有相同灰度值的像素个数相同灰度值的像素个数n称为行程长度称为行程长度。111122222222222111111111133333444444555555555666667777788888999996666655555111118.3 纹理分析纹理分析n(2)行程长度统计法行程长度统计法 由由p(g,n)可以定义出描述纹理特征的一系列参数：可以定义出描述纹理特征的一系列参数：(1)长行程加重法长行程加重法(2)灰度值分布灰度值分布(3)行程长度分布行程长度分布(4)行程比行程比ngngngPngPnLRE,2),(),

30、(ngngngPngPGLD,2),(),(ngngngPngPRLD,),(),(2,),(NngPRPGng8.3 纹理分析纹理分析n(3)联合概率矩阵法（也称为共生矩阵）取图像中任意一点(x,y)及偏离它的另一点(x+a,y+b)，设该点对的灰度值为(g1,g2)。统计出每一种(g1,g2)值出现的次数，然后排列成一个方阵，再用(g1,g2)出现的总次数将它们归一化为出现的概率p(g1,g2)，称为联合概率矩阵。2 6 10 14 2 6 10 6 10 14 2 6 10 14 10 14 2 6 10 14 2 14 2 6 10 14 2 6 2 6 10 14 2 6 10 6

31、10 14 2 6 10 14 10 14 2 6 10 14 2 0 1 2 3 0 1 2 1 2 3 0 1 2 3 2 3 0 1 2 3 0 3 0 1 2 3 0 1 0 1 2 3 0 1 2 1 2 3 0 1 2 3 2 3 0 1 2 3 0 0 10 0 0 0 0 11 0 0 0 0 11 10 0 0 0 8 0 0 0 0 9 0 0 0 0 10 0 0 0 0 9 0 0 9 0 0 0 0 10 9 0 0 0 0 8 0 0 (a)原图像 (c)a=1,b=0 (d)a=-1,b=1 (e)a=2,b=0 (b)降低灰度级后的图像 0 1 2 30 123

32、0 1230 1 2 30 1 2 30 123矩阵中元素的值f(i,j)表示沿某个方向(a,b)相邻点灰度值为(i,j)组合组合在图像中出现的次数次数.i为行号，为行号，j为列号为列号8.3 纹理分析纹理分析n(3)联合概率矩阵法（也称为共生矩阵）距离差分值(a,b)取不同的数值组合，可得到不同情况下的联合概率矩阵。基于这些矩阵，选取能综合表现联合概率矩阵状况的参数，来描述其纹理结构。虽然Q1Q4代表的图像特征并不是很直观，但它们是描述纹理特征有效的参数。122211),(ggggPQ|),(21212212ggkggPkQggkyxyxggggPggQ12),(,21213),(log),

33、(2112214ggPggPQgg8.4 形状特征形状特征n不变矩不变矩由于图像区域的由于图像区域的某些矩某些矩对于对于平移、旋转、尺度平移、旋转、尺度等几何变换具有一些不等几何变换具有一些不变的特性，因此，矩的表示方法在变的特性，因此，矩的表示方法在物体分类、识别方面具有重要意义物体分类、识别方面具有重要意义。这三幅图像属于同一个目标，如何识别它们？这三幅图像属于同一个目标，如何识别它们？8.4 不变矩不变矩n概率论中的有关知识将像素的位置位置看作是数据数据，像素值看作是概率像素值看作是概率。因此，可通过概率论的观点分析分析图像。xxExp x dr 22xEx p x dr 222xDE

34、xE x均值均值二阶矩二阶矩方差方差8.4 不变矩不变矩n矩的定义矩的定义对于二元有界函数f(x,y)，它的(j+k)阶矩阶矩Mjk定义为：(,)jkjkMx y f x y dxdy 参数jk称为矩的阶。特别地，零阶矩零阶矩是物体的面积面积，即：dydxyxfM),(00对二维离散函数f(x，y)，零阶矩零阶矩可表示为：NxMyyxfM1100),(8.4 不变矩不变矩n 质心坐标与中心矩质心质心中心矩定义为中心矩定义为00010010MMyMMxNxMykjjkyxfyyxxM11),()()(8.4 不变矩不变矩n不变矩相对于主轴计算并用面积归一化的中心矩面积归一化的中心矩，在物体放大、

35、平移、旋转时保持不变。)12(,)(00kjrMMrjkjk)(4)()()(3)()(3()(3)()(3()()()3()3(4)(21031230112032121230022062301222103213021032032121230120312305221032123042210321230321120220202201利用归一化的中心矩归一化的中心矩，可以获得6个不变矩组合个不变矩组合，它们对于平移、旋平移、旋转、尺度等变换转、尺度等变换都是不变的，6个不变矩为个不变矩为：8.4 不变矩不变矩n主轴使二阶中心矩从11变得最小的旋转角可由下式得出：8.4 不变矩不变矩 不变矩不变矩1

36、 不变矩不变矩2 不变矩不变矩3 不变矩不变矩4I:6.4542 18.1089 26.5081 24.3803I2:6.4542 18.1081 26.5067 24.3803I3:6.4542 18.1089 26.5081 24.3803I4:6.4554 18.1127 26.5134 24.3859I5:6.4571 18.1793 26.4566 24.4128I6:6.4627 18.2925 26.7384 24.5281n不变矩举例8.5 图像匹配图像匹配n如下图所示，如何在图像中判断是否存在一个感兴趣目标。如下图所示，如何在图像中判断是否存在一个感兴趣目标。搜索图像搜索图像

37、感兴趣目标感兴趣目标8.5 图像匹配图像匹配n模板匹配模板就是一幅已知的小图像已知的小图像。模板匹配就是在一幅大图像中搜寻目标大图像中搜寻目标，确定其坐标位置坐标位置。输入图像模板8.5 图像匹配图像匹配n模板匹配算法模板匹配算法相关法相关法模板T(m,n)叠放在被搜索图S(H,W)上平移，模板覆盖被搜索图的那块区域叫子图子图Sij。i,j为子图左下角在被搜索图搜索图S上上的坐标。8.5 图像匹配图像匹配n模板匹配算法相关法相关法MmNnMmNnMmNnMmNnnmTnmTnmSnmSnmTnmSjiDijijij11111122112),(),(),(2),(),(),(),(MmNnMmN

38、nMmNnnmnmSnmnmSjiRijij11211211),T(),(),(T),(),(当模板和子图完全一样当模板和子图完全一样时，相关系数R(i，j)=18.5 图像匹配图像匹配n模板匹配算法误差法误差法:衡量T和Sij的误差，其公式为模板匹配法的缺点模板匹配法的缺点：(1)(1)运算量大运算量大(2)(2)要求图像不能有大的变形要求图像不能有大的变形MmNnnmnmSjiEij11|),T(),(|),(8.5 图像匹配图像匹配n直方图匹配:利用统计直方图进行图像的匹配利用统计直方图进行图像的匹配 直方图相交法直方图相交法:设Hq和Hd分别为查询图像Q和数据库图像D的特征统计直方图，

39、则两幅图像之间的匹配值匹配值d(Q,D)为：1010)()(),(min),(LkQLkDQkHkHkHDQd8.5 图像匹配图像匹配n直方图匹配直方图匹配 欧几里德距离法：欧几里德距离法：将直方图看作是空间中一个点。将直方图看作是空间中一个点。210,LQDkd Q DHkHk8.5 图像匹配图像匹配n直方图匹配直方图匹配 中心矩法中心矩法:对于直方图来说，均值是均值是0阶矩阶矩，也可以使用更高阶的矩更高阶的矩来做匹配。333222111(,)()()()iiiiiiRQRDRGQRDRBQRDRiiid Q DWMMWMMWMM(1)设用MiQR，MiQG，MiQB分别表示查询图像Q的RG

40、B 3个分量直方图的i(i3)阶中心矩；(2)用MiDR，MiDG，MiDB分别表示数据库图像D的RGB3个分量直方图的i(i3)阶中心矩，则它们之间的匹配值匹配值为：8.5 图像匹配图像匹配n直方图匹配 闵可夫斯基距离法闵可夫斯基距离法（1，“街区街区”(City Block)距离）10)()(),(LkDQkHkHDQd1,|iid p qpq8.6 局部不变特征提取局部不变特征提取n 局部特征：稳定出现并且具有良好的可分性的点（称为局部特征）对目标识别能够起到关键作用。n 局部不变特征点的提取方法应具备特点：(1)重复度高：不同角度拍摄下的同一场景的两幅图像的 重 叠区域中，同一特征点能

41、被检测的重复程度高。(2)独特性：检测到的特征点应与周围有明显的区别；(3)局部性：特征具有局部性；(4)数量多：特征点的数目应该足够，增加匹配的可靠性；(5)准确性：检测到的特征点应该在位置、尺度等方面具有很高的准确性；(6)高效性：特征检测算法效率高，满足实际应用需求。8.6 局部不变特征提取局部不变特征提取n SIFT（Scale-Invariant Feature Transform）1999年，由Lowe等提出的一种提取局部特征进行图像配准的方法。它能够稳定检测出一幅图像中的局部特征点及其尺度和方向，并基于检测的特征点进行图像匹配。对平移、旋转和尺度变化具有不变性提取的特征点多，对视

42、角变化具有稳定性，对噪声具有鲁棒性。DG Lowe，Distinctive Image Features from Scale-Invariant Keypoints，IJCV，2004，Cited by 330178.6 局部不变特征提取局部不变特征提取n SIFT算法过程建立尺度空间特征点的提取特征点描述子特征点匹配8.6 局部不变特征提取局部不变特征提取n SIFT算法过程-建立尺度空间SIFT算法的基础是Linderbog提出的尺度空间理论，高斯函数是唯一可能的尺度空间内核。一幅二维图像的尺度空间定义为：,L x yG x yI x y222221G,2xyx ye是尺度为 的高斯函数

43、；8.6 局部不变特征提取局部不变特征提取n SIFT算法过程-建立尺度空间SIFT在高斯差分（DOG,Difference of Gaussian）尺度空间检测图像中的感兴趣点，尺度为 的DOG公式定义为：,D x yL x y kL x y8.6 局部不变特征提取局部不变特征提取n SIFT算法过程-建立尺度空间对一幅图像I，建立其在不同尺度下的图像，称为塔(octave)，第一个塔的尺度为原图大小，后面每个塔为上一个octave降采样的结果，即原图的1/4，构成下一个塔。图片来自：http:/ 局部不变特征提取局部不变特征提取n SIFT算法过程-建立尺度空间对一幅图像I，建立其在不同尺

44、度下的图像，称为塔(octave)，第一个塔的尺度为原图大小，后面每个塔为上一个octave降采样的结果，即原图的1/4，构成下一个塔。8.6 局部不变特征提取局部不变特征提取n SIFT算法过程-提取特征点在DOG尺度空间寻找特征点，将每个采样点均和它所有的相邻点比较，判断其是否是相邻的图像域和尺度域上的极值点。8.6 局部不变特征提取局部不变特征提取n SIFT算法过程-提取特征点在确定特征点后，为每个特征点计算一个方向。对于检测的每一个关键点，采集其所在高斯金字塔3邻域窗口内像素的梯度和方向分布特征。221,1,1,1,1tan,1,11,1,m x yL xyL xyL x yL x

45、yL x yL x yL xyL xy8.6 局部不变特征提取局部不变特征提取n SIFT算法过程-提取特征点接着使用方向直方图统计邻域内像素的梯度方向。该直方图将0360的范围分为36个柱（Bin），每柱为10。8.6 局部不变特征提取局部不变特征提取n SIFT算法过程-提取特征点方向直方图的峰值则代表了该特征点处邻域梯度的方向，以直方图中最大值作为该关键点的主方向。为了增强匹配的鲁棒性，只保留峰值大于主方向峰值80的方向作为该关键点的辅方向。8.6 局部不变特征提取局部不变特征提取 SIFT算法过程-提取特征点特征点主方向选定，对图像的旋转具有不变性。8.6 局部不变特征提取局部不变特征

46、提取n SIFT算法过程-提取特征点将检测出的含有位置、尺度和方向的关键点即是该图像的SIFT特征点。8.6 局部不变特征提取局部不变特征提取n SIFT算法过程-特征点描述子在确定每一个关键点的位置、尺度及方向后，需为每个关键点建立一个描述子，用一组向量将这个关键点描述出来，用于图像匹配。8.6 局部不变特征提取局部不变特征提取n SIFT算法过程-特征点描述子SIFT描述子对关键点周围图像区域分块，计算块内梯度直方图，将每块的梯度直方图组成一个向量，用于表示关键点周围区域的结构特征。每个特征点包含16个块，每块8维，16块总计128维向量。8.6 局部不变特征提取局部不变特征提取n SIF

47、T算法过程-归一化特征向量归一化特征向量，去除光照变化的影响。1281,1,2,iijjlhhj8.6 局部不变特征提取局部不变特征提取n SIFT算法过程-特征点匹配采用欧氏距离度量两幅图像中关键点特征向量的距离。取图像1中的某个关键点，并找出其与图像2中欧氏距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离小于某个比较阈值，则接 受这一对匹配。SIFT匹配详细过程可参考：匹配详细过程可参考：http:/ 局部不变特征提取局部不变特征提取n SIFT算法过程-特征点匹配8.6 局部不变特征提取局部不变特征提取n SIFT算法过程-特征点匹配Finding keypoint

48、s.3160 keypoints found.Finding keypoints.2928 keypoints found.Found 296 matches.H=0.5979 -0.0771 469.7246 -0.2427 0.9125 53.6067 -0.0006 -0.0000 1.00008.6 局部不变特征提取局部不变特征提取n SIFT算法过程-图像拼接结果8.6 局部不变特征提取局部不变特征提取n SIFT算法总结SIFT在图像的不变特征提取方面拥有无与伦比的优势，是一个开创性工作。但并不完美，仍然存在：1.实时性不高；2.有时特征点较少；3.对边缘光滑的目标无法准确提取特征

49、点等缺点。近来不断有人改进，其中最著名的有SURF和CSIFT。8.6 局部不变特征提取局部不变特征提取n SURF不变特征提取算法SURF(Speeded-Up Robust Features)是由Bay等2006年提出的特征检测算法，被称为SIFT加速算法。SURF的主要优势在于图像的求导用积分图近似，从而保证了算法的实时性。8.6 局部不变特征提取局部不变特征提取n SURF不变特征提取算法-建立积分图像积分图像由Viola和Jones2001年在人脸检测中引入计算机视觉领域，它是指一幅图像中，任一像素点到原点所构成的矩形区域的灰值之和。8.6 局部不变特征提取局部不变特征提取n SUR

50、F不变特征提取算法-建立积分图像当一幅图像的积分图像建立后，要计算图像中任一区域的像素之和，均可通过简单的加减法完成。211211,A1,1,A1,1,11,1,1,1,1,1,1Sum R DSum RSum RxySum RxySum Rxy8.6 局部不变特征提取局部不变特征提取n SURF不变特征提取算法-建立尺度空间SURF用Hessian矩阵的行列式作为检测子，并由此建立尺度空间。设x为图像I中的任意一点，x在尺度 下的Hessian矩阵定义为：图像I与尺度为 的高斯二阶导数的卷积，定义如下：,xxxyxyyyLxLxH xLxLx 22,*xxLxgIx8.6 局部不变特征提取局