5目标检测基于特征描述子的方法课件.pptx

1、图像匹配图像匹配在众多视觉应用中是一个关键技术，在众多视觉应用中是一个关键技术，匹配匹配算法直算法直接影响后续视觉处理的效果接影响后续视觉处理的效果。对于对于运动运动目标目标，常常采用光流等方法提取特征进行匹配采用光流等方法提取特征进行匹配，如如北航王北航王兆仲等兆仲等人提出人提出了一种利用光流确定图像运动场的高了一种利用光流确定图像运动场的高精度精度图像匹配算法。图像匹配算法。对于对于静态静态目标，主要目标，主要采用点匹配方法采用点匹配方法，即，即给定同给定同一场景的一场景的两幅图像，寻找同一场景点投影到图像两幅图像，寻找同一场景点投影到图像中的中的像素之间的对像素之间的对应关系应关系，主要

2、步骤为，主要步骤为图像特征点提取和最小距离图像特征点提取和最小距离计算计算。不同类型的特征点角角点特征是影像的重要特征点特征是影像的重要特征，在各种影像特征中角点具，在各种影像特征中角点具有有旋转不变性旋转不变性和和不随光照条件改变而改变不随光照条件改变而改变的优点在一些的优点在一些应用中应用中使用角点特征进行处理使用角点特征进行处理，可以减少参与计算的数，可以减少参与计算的数据量，同时又不损失图像的重要灰度信息，利用角点特据量，同时又不损失图像的重要灰度信息，利用角点特征进行匹配可以大大提高匹配的速度征进行匹配可以大大提高匹配的速度。其在其在三维场景重建三维场景重建、运动估计运动估计、目标跟

3、踪目标跟踪、目标识别目标识别、图像图像配准与配准与匹配匹配等计算机视觉领域起着非常重要的等计算机视觉领域起着非常重要的作用。作用。什么是好的角点检测算法？ 检测出图像中“真实的”角点； 准确的定位性能； 很高的重复检测率（稳定性好）； 具有对噪声的鲁棒性； 具有较高的计算效率；HarrisHarris等等人对人对MoravecMoravec算子算子进行进行改进改进，主要克服只对四，主要克服只对四个方个方向向进行研究的问题，提出了通过进行研究的问题，提出了通过TaylorTaylor级数展开法，实现窗级数展开法，实现窗口沿任何方向位移的口沿任何方向位移的灰度变化灰度变化情况，最后特征点的确定用数

4、情况，最后特征点的确定用数学解析式做学解析式做辅助。辅助。HarrisHarris角角点检测算子点检测算子具有具有旋转旋转不变不变以及以及缩放不变缩放不变等许多优良等许多优良性能，因此广泛应用在性能，因此广泛应用在各种各种图像图像匹配匹配算法中。算法中。如如SchmidSchmid和和MohrMohr采用采用HarrisHarris角角点检测点检测实现实现通用通用目标识别目标识别等等，但它对，但它对尺度、尺度、视角、视角、照明变化照明变化比较敏感比较敏感，而且抗噪声能力，而且抗噪声能力差。差。引言引言19991999年年LoweLowe等人等人提出一种更加稳定提出一种更加稳定的的SIFT(Sc

5、ale SIFT(Scale Invariant Feature Transform)Invariant Feature Transform)特征算子特征算子，该算子该算子不仅具有不仅具有尺度、旋转、仿射、视角、光照不变性尺度、旋转、仿射、视角、光照不变性，对目标的运动、遮挡、噪声等对目标的运动、遮挡、噪声等因素因素也保持较好的匹也保持较好的匹配性配性。该该算子目前已广泛应用于算子目前已广泛应用于机器人机器人定位和导航定位和导航、地图地图生成生成及及三维目标识别三维目标识别中。中。引言引言20062006年年BayBay提出了提出了SURF(Speeded Up Robust Features

6、)SURF(Speeded Up Robust Features)算法，进一步算法，进一步提高了特征的提取速度提高了特征的提取速度，但，但在对尺度和旋转在对尺度和旋转的适应方面不及的适应方面不及SIFTSIFT。SURFSURF算法通过计算算法通过计算积分图像积分图像和和Fast-HessianFast-Hessian矩阵矩阵大大提大大提高了特征点检测的速度，但特征匹配时采用的是全局最近高了特征点检测的速度，但特征匹配时采用的是全局最近邻搜索方法，由于邻搜索方法，由于SURFSURF特征向量是高维向量，其计算量特征向量是高维向量，其计算量大、匹配正确率低大、匹配正确率低。引言引言HHARRIS

7、ARRIS 角点检测角点检测HarrisHarris角点检测角点检测基本基本思想思想从从图像局部的小窗口图像局部的小窗口观察图像特征观察图像特征角点定义：角点定义：窗口向任意方向的移动都导致图像窗口向任意方向的移动都导致图像灰度灰度的明显变化的明显变化HarrisHarris角点检测角点检测基本基本思想思想平坦区域：平坦区域：任意方向移动，任意方向移动，无灰度变化无灰度变化边缘：边缘：沿着边缘方向移沿着边缘方向移动，无灰度变化动，无灰度变化角点：角点：沿任意方向移动，沿任意方向移动，明显灰度变化明显灰度变化HHARRISARRIS 角点检测角点检测H HARRISARRIS检测：数学表达检测：

8、数学表达2,( , )( , )(,)( , )x yE u vw x yI xu yvI x y图像灰度平移后的图像灰度窗口函数将图像窗口平移将图像窗口平移u,v产生灰度变化产生灰度变化E(u,v)或窗口函数 w(x,y) =Gaussian1 in window, 0 outside2,( , )( , )(,)( , )x yE u vw x yI xu yvI x y22(,)( , )(,)xyI xu yvI x yI uI vO uv222,( , )( , )(,)xyx yE u vw x yI uI vO uv由：得：222 , xyxxyxyyI uI vII Iuu v

9、I IIv H HARRISARRIS检测：数学表达检测：数学表达( , ),uE u vu vMv 于是对于局部微小的移动量于是对于局部微小的移动量 u,v，可以近似得到下面的表达：，可以近似得到下面的表达： 22,( , )xxyx yxyyII IMw x yI II其中其中M是是 2 2 矩阵，可由图像的导数求得：矩阵，可由图像的导数求得：H HARRISARRIS检测：数学表达检测：数学表达( , ),uE u vu vMv 窗口移动导致的图像变化：实对称矩阵窗口移动导致的图像变化：实对称矩阵M M的特征值分析的特征值分析 max, min M的特征值的特征值缓慢变化的方向缓慢变化的

10、方向快速变化的方向快速变化的方向( max)-1/2( min)-1/2E(u,v)的椭圆形式的椭圆形式H HARRISARRIS检测：数学表达检测：数学表达 max, min也是矩阵也是矩阵M的旋转不变量，反映图像两的旋转不变量，反映图像两轴方向的平面曲率。轴方向的平面曲率。12“Corner” 1 和和 2 都较大且数值都较大且数值相当相当 1 2;图像窗口在所有方向上移图像窗口在所有方向上移动都产生明显灰度变化动都产生明显灰度变化如果如果 1 和和 2 都很小，都很小，图像窗口在所有方向上图像窗口在所有方向上移动都无明显灰度变化移动都无明显灰度变化“Edge” 1 2“Edge” 2 1

11、“Flat” region通过通过M的两个特征的两个特征值的大小对图像点值的大小对图像点进行分类进行分类:H HARRISARRIS检测：数学表达检测：数学表达定义：角点响应函数定义：角点响应函数R2dettraceRMkM1212dettraceMM (k empirical constant, k = 0.04-0.06)H HARRISARRIS检测：数学表达检测：数学表达12“Corner”“Edge” “Edge” “Flat”R 只与只与M的特征值有关的特征值有关 角角点：点：R 为大数值正数为大数值正数 边缘：边缘：R为大数值负数为大数值负数 平坦区：平坦区：R为小数值为小数值R 0R 0R 对于灰度平移变化不变对于灰度平移变化不变 I I + b 对于图像灰度的尺度变化对于图像灰度的尺度变化: I a IRx (image coordinate)阈值阈值Rx (image coordinate)H HARRISARRIS角点的性质角点的性质对于图像几何尺度变化不具有不变性对于图像几何尺度变化不具有不变性：这几个点被分类为边缘点这几个点被分类为边缘点角点角点 !图像缩小H HARRISARRIS角点的性质角点的性质