图像匹配ppt课件.ppt
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《图像匹配ppt课件.ppt》由用户(三亚风情)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 图像 匹配 ppt 课件
- 资源描述:
-
1、图像配准的用途意义n图图像配准(或像配准(或图图像匹配)是评价两幅或多幅像匹配)是评价两幅或多幅图图像的相似性像的相似性以确定同名点的过程。以确定同名点的过程。图像配准算法就是设法建立两幅图图像配准算法就是设法建立两幅图像之间的对应关系像之间的对应关系, ,确定相应几何变换参数确定相应几何变换参数, ,对两幅图像中对两幅图像中的一幅进行几何变换的方法。的一幅进行几何变换的方法。n图像配准是图像分析和处理的基本问题。图像配准是图像分析和处理的基本问题。它在它在航空影像自航空影像自动制图、图像三维重构、计算机视觉、动制图、图像三维重构、计算机视觉、遥感融合、模式识遥感融合、模式识别、医学图像处理别
2、、医学图像处理、影像分析、影像分析等领域都有重要应用。等领域都有重要应用。 1图像配准参考图像(主图像) 待配准图像(辅图像) 配准图像2用词说明n各种图像配准的文献都会出现各种图像配准的文献都会出现“配准、匹配、几何校正配准、匹配、几何校正”三个词,它们的含义比较相似。三个词,它们的含义比较相似。n一般两幅图像之间用一般两幅图像之间用“配准(配准(register, registration)”;寻找同名特征寻找同名特征(点点) 的过程叫的过程叫“匹配(匹配(match, matching)”; 根据主辅图像之间的几何变换关系,对辅图像进行逐像素根据主辅图像之间的几何变换关系,对辅图像进行逐
3、像素处理变为配准图像的过程叫做处理变为配准图像的过程叫做“几何校正(几何校正(geometric correction)”。3配准方法分类n按照配准算法所利用的图像信息,可以分为按照配准算法所利用的图像信息,可以分为基于区域的方基于区域的方法法和和基于特征的方法基于特征的方法 。基于区域的匹配主要是模板匹配和。基于区域的匹配主要是模板匹配和基于相位(频率)的匹配方法;基于特征的匹配包括基于基于相位(频率)的匹配方法;基于特征的匹配包括基于特征点集的匹配和基于线特征(图像中边缘信息)的匹配特征点集的匹配和基于线特征(图像中边缘信息)的匹配算法。算法。n按自动化程度可以分为人工、半自动和全自动三种
4、类型按自动化程度可以分为人工、半自动和全自动三种类型 。4模板匹配n模板匹配法是在一幅影像中选取一个的影像窗口作模板,模板匹配法是在一幅影像中选取一个的影像窗口作模板,大小通常为大小通常为55或或77,然后通过相关函数的计算来找到,然后通过相关函数的计算来找到它在搜索图中的坐标位置。设模板它在搜索图中的坐标位置。设模板T放在搜索图放在搜索图S上平移,上平移,模板覆盖下的那块搜索图叫做子图模板覆盖下的那块搜索图叫做子图Si,j,子图的中心点在,子图的中心点在S图中的坐标图中的坐标(i,j),叫参考点。,叫参考点。 5相似性测度n用以下测度来衡量用以下测度来衡量T和和Si,j的相似程度:的相似程度
5、:n根据施瓦兹不等式,根据施瓦兹不等式, ,并且在,并且在 比值为常数时取极大值为比值为常数时取极大值为1。但实际上两幅不同图像的。但实际上两幅不同图像的P值值介于介于0和和1之间,很难达到理想值。根据经验取某个阈值之间,很难达到理想值。根据经验取某个阈值P0,如果如果P P0,则匹配成功;,则匹配成功; P P0,则匹配失败。,则匹配失败。 MmMnMmMnjiMmMnjinmTnmSnmTnmSP112112,11,),(),(),(),(10 P),(),(,nmTnmSji6金字塔模板匹配n为了加快搜索速度,很多影像匹配为了加快搜索速度,很多影像匹配方法使用金字塔影像。方法使用金字塔影
6、像。n对影像进行一次采样率为对影像进行一次采样率为1/n(n=2,3)的重采样,即把影像的每的重采样,即把影像的每nn个个像素变为一个像素,这样就得到一像素变为一个像素,这样就得到一对长、宽都为原来对长、宽都为原来1/n的影像,把的影像,把它作为金字塔的第二层。它作为金字塔的第二层。n再对第二层用同样方法进行一次采再对第二层用同样方法进行一次采样率为样率为1/n的重采样,又得到第三的重采样,又得到第三层(顶层)。层(顶层)。 n原始影像作为金字塔影像的底层。原始影像作为金字塔影像的底层。7金字塔影像匹配的步骤n第一步:顶层的匹配,得到一个平移初始值第一步:顶层的匹配,得到一个平移初始值 。n第
7、二步:根据平移初始值乘以第二步:根据平移初始值乘以n得到第二层平移量初始值,得到第二层平移量初始值,在它在它mm个像元的邻域内进行模板匹配。个像元的邻域内进行模板匹配。n第三步:根据第二层匹配值乘以第三步:根据第二层匹配值乘以n得到第三层平移量初始得到第三层平移量初始值,再进行一次模板匹配。值,再进行一次模板匹配。n如果影像尺寸不是特别大,可以只用两层金字塔。如果影像尺寸不是特别大,可以只用两层金字塔。8基于特征的配准算法n 基于特征的算法基于特征的算法(feature-based matching)(feature-based matching)先提取图像显先提取图像显著特征,再进行特征匹配
8、,大大压缩了图像信息的数据量,著特征,再进行特征匹配,大大压缩了图像信息的数据量,同时保持了图像的位移、旋转、比例方面的特征,故在配同时保持了图像的位移、旋转、比例方面的特征,故在配准时计算量小,速度较快、鲁棒性好。当两幅图像之间的准时计算量小,速度较快、鲁棒性好。当两幅图像之间的线性位置关系不明确时,应使用基于特征的匹配。线性位置关系不明确时,应使用基于特征的匹配。n一般来说特征匹配算法可分为四步一般来说特征匹配算法可分为四步: :1.1.特征提取特征提取; ;2.2.特征描述特征描述; ;3.3.特征匹配;特征匹配;4.4.非特征像素之间的匹配。非特征像素之间的匹配。9基于特征的配准步骤n
9、在特征匹配前,首先要从两幅图像中提取灰度变化明显的在特征匹配前,首先要从两幅图像中提取灰度变化明显的点、线等特征形成特征集。点、线等特征形成特征集。n在两幅图像对应的特征集中利用特征匹配算法尽可能的将在两幅图像对应的特征集中利用特征匹配算法尽可能的将存在匹配关系的特征对选择出来。存在匹配关系的特征对选择出来。n通过特征建立两幅图像之间的多项式变换关系,达到以点通过特征建立两幅图像之间的多项式变换关系,达到以点代面的效果。代面的效果。n对于非特征像素点,利用上述多项式变换关系来进行几何对于非特征像素点,利用上述多项式变换关系来进行几何校正,从而实现两幅图像之间逐像素的配准。校正,从而实现两幅图像
10、之间逐像素的配准。10人工匹配步骤n1. 人工选取控制点人工选取控制点n2. 多项式匹配多项式匹配11用遥感软件进行几何校正 遥感软件的几何校正功能是利用地面控制点遥感软件的几何校正功能是利用地面控制点( (Ground Ground Control Point,GCP)Control Point,GCP)进行的几何校正,它通常用多项式进行的几何校正,它通常用多项式来近似描述遥感图像的几何畸变过程,并利用控制点求来近似描述遥感图像的几何畸变过程,并利用控制点求得这个几何畸变模型,然后利用此模型进行几何校正,得这个几何畸变模型,然后利用此模型进行几何校正,这种校正不考虑畸变的具体原因,这种校正不
11、考虑畸变的具体原因,而只考虑如何利用畸而只考虑如何利用畸变模型来校正图像。变模型来校正图像。12校正步骤 几何精校正一般可分为以下四个步骤:几何精校正一般可分为以下四个步骤:1.1.建立原始图像与校正后图像的坐标系。建立原始图像与校正后图像的坐标系。2.2.确定控制点对。确定控制点对。3.3.选择畸变数学模型,比如一次、二次、三次多项式。选择畸变数学模型,比如一次、二次、三次多项式。 4. 4.几何校正的精度分析。几何校正的精度分析。1314半自动匹配n1. 用户先把主辅图像进行预处理,先进行重采样、旋转、用户先把主辅图像进行预处理,先进行重采样、旋转、去除噪声等,使两幅影像的分辨率、角度等基
12、本一致后,去除噪声等,使两幅影像的分辨率、角度等基本一致后,再进行配准。再进行配准。n2. 用户先指定三个控制点,程序根据三个控制点算出主辅用户先指定三个控制点,程序根据三个控制点算出主辅图像旋转、平移和尺度差异,再用金字塔模板匹配方法进图像旋转、平移和尺度差异,再用金字塔模板匹配方法进行配准。行配准。15全自动匹配n不需要用户事先提供任何信息,单纯依据两幅图像自身的不需要用户事先提供任何信息,单纯依据两幅图像自身的信息进行匹配计算。由于主辅图像之间存在旋转、平移和信息进行匹配计算。由于主辅图像之间存在旋转、平移和尺度差异,如何找到初始定位信息是其难点。尺度差异,如何找到初始定位信息是其难点。
13、n方法多种多样。包括直方图匹配、方法多种多样。包括直方图匹配、Hu不变矩、不变矩、金字塔模金字塔模板匹配、小波板匹配、小波Gabor 算子、基于空间变换的方法等。将在算子、基于空间变换的方法等。将在后面特征点匹配部分讲述。后面特征点匹配部分讲述。16基于TIN的图像配准算法流程 17特征类型n灰度特征点。灰度特征点。Moravec算子、算子、Forstner算子与算子与Hannah算子。算子。n角点。角点。SUSAN算子算子, Harris算子,王算子,沈俊算子。算子,王算子,沈俊算子。n边缘特征(线型)。边缘特征(线型)。Canny算子算子, Marr算子。算子。n纹理特征。灰度共生矩阵,小
14、波纹理特征。灰度共生矩阵,小波Gabor算子。算子。18Moravec算子nMoravec算子是利用灰度方差提取特征点的算子,它在四算子是利用灰度方差提取特征点的算子,它在四个主要方向上,选择具有最大个主要方向上,选择具有最大-最小灰度方差的点作为特最小灰度方差的点作为特征点。其步骤为:征点。其步骤为: 1 1 计算各像元的兴趣值(计算各像元的兴趣值(Interest Value)。在以像素为中)。在以像素为中心心ww的影像窗口中(如的影像窗口中(如5 55 5的窗口),计算图中所示的窗口),计算图中所示四个方向相邻像素灰度差的平方和:四个方向相邻像素灰度差的平方和: 19Moravec算子1
15、2, 1,)(1kkicircirggV121, 1,)(2kkiiciricirggV121,)(3kkiicricrggV121, 1,)(4kkiiciricirggV 取其中最小者作为该像素的兴趣值:取其中最小者作为该像素的兴趣值: V= minV1,V2,V3,V4)2/(wINTk 其中20n给定一经验阈值,将兴趣值大于该阈值的点(即窗口的给定一经验阈值,将兴趣值大于该阈值的点(即窗口的中心点)作为候选点。阈值的选择应以候选点中包括所中心点)作为候选点。阈值的选择应以候选点中包括所需要的主要特征点而又不含过多的非特征点为原则。需要的主要特征点而又不含过多的非特征点为原则。n取候选点
16、中的极值点作为特征点。在一定大小的窗口内取候选点中的极值点作为特征点。在一定大小的窗口内, ,将候选点中兴趣值不是最大者均去掉,仅留下一个兴趣将候选点中兴趣值不是最大者均去掉,仅留下一个兴趣值最大者,该像素即为一个特征点。值最大者,该像素即为一个特征点。n如果两个特征点之间的距离过短,则去掉其中一个。否如果两个特征点之间的距离过短,则去掉其中一个。否则,在影像校正时,三角形边长过短将使解算出来的仿则,在影像校正时,三角形边长过短将使解算出来的仿射变换参数出现错误。射变换参数出现错误。21角点提取-SUSAN算子nSUSAN 算法是由英国牛津大学的算法是由英国牛津大学的S. M. Smith ,
17、 J . M. Brady 首先提出的首先提出的,它主要是用来计算图像中的角点特征的。它主要是用来计算图像中的角点特征的。SUSAN 算法的特点算法的特点: 1. 1. 对角点的检测比对边缘检测的效果要好对角点的检测比对边缘检测的效果要好, ,适用于基于适用于基于角点匹配的图像配准角点匹配的图像配准; ; 2. 2. 无需梯度运算无需梯度运算, ,保证了算法的效率保证了算法的效率; ; 3. 3. 具有积分特性具有积分特性( (在一个模板内计算在一个模板内计算SUSAN SUSAN 面积面积),),这样这样就使得就使得SUSAN SUSAN 算法在抗噪和计算速度方面有较大的改进。算法在抗噪和计
18、算速度方面有较大的改进。22SUSAN 算法 n用一个一定半径的圆模板放置在图像上(如图)。如果模用一个一定半径的圆模板放置在图像上(如图)。如果模板上存在一区域,使该区域上对应图像的每一像素处的灰板上存在一区域,使该区域上对应图像的每一像素处的灰度值与圆心的灰度值相同(或相近),那么就定义该区域度值与圆心的灰度值相同(或相近),那么就定义该区域为核值相似区,即为核值相似区,即USAN,其中像素的个数定义为这个模,其中像素的个数定义为这个模板的面积。板的面积。2324SUSAN 算法的基本原理n图像上每一点都有一个邻近的具有相似灰度值的局部区域图像上每一点都有一个邻近的具有相似灰度值的局部区域
19、是是SUSAN 算法的基础。这个局部区域或算法的基础。这个局部区域或USAN 包含了许多包含了许多关于图像结构的信息。关于图像结构的信息。 nSUSAN 算法的基本原理是:在每个像素移动一个小的圆形算法的基本原理是:在每个像素移动一个小的圆形模板以检测局部信息,并利用预先设定的亮度阈值比较模模板以检测局部信息,并利用预先设定的亮度阈值比较模板核及其周围像素的亮度值,亮度值相同或相近的为一个板核及其周围像素的亮度值,亮度值相同或相近的为一个USAN,最后通过面积最小的,最后通过面积最小的USAN 检测角点。检测角点。 25边缘特征提取n“基于TIN的多源影像几何配准”没有使用边缘提取算子,所以这
20、里不介绍其算法。(a)原图 (b)Marr算子结果 (c)Canny算子结果26纹理特征n纹理是用来识别目标的重要方法,它是图像中一个很重要纹理是用来识别目标的重要方法,它是图像中一个很重要而又难以描述的特性,至今还没有公认的定义。有些图像而又难以描述的特性,至今还没有公认的定义。有些图像在局部区域内呈现不规则性,而在整体上表现出某种规律在局部区域内呈现不规则性,而在整体上表现出某种规律性。性。习惯上把这种局部不规则而宏观有规律的特性称之为习惯上把这种局部不规则而宏观有规律的特性称之为纹理。纹理。以纹理特性为主导的图像,常称为纹理图像,如木以纹理特性为主导的图像,常称为纹理图像,如木材纹理、皮
展开阅读全文