计算机视觉的多视几何.课件.ppt

1、吴吴 毅毅 红红中国科学院自动化研究所中国科学院自动化研究所模式识别国家重点实验室模式识别国家重点实验室l1.单视几何单视几何（应用（应用 单幅图像测量）单幅图像测量）l2.两视几何两视几何（Epipolar Geometry 约束）约束）空间平面与空间平面与Homographyl3.三视几何三视几何（Trifocal Geometry 约束）约束）成像平面成像平面摄摄像像机机坐坐标标系系ZXYOMm成像平面成像平面OiiixtRKm,l目标、内容l研究的意义l国内外研究的现状l算法l从单幅图像中恢复场景的全部或部分三维信息l运用射影几何理论，探索利用单幅图像实现场景测量所需的图像信息以及场景

2、信息，从而实现对场景中距离、面积、体积等的测量目标、内容目标、内容l利用超声波、激光等来测量，很容易受到外界不可预测反射等因素的影响l基于图像的测量技术，因其所需的只是场景图像，所以更灵活、方便、即时、准确l具有非常广泛的应用前景，如法庭取证、交通事故现场的测量、建筑物测量等等很多方面研究的意义研究的意义l用两幅或多幅图像对场景进行重建以后进行测量的方法以及摄影测量学的方法有很大的局限性l利用单幅图像对场景进行测量，已引起人们的关注lA.Criminisi University of Oxfordl目前，国内外在此方面还没有系统的研究研究现状研究现状空间平面与其图像间的关系可由平面空间平面与其

3、图像间的关系可由平面Homography:H 来表示来表示(一个一个 的矩阵的矩阵).一般将空间平面假设一般将空间平面假设为为 即即X-Y 平面平面,则：则：Tvu1,mTMMYX 1,M0wZHMHtrrKtrrrKm11,10,21321MMMMMMYXYXYXs算法算法33成像平面成像平面摄摄像像机机坐坐标标系系ZXYOMmXwYw33H平面测量平面测量 如果如果4个空间点个空间点 已知，则由它们可线性求解已知，则由它们可线性求解H：算法算法5155mHMsiiisHMmiM4,3,2,1i6166mHMs然后通过将图像点反投到空间平面，实现空间平面上的测量然后通过将图像点反投到空间平面

4、，实现空间平面上的测量平面测量平面测量距离面积夹角 已知一个空间平面的已知一个空间平面的homography和此平面法向和此平面法向量方向的一组平行线、某个线段的距离，或已知量方向的一组平行线、某个线段的距离，或已知另一个平面的位置，可测：另一个平面的位置，可测：算法算法空间测量空间测量体积、身高、两个平面的距离、两个平体积、身高、两个平面的距离、两个平面内的两个点之间的距离面内的两个点之间的距离算法算法 S8S10S9R3V2XZY XYZS1S2S3R1S4XZS5S6S7R2V1Y物体体积的测量结果：V1 Real volume:109265.0 cm3 Measured value:1

5、10018.9 cm3 Relative error:0.69%V2 Real volume:26826.7 cm3 Measured value:26628.2 cm3 Relative error:0.74%l外（对）极几何（外（对）极几何（Epipolar geometry）l基本矩阵、本质矩阵基本矩阵、本质矩阵l重建重建l景物平面与单应矩阵（景物平面与单应矩阵（Homography）外极几何外极几何外极几何是外极几何是研究两幅图像之间存在的几何。它研究两幅图像之间存在的几何。它和场和场景结构无关，只依赖于摄像机的内外参数。研究这景结构无关，只依赖于摄像机的内外参数。研究这种几何可以用在

6、图像匹配、三维重建方面。种几何可以用在图像匹配、三维重建方面。基本概念：基本概念：基线；外极点；外极线；外极平面；基本矩阵；本质矩阵基线；外极点；外极线；外极平面；基本矩阵；本质矩阵外极几何外极几何外极外极线线MmmleelOOmTFm=0基线基线外极点外极点外极平面外极平面对极线对极线基本矩阵，基本矩阵，33的矩阵的矩阵l基线：连接两个摄象机光心连接两个摄象机光心 O（O）的直线）的直线l外极点：基线与像平面的交点基线与像平面的交点l外极平面：过基线的平面过基线的平面l外极线：对极平面与图像平面的交线对极平面与图像平面的交线l基本矩阵F：对应点对之间的约束对应点对之间的约束0FmmT外极几何

7、外极几何外极几何外极几何wXwZwYwOO Ou uv vcXcZcY1OiiixtRKm,00iiixtRKm,O OcXcZcYR0,t0R,t如果将世界坐标系取在第一个摄像机如果将世界坐标系取在第一个摄像机坐标系上，则：坐标系上，则：iiix0IKm,iiixtRKm,R,t基本矩阵基本矩阵 F：是一秩为是一秩为2的的33矩阵，自由度为矩阵，自由度为 7外极几何外极几何对象的数学表达：对象的数学表达：iiiixP0IKm,iiiixPtRKm,MmmleelOOm TFm=01RKtKFTtKPOPeT1000外极点：外极点：tKRtRPPOeT1,光心：光心：1000O 1,tRO本质

8、矩阵本质矩阵 E：是一秩为是一秩为2的的33矩阵，自由度为矩阵，自由度为 5Fml mFlT0Fe0FeT外极几何外极几何对象的数学表达：对象的数学表达：iiiixP0IKm,iiiixPtRKm,MmmleelOOm TFm=0外极线：外极线：melmel（用法向量表示）（用法向量表示）对象之间的关系式：对象之间的关系式：RtEFml mFlT0Fe0FeT外极几何外极几何iiiixP0IKm,iiiixPtRKm,MmmleelOOm TFm=0对象之间的关系式：对象之间的关系式：F不是一个一一对应的变换。不是一个一一对应的变换。1EKKFT0Fmm如果，如果，m，m是一对对应点，则：是一

9、对对应点，则：反之，不成立。反之，不成立。H是一个是一个 射影变换矩阵射影变换矩阵，投影矩阵对，投影矩阵对 和和 对应相同的基本矩阵对应相同的基本矩阵 。),(PP),(HPPH1RKtKFTiiiixP0IKm,iiiixPtRKm,iiiixPHH0IKm,iiiixHPHtRKm,441RKtKFT在两幅图像之间，基本矩阵将点在两幅图像之间，基本矩阵将点 m 映射为对应的对极线，映射为对应的对极线，将对极点映射为将对极点映射为0。不能提供对应点间的一一对应。不能提供对应点间的一一对应。Fml mFlT0Fe0FeTMmmleelOOm TFm=0F0F空间中一点 在两幅图像上的成像分别为

10、：极点 极线tKPCPeT1000 FmmRKtKtKRXKtKmelT1KXXPsmT1tKRXKXPms1mmleelCCmTFm=0MTXM101FmmmRKtKmlmTTTT因此：因此：基于代数误差的线性估计基于代数误差的线性估计-8、7点算法点算法基于几何误差的非线性优化基于几何误差的非线性优化基于基于RANSAC思想的自动估计算法思想的自动估计算法一对对应点一对对应点 ，之间满之间满足约束：足约束：展开可以得到约束方程为：展开可以得到约束方程为：0iTiFmm0333231232221131211FFvFuFvFvvFuvFuFvuFuuiiiiiiiiiiiiTiiivu 1,m

11、Tiiivu1,m333231232221131211,FFFFFFFFFF8点算法点算法:当当 n=8 时，可以线性求解时，可以线性求解 f。0fA11111111111111nnnnnnnnnnnnvuvvvuvuvuuuvuvvvuvuvuuuA对于对于 n 对对应的图像点对对对应的图像点对iimm ni.1可得到可得到 n 个这样的方程个这样的方程T,333231232221131211FFFFFFFFFf 构造向量构造向量:构造矩阵构造矩阵:从而从而:8点算法点算法:l基于代数误差的估计方法是满足某些约束下使 最小的算法l8 点算法：l步骤：1)由对应点(n=8)集构造矩阵A；2)对

12、 A 进行奇异值分解 ，由向量 构造矩阵F（3）对F进行SVD分解 得到基本矩阵的估计1minf约束条件fAfATUDVA9vf TVsssUdiagF321TVssUdiagF0218点算法点算法:l8 点算法估计基本矩阵点算法估计基本矩阵 F 的结果与图像点的的结果与图像点的坐标系有关。当图像数据有噪声，即对应点坐标系有关。当图像数据有噪声，即对应点不精确时，由不精确时，由 8 点算法给出的基本矩阵点算法给出的基本矩阵 F 的的解精度很低。解精度很低。l存在一种规一化坐标系，在此坐标系下估计存在一种规一化坐标系，在此坐标系下估计的基本矩阵优于其它坐标系。的基本矩阵优于其它坐标系。8点算法点

13、算法:l规一化变换：规一化变换：1)对图像点做位移变换，使得图像对图像点做位移变换，使得图像的原点位于图像点集的质心；的原点位于图像点集的质心；2)对图像点做缩放对图像点做缩放变换，使得图像点分布在以质心为圆心半径为变换，使得图像点分布在以质心为圆心半径为 的圆内。的圆内。28点算法点算法:Hl规一化规一化 8 点算法：由对应点点算法：由对应点 ，求，求F 1)对两幅图像分别做规一化变换对两幅图像分别做规一化变换 ,得到新的得到新的对应点集；对应点集；2)有新的对应点集和有新的对应点集和8点算法估计点算法估计 ；3）基本矩阵）基本矩阵 iimmF11HFHFHH,8点算法点算法:l 如果求解的

14、基本矩阵如果求解的基本矩阵 F 不满足约束不满足约束 ，即即 那么不存在向量那么不存在向量 e 使得使得 Fe=0，则，则在图像中的对极线不交于同一点在图像中的对极线不交于同一点(对极点对极点 e)。l由于基本矩阵的秩为由于基本矩阵的秩为 2，因此基本矩阵仅具有，因此基本矩阵仅具有7个自由度，所以已知个自由度，所以已知7对匹配点便足以确定基本对匹配点便足以确定基本矩阵。矩阵。0)det(F7点算法点算法:0)det(Fl利用利用SVD分解的方法得到两个对应于系数矩阵分解的方法得到两个对应于系数矩阵A 的右零空间的基向量的右零空间的基向量 和和 的矩阵基的矩阵基 和和 ，然后利用然后利用det(

15、F)=0性质来解出性质来解出F通解通解 中的比例因子中的比例因子 ，来确定所要估计的基本矩阵。，来确定所要估计的基本矩阵。l由于基本矩阵行列式为零所对应的约束是一个由于基本矩阵行列式为零所对应的约束是一个三次方程，因此最后所可能得到的基本矩阵的三次方程，因此最后所可能得到的基本矩阵的解的个数对应于上述三次方程实数解的个数，解的个数对应于上述三次方程实数解的个数，最多可以得到最多可以得到 3 个解个解。1f2f1F2F21)1(FFF7点算法点算法:将估计基本矩阵的问题化为数学的最优化问题，然将估计基本矩阵的问题化为数学的最优化问题，然后使用某种优化迭代算法求解后使用某种优化迭代算法求解.算法如

16、下：算法如下：（1）构造基于几何意义的目标函数）构造基于几何意义的目标函数（2）选取）选取8点算法的结果作为迭代算法的初始值点算法的结果作为迭代算法的初始值（3）选取一种迭代方法（）选取一种迭代方法（L-M方法），迭代求解最方法），迭代求解最小化问题小化问题基于几何误差的优化基于几何误差的优化:常用准则：常用准则：(1)点到对应极线距离的平方和点到对应极线距离的平方和 (2)反投影距离反投影距离基于几何误差的优化基于几何误差的优化:构造基于几何意义的目标函数构造基于几何意义的目标函数mmleelOOniiiiTiFdFd122),(),(mmmmniiTiTiTiiiiTi1222122221

17、2)()()()()()(mFmFFmmFmFmFmm基于几何误差的优化基于几何误差的优化:准则准则(1)点到对应极线距离的平方和点到对应极线距离的平方和其中其中 和和 是通过一定的方法进行射影重建所得是通过一定的方法进行射影重建所得到空间点的反投影图像点到空间点的反投影图像点.准则准则(2)反投影距离反投影距离niiiiidd122),(),(mmmmimim基于几何误差的优化基于几何误差的优化:mmeeOOmm基于准则基于准则(2)步骤：步骤：1.由线性算法求出基本矩阵的初始值由线性算法求出基本矩阵的初始值 ;2.由对应点由对应点 和基本矩阵和基本矩阵 射影重建得射影重建得到三维空间点坐标

18、到三维空间点坐标 ；3.由三维空间点得到新的图像点：由三维空间点得到新的图像点：.基于几何误差的优化基于几何误差的优化:FiMiimmiimm F例：利用例：利用 RANSAC 思想估计直线思想估计直线 给定给定7点，找最匹配的直线，使有效点到直线的距离点，找最匹配的直线，使有效点到直线的距离小于小于0.8个单位，找到的点集为个单位，找到的点集为 1,2,3,4,5,6，然后，然后用最小二乘法计算直线方程。用最小二乘法计算直线方程。x01123234578645910yPOINTX Y12345670 01 12 23 23 34 410 2理想直线RANSAC估计估计l前面所讲的所有的方法都

19、假设没有错误匹配点前面所讲的所有的方法都假设没有错误匹配点(Outliers)(Outliers)。实际处理过程中可能会出现错误的。实际处理过程中可能会出现错误的匹配点。可以用匹配点。可以用 RANSAC RANSAC 方法剔除错误的匹配点方法剔除错误的匹配点l基本思想基本思想：1.通过迭代地随机抽取最小点集来找通过迭代地随机抽取最小点集来找出能够使得所谓出能够使得所谓Inliers所占比例最高的最小点集所占比例最高的最小点集 2.用此用此最小点集估计的基本矩阵和所识别出的最小点集估计的基本矩阵和所识别出的Inliers一起进行进一步非线性优化，从而得到最一起进行进一步非线性优化，从而得到最终

20、的基本矩阵估计值终的基本矩阵估计值RANSAC估计估计 本质矩阵本质矩阵 E(Essential Matrix)由摄像机的外参由摄像机的外参数确定，与摄像机内参数无关。数确定，与摄像机内参数无关。O Ov vcXcZcY1OO OcXcZcYu uxyRtEmm0EmmT MtRKPXm|MtRmKx1,tRP0IP,FKKET 1RKtKFT当摄像机内参数当摄像机内参数 K 已知时，当已知时，当 F 被求出时，重被求出时，重建即要求出建即要求出 R，t。ttEEtRtERl给定一基本矩阵给定一基本矩阵 F，构造投影矩阵对，构造投影矩阵对 重建重建0IP eFePl 有了投影矩阵和图像点就可以

21、通过三角化实现重建有了投影矩阵和图像点就可以通过三角化实现重建PMm MPmM重建重建H是一个是一个44的可逆射影变换矩阵，则的可逆射影变换矩阵，则MHPHPMm1s0IP eFeP,0IK,tRKHH例子例子 例子例子l概念概念l已知基本矩阵已知基本矩阵 F 确定单应矩阵确定单应矩阵Hl已知单应矩阵已知单应矩阵H确定基本矩阵确定基本矩阵 Fl无穷远平面的单应矩阵无穷远平面的单应矩阵景物平面与单应矩阵景物平面与单应矩阵两幅图像上的点如果来自空间的同一个平面，则两幅图像上的点如果来自空间的同一个平面，则在它们之间存在一个射影变换，可以用一个在它们之间存在一个射影变换，可以用一个33矩阵表示，称为

22、单应矩阵矩阵表示，称为单应矩阵,记为记为H。xmmee景物平面与单应矩阵景物平面与单应矩阵概念概念H33建立世界坐标系，使得建立世界坐标系，使得 X-Y 平面为空间平面，即平面为空间平面，即为为 平面，则平面，则Tvu1,mTwwYX 1,M0wZ11021321wwwwYXYXtrrKtrrrKmHMHm1wwYX景物平面与单应矩阵景物平面与单应矩阵概念概念l若若 是空间平面上的点是空间平面上的点在两幅图像上对应点对，则存在矩阵在两幅图像上对应点对，则存在矩阵H使得使得ls为非零常数因子，为非零常数因子，H是一是一33矩阵，一般可由矩阵，一般可由4对对应对对应点求得。点求得。Hmm sTvu

23、1mTvu1mXHm1XHm2mHHm112景物平面与单应矩阵景物平面与单应矩阵概念概念若两视点投影矩阵为若两视点投影矩阵为则空间平面则空间平面 的单应矩阵的单应矩阵H可表示为可表示为0IKP tRKP1)/(KdtnRKHTTTdn景物平面与单应矩阵景物平面与单应矩阵概念概念iimm 景物平面与单应矩阵景物平面与单应矩阵由由F 确定确定H给定三对对应点：给定三对对应点：它们对应的空间的景物点为：它们对应的空间的景物点为：M1，M2，M33,2,1i则这三个景物点唯一确定了一个空间平面则这三个景物点唯一确定了一个空间平面如果如果F已求出，则这个平面的已求出，则这个平面的H也可以求出：也可以求出

24、：0Fe0Fee,eiiisHmm 3,2,1iHee sH景物平面与单应矩阵景物平面与单应矩阵由由F 确定确定Hxmmee一一.由共面的由共面的4对对应点求得对对应点求得 H二二.由直线由直线 和和 确定极点确定极点e 三三.由由6个点，其中个点，其中4个点共面，来求解基本矩阵个点共面，来求解基本矩阵F：55mHm 66mHm HeF景物平面与单应矩阵景物平面与单应矩阵由由H 确定确定Fl当空间平面为无穷远平面时，对应的单应矩阵当空间平面为无穷远平面时，对应的单应矩阵为无穷远平面的为无穷远平面的H：l如果如果H 已知后，则可进行标定、重建。已知后，则可进行标定、重建。1limRKKHHd1)

25、/(KdtnRKHT景物平面与单应矩阵景物平面与单应矩阵无穷远平面的单应矩阵无穷远平面的单应矩阵RKHK1KKHKKHl引言引言l点、线关联关系点、线关联关系l基本矩阵、投影矩阵基本矩阵、投影矩阵主要内容主要内容l两幅图像之间存在约束：基本矩阵两幅图像之间存在约束：基本矩阵F；l三幅图像之间存在约束：三焦张量三幅图像之间存在约束：三焦张量T（Trifocal Tensor）；）；l四幅或更多幅图像之间不存在独立的约束，它四幅或更多幅图像之间不存在独立的约束，它们可以由们可以由F和和T生成。生成。引言引言三幅图像间的独立的几何约束三幅图像间的独立的几何约束OLOOlll两幅图像间不能对直线产生约

26、束两幅图像间不能对直线产生约束LOOll引言引言三焦张量由三个三焦张量由三个3 3矩阵矩阵T1，T2，T3组成。组成。321,lTTTllTT0Fmm在两幅图像之间有约束：在两幅图像之间有约束：在三幅图像之间有约束：在三幅图像之间有约束：其中，其中，l，l，l为在三幅图像中对应的直线。为在三幅图像中对应的直线。引言引言线-线-线点-线-线点-线-点点-点-线点-点-点 0 xTxliiiT点、线关联关系点、线关联关系TTlTTTl 321,l 0 lTxxiii0 lTxliiiT 0,321 llTTTlT l lx 0 xTxxiiixlx lxx 点、线关联关系点、线关联关系Point

27、line lineLmml lOXmOO0iiilmlmT0)(TiiiTTmll 321,lllTTTTT点、线关联关系点、线关联关系Point line pointOLmmlXmOOmlHm)(13 32113,)(llTTTTTTHTiiiTmTm0)(l点、线关联关系点、线关联关系Point point pointLmmOXmOOnmlTiiiTmTm0)(l33 0)(mTmmiiil基本矩阵与三焦张量之间存在关系：基本矩阵与三焦张量之间存在关系：l由三焦张量和外极点可得到一组投影矩阵：由三焦张量和外极点可得到一组投影矩阵：基本矩阵、投影矩阵基本矩阵、投影矩阵 32121,eTTTeF32131,eeTTTTTTF 321,eeTTTP 321 ,)(eeTTTIeePTTTT0IP l1.单视几何：单视几何：应用于单幅图像测量应用于单幅图像测量l2.两视几何：两视几何：基本矩阵、外极点、空间平面与单应矩阵基本矩阵、外极点、空间平面与单应矩阵l3.三视几何三视几何：三焦张量：三焦张量参考文献：参考文献：R.Hartley,A.Zisserman.Multiple View Geometry in Computer Vision.Cambridge University Press,2000.