三维视觉基础介绍课件.pptx

1、吴吴 毅毅 红红中国科学院自动化研究所中国科学院自动化研究所模式识别国家重点实验室模式识别国家重点实验室http:/ 马尔视觉理论：马尔视觉理论：三维重建是人类视觉的主要目的，也是计算机视觉的核心研究任务之一。第3页，共80页。从二维图像出发，将物体回推到三维空间中这是个什么过程？这个过程如何表述？是否可计算？如何计算？物体三维物体三维形状形状二维图像二维图像？第4页，共80页。第5页，共80页。针孔摄像机针孔摄像机成像平面成像平面摄摄像像机机坐坐标标系系ZXYOMm带镜头的摄像机：薄透镜；鱼眼镜头；反射镜面第6页，共80页。鱼眼镜头鱼眼镜头反射折射镜反射折射镜针孔相机针孔相机第7页，共80页

2、。蝇眼图像蝇眼图像 第9页，共80页。鱼眼镜头第10页，共80页。OmMXOcm0球面成像过程第11页，共80页。O Ou ux xy yv vcXcZcY1OwXwZwYwO wwwZYX,cccZYX,vu,yx,uuYX,ddYX,第12页，共80页。tzyxRzyxwwwccc11013wwwTcccxyxtRzyx第13页，共80页。C CB BA AB BO Onmf111fn fm 第14页，共80页。ccczyxM,cXcZcYuYuXuuyxm,ccuzxfxccuzyfy101000000001cccuuczyxffyxz 第15页，共80页。ccuzxfx ccuzyfy

3、 101000000001cccuuczyxffyxz cYuYuXcXcZccczyxM,1Ouuyxp,第16页，共80页。uYuXdruuyuduuxudyxyyyxxxuu,第17页，共80页。a :barrel distortionb :pincushion distortionab uYuXAxis of min tangentialdistortionAxis of maxTangentialdistortion第18页，共80页。sincot00dyyvvdxydxxuuddd为 1Ovu,00,vudydx,1O0udydx0vdYdX1100sin/0cot100ddvuu

4、yxvfuffvudyfdxfvu1,1第19页，共80页。1010000000011cccczyxffzyx1100sin/0cot100yxvfuffvuvuu1100sin/0cot100wwwKvuuczyxtRvffuffffvuz11013wwwTcccxyxtRzyx第20页，共80页。第21页，共80页。三维重建是人类视觉的主要目的，也是计算机视觉的最主要的研究三维重建是人类视觉的主要目的，也是计算机视觉的最主要的研究方向方向.(Marr 1982)所谓三维重建就是指从所谓三维重建就是指从单幅图像加景物约束、二幅、二幅以上图单幅图像加景物约束、二幅、二幅以上图像像恢复空间点三维

5、坐标的过程。恢复空间点三维坐标的过程。成像平面成像平面O第22页，共80页。照相机的成像模型：照相机的成像模型：iiixtRKm),(三维重建三维重建主要目的：从图像出发，求出所有的主要目的：从图像出发，求出所有的Mi摄像机摄像机标定标定：从图像出发，求出内参数：从图像出发，求出内参数K摄像机标摄像机标定位定位或运动参数求解或运动参数求解：从图像出发，求出运动参数从图像出发，求出运动参数R，t第23页，共80页。第24页，共80页。因此，有必要研究图像之因此，有必要研究图像之间约束，图像之间的几何间约束，图像之间的几何图像几何学 三维重建的三个关键步骤三维重建的三个关键步骤 图像对应点的确定图

6、像对应点的确定 摄像机标定摄像机标定 摄像机运动参数的确定摄像机运动参数的确定Ou ux xy yv vcXcZcY1OwXwZwYwO空间物体空间物体OoIIMomm eel lwzwxwyR,T第25页，共80页。第26页，共80页。l照相机的成像过程是一个射影变换(透视或中心射影)的过程：物体与其影像不同，但是又有着一些共同的几何性质。第27页，共80页。几何是：研究某个空间里的图形在变换之后保持几何是：研究某个空间里的图形在变换之后保持不变的性质的不变的性质的 学科。学科。几何学几何学:希腊文希腊文 geometrein，土地测量土地测量简单交易、土地面积计算、简单交易、土地面积计算、

7、在陶器上绘制几何图案等等在陶器上绘制几何图案等等经过生产实践，总结出一些计算法则和公式第28页，共80页。l圆周率的计算：张衡、祖冲之、刘徽等l勾股定理圆周长的平方圆周长的平方12圆面积圆面积圆周率圆周率=3埃及金字塔建于年前，是古埃及法老（即国王）和王后的陵墓。陵墓是用巨大石块修砌成的方锥形建筑，因形似汉字“金”字，故译作“金字塔”。第29页，共80页。大金字塔是埃及现存规模最大的金字塔，被喻为“世界古代七大奇观之一”。它建于埃及第四王朝第二位法老胡夫统治时期（约公元前年），原高米，因顶端剥落，现高米，塔的个斜面正对东南西北四个方向，塔基呈正方形，每边长约多米，占地面积万平方米。塔身由万块巨

8、石组成，它们大小不一，分别重达吨至吨，平均重约吨。据考证，为建成大金字塔，一共动用了万人花了年时间。古人测量金字塔？古人测量金字塔？利用金字塔的影子，采用三角形相似原理，进行测量。发现了有关三角形的一些重要定理第30页，共80页。常见的旋转和平移是欧氏变换，研究在欧氏变换下保持不变的性质（欧氏性质）的几何，是欧氏几何。比如长度、角度、平行性等都是欧氏性质。Euclid（约公元前约公元前330-275）原本，欧氏几何学原本，欧氏几何学整理、归纳、升华第31页，共80页。Pappus(约公元3世纪)，提出交比、对合等概念，射影几何萌芽文明的发展文明的发展并不是一帆并不是一帆风顺的风顺的古罗马文明，

9、数学并不受到信奉基督教的罗马统治者的欢迎，数学家：“占星术士”，占星术被严禁。第32页，共80页。之后到公元1100年，欧洲数学的发展停滞。文艺复兴，作画，作图需要产生透视法。艺术家企图用表象艺术的手法描绘世界：布局，光源，深度感，存在数学基础第33页，共80页。Desargues(1591-1661),引入无穷远元素，透视定理，交比、调和不变，极点、极线，创立射影几何。射影几何独一无二，来自艺术达芬奇，30岁研究数学，l 视觉图像在空间中是沿直线传播的，眼睛只能以光椎体的形式看到东西l 越远的物体看起来越小l 不保持距离，不保持角度。第34页，共80页。射影几何是一个基础几何：欧氏几何和双曲

10、几何、黎曼几何等许多非欧几何都是射影几何的子几何。Einstein：伟大的广义相对论著名公式E=mc2Riemann弯曲空间的工作成果GrossmanEinstein第35页，共80页。照相机的成像过程不保持欧氏性质例如:平行线不再平行第36页，共80页。平行线交于一个无穷远点;平行平面交于一条无穷远直线;第37页，共80页。l在一条直线上只有唯一一个无穷远点.所有的一组平行线共有一个无穷远点.无穷远点无穷远点无穷远无穷远第38页，共80页。l在一个平面上,所有的无穷远点组成一条直线,称为这个平面的无穷远直线.平行线无穷远直线第39页，共80页。l3维空间中所有的无穷远点组成一个平面,称为这个

11、空间的无穷远平面.无穷远平面无穷远平面平行线平行线平平行行平平面面和和直直线线第40页，共80页。对 n 维欧氏空间加入无穷远元素,并对有限元素和无穷远元素不加区分,则它们共同构成了 n 维射影空间维射影空间.第41页，共80页。1维射影空间是一条射影直线,它由我们所看到的欧氏直线和它的无穷点组成;2维射影空间是一个射影平面,它由我们所看到的欧氏平面和它的无穷远直线组成;3维射影空间由我们所在的空间与无穷远平面组成.第42页，共80页。在欧氏空间中建立坐标系后,便有了点与坐标间的一一对应,但当引入无穷点以后,无穷远点无坐标,为了刻化无穷远点的坐标,我们引入齐次坐标.第43页，共80页。在 n

12、维空间中,建立欧氏坐标后,每一个有限的点的坐标为 ,对任意 n+1 个数 ,如果满足:则 被叫作这个点的齐次齐次坐标坐标.),.,(1nmm),.,(01xxxn.,.,001010nnmxxmxxx01,.,xxxn第44页，共80页。相对于齐次坐标,被称作非非齐次坐标齐次坐标.不全为0的数 组成的坐标 被称作无穷远点的齐次坐标齐次坐标.),.,(1nmm)0,.,(1nxxnxx,.,1第45页，共80页。例如:在欧氏直线上的普通点的坐标为 x,则适合 的两个数 组成的坐标 为这个点的齐次坐标,x 为这个点的非齐次坐标.对任意的 ,则 为无穷远点的齐次坐标.xxx01/01,xx),(01

13、xx01x)0,(1x第46页，共80页。引入齐次坐标后,l在二维平面上,如果直线的方程为:则直线的齐次方程为:无穷远直线的方程则为:0021xcxbxa021cxbxa00 x第47页，共80页。l在三维空间中,如果平面的方程为:则平面的齐次方程为:无穷远平面的方程则为:0321dxcxbxa00321xdxcxbxa00 x第48页，共80页。对于 n 维空间中的任意一条直线,如果 是它上的任意两个取定的点,则它上的任意一个点 可以由 线性生成:其中 分别是 的齐次坐标,是两个不全为零的常数.P21,PP2211XcXcX21,XXX21,PPP21,cc21,PP第49页，共80页。比例

14、 被叫作 关于 在这条直线上的射影参数射影参数.如果 ,则射影参数为 .21ccP21,PP02c第50页，共80页。对于共线的4个点 ,比例：被叫作 关于 的交比交比，记为 其中 分别是 ，的射影参数。4321,PPPP)()(41324231),(43PP),(21PP),;,(4321PPPPiiP4.1i第51页，共80页。l定理：设四个不同的共线点中的三点及其交比值为已知，则第四点必唯一确定。第52页，共80页。记 是两个由点组成的射影空间,是由 到 的映射.如果 保持:(i)点和直线的结合关系.比如:点在直线上;直线通过点;等等.(ii)共线的四个点的交比.则 被叫作 n 维射影变

15、换维射影变换.,nnSSTnSnSTT第53页，共80页。两个射影空间 可以是同一个空间,则 是同一个空间里的变换.,nnSSTnSnSTnSnST第54页，共80页。l点用齐次坐标表示,则射影变换可用一个(n+1)-(n+1)的矩阵表示:l 的行列式非零,则它是一个非退化的非退化的射影变换射影变换,否则是个退化的射影变换.PTPxxxttttxxxnnnnnn,01)1)(1(1)1()1(11101T第55页，共80页。例如:是两条射影直线,让 与 对应,其中 与 的连线都交于一点,则这个映射是一个 1 维射影变换.(透视或中心射影)iPLiP LiPiPP1P2P3BP3P2P1P0AO

16、LL第56页，共80页。l照相机的成像过程是一个从3维空间到2维空间的退化的射影变换。成像平面成像平面摄摄像像机机坐坐标标系系ZXYOMm第57页，共80页。射影几何射影几何是：研究射影空间中在射影变换下保持不变的性质的几何学。射影变换射影变换射影空间射影空间射影空间射影空间几何性质几何性质/数量数量几何性质几何性质/数量数量=第58页，共80页。l“点”与“直线”叫作射影平面上的对偶对偶元素元素。l“过一点作一直线”与“在一直线上取一点”叫作对偶作图对偶作图。第59页，共80页。l在射影平面里设有点，直线及其相互结合和顺序关系所组成的一个命题，将此命题中的各元素改为它的对偶元素，各作图改为它

17、的对偶作图，其结果形成另一个命题，这两个命题叫作平面对偶命对偶命题题。l对偶原则对偶原则：在射影平面里，如果一个命题成立，则它的对偶命题也成立。第60页，共80页。l例如：命题：通过不同两点必有一直线。对偶命题：两不同直线必有一交点。第61页，共80页。l共线的四个点有交比,根据对偶,共点的四线也有交比.L1L2L3L4P1P2P3P4(P1,P2;P3,P4)=(L1,L2;L3,L4)第62页，共80页。如果点对 和 的交比是-1,即:则称 与 是调和调和的.),(21PP),(43PP1),;,(4321PPPP),(21PP),(43PP第63页，共80页。点对 与 是调和的,当且仅当

18、:其中 分别是 ,的射影参数.),(21PP),(43PP)(2)(43214321iiP4.1i第64页，共80页。l一线段的中点为无穷远点关于这个线段的两个端点的调和点。l因为调和关系是由交比定义的，所以它是射影不变的。第65页，共80页。l例如：利用这种不变的调和关系，我们可以求出无穷远点的像。无穷远点的像可以用来对照相机进行标定。成像平面摄像机坐标系ZXYOP p第66页，共80页。完全四点形中的调和完全四点形中的调和:P1P2P3P4P1,P2,P3,P4 是四个顶点，六条白线是三对对边，三个红点 A,B,C 是对边点，三条红线和三个红点组成对边三点形。ABC(CA,CB;CG,CE

19、)=-1DEFGH(D,B;P2,P1)=-1(A,B;G,E)=-1(F,B;P3,P4)=-1(A,M;P2,P4)=-1(A,H;P3,P1)=-1M第67页，共80页。记射影平面上点的齐次坐标为 ,则满足一个二次方程,即:的所有点的集合构成一条由 决定的 二次曲线二次曲线,其中至少有一个 非零.)(031,jiijjijiijaaxxa),(321xxxijaija第68页，共80页。在二次曲线的定义中的方程又可以写为:矩阵 是对称的,它的秩在一个非退化的射影变换下保持不变.0321333231232221131211321xxxaaaaaaaaaxxx)(ija第69页，共80页。如

20、果矩阵 的行列式非零,则这个二次曲线非退化非退化.否则二次曲线退化为两条直线,或一条直线.例如:圆,椭圆,双曲线和抛物线都是非退化的二次曲线.)(ija第70页，共80页。二次曲线的对偶：l射影平面上点与直线是对偶的，将二次曲线的点元素换为线元素，则这些线的包络为一个二次曲线。l二次曲线 （为点坐标）的对偶为：（为线坐标）其中 为 的伴随矩阵。0CXX0*LCLXL*CC第71页，共80页。互为对偶点的轨迹线的包络第72页，共80页。欧氏空间中,无穷远平面上的二次曲线:称为绝对二次曲线绝对二次曲线.它都由虚点构成,任何一个圆都与它交于一对虚共轭点(圆环圆环点点).0,00232221xxxx第

21、73页，共80页。绝对二次曲线的像与照相机的内参数紧密相连.假定照相机的内参数为:则绝对二次曲线的像是:反之,如果绝对二次曲线的像已知,则 K 可以被完全确定.100000vfrusfK01XKKX第74页，共80页。l如果圆环点的像已知，也可以对照相机的内参数构成约束，通过解方程组来得到内参数的值。假定 m 是圆环点的像，则：01mKKm第75页，共80页。l对于一个二次曲线 C 和某个点 A(向量)，由 L=C A 确定的直线（线坐标），称为点 A 关于二次曲线 C 的极线极线。l当 A 在二次曲线 C 上时，点 A 的极线为过它的切线。第76页，共80页。l对于一个二次曲线 C 和某条直

22、线 L(向量)，由 A=L 确定的点，称为线 L 关于二次曲线 C 的极点极点。l当 L 为二次曲线 C 的切线时，线 L 的极点为它上的切点。*C第77页，共80页。l对极关系是射影不变的关系,利用这个关系我们可以对照相机进行标定.第78页，共80页。l点、直线、平面l二次曲面l扭三次曲线：与三维重建中的退化情况紧密相连。第79页，共80页。lJ.G.Semple,G.T.Kneebone,Algebraic Projective Geometry,Oxford University Press,1952.l梅向明,刘增贤,王汇淳,王智秋,高等几何,高等教育出版社,1998.l 周兴和，高等几何，科学出版社，2003.第80页，共80页。