机器视觉三维测量技术教案课件.pptx

1、会计学1机器视觉三维测量技术机器视觉三维测量技术第1页/共63页测量测量检测检测识别识别 引导引导光源传感器光学镜组传感单元信号处理单元控制单元 采用光学成像技术（通常使用摄像机）获取被测目标的图像，再经过快速图像处理与图形识别算法，从摄取图像中获取目标的尺寸、位置、方向、光谱特征、结构以及缺陷等信息，从而可以执行产品检验、分类与分组，装配线上的机械手运动引导、零部件的识别与定位，生产过程中质量监控与过程控制反馈等等任务。第2页/共63页第3页/共63页照明光源 图像传感器成像内部三维表面表面轮廓表面轮廓粗糙度粗糙度缺陷缺陷纹理纹理内部结构内部结构应力应力变形变形缺陷缺陷被测场景方位方位三维形

2、貌三维形貌尺寸尺寸坐标坐标第4页/共63页型第5页/共63页xyzxyz不变量不变量:Distance and angle不变量不变量:Cross ratiobacdbdadbcacd,c;b,aR第6页/共63页fzYyXx101000000001zyxffYXzyxffzYX00001zyfYzxfX第7页/共63页xyz110001333231232221131211wwwzyxzyxtrrrtrrrtrrrzyxwxwywzzyxwwwtttzyxrrrrrrrrrzyx333231232221131211第8页/共63页像平面物体透镜fImage planeobjectlens第9页

3、/共63页Image planeobjectlensfzYyXxxyXYzImage planeFocus planefz,y,x第10页/共63页fzYyXxfzYyXxxyXYzImage planefY,Xz,y,xxXYzImage planeFocus planefz,y,xy101000000001zyxffYX第11页/共63页110000)(10101YXvdudsvuyxxxyXYzImage planefY,Xz,y,xuvO00,vuv,uComputer framexdyd)()(00uudYuudsXyxx第12页/共63页1010000000010000)(1010

4、1zyxffvdudsvuyxxxyXYzImage planefY,Xz,y,xuvO00,vuv,uComputer frame第13页/共63页xyXYzImage planefY,Xz,y,xuvO00,vuv,uComputer framewywxwz110001333231232221131211wwwzyxzyxtrrrtrrrtrrrzyx11000010000000010000)(13332312322211312110101wwwzyxyxxzyxtrrrtrrrtrrrffvdudsvu第14页/共63页110000)(13332312322211312110101www

5、zyxyxxzyxtrrrtrrrtrrrvfdufdsvuMtRAm|未知参数：00,vusddfxyx(1)Intrinsic parameters:(2)Extrinsic parameters333231232221131211r,r,r,r,r,r,r,r,rOrientation:Translation:zyxt,t,t69,independent 33第15页/共63页xyXYzImage planefddY,Xz,y,x(1)Radial distortion(2)Tangential distortion(3)Decentering distortion(4)Thin pri

6、sm distortion第16页/共63页5231rkrkr22ddYXrsinrYcosrXdd 22222212222221ddddddyrddddddxrYXYkYXYkYXXkYXXk第17页/共63页0012011cossinjpjp偏心畸变既含有径向畸变又有切向畸变04221042213cosrjrjsinrjrjtdrdtdrdydxdcossinsincos最大切向畸变与 x 轴的夹角,设在直角坐标系下22212221223ddddydddddxdYXpYXpYXpYXp第18页/共63页1422114221cosririsinriritprp11211cosissinis薄

7、棱镜畸变是由镜头与摄像机面有小的倾角造成的1最大切向畸变与 x 轴的夹角,设221221ddypddxpYXsYXs第19页/共63页ypydyrdxpxdxrdYYXX,s,p,p,k,k,Y,XYY,s,p,p,k,k,Y,XXXddydddxd121211212111ydxdYYXX11)()(2)1()(2)3()1(2222221422122122214221dddddddyddddddddxdYXsYXpYXprkrkYYXsYXpYXprkrkX若考虑分项的前两项化简第20页/共63页101000000001)1()1(zyxffYXydxd1010000)1/(0000)1/(

8、1zyxffYXyxdd1001/001/)(A0101vfdufdsyyxxx,1212100sppkkvusddfxyx Intrinsic parameters7第21页/共63页计算机屏幕uvO00,vuv,uwywxwzm11001/001/)(13332312322211312110101wwwzyxyyxxxzyxtrrrtrrrtrrrvfdufdsvuxyXYzImage planefddY,Xz,y,x第22页/共63页)1()1()()(98765498732100ydzwwwywwwxdzwwwxwwwydxxdYtzryrxrtzryrxrfXtzryrxrtzryr

9、xrfvvdYuudsX计算机屏幕uvO00,vuv,uwywxwzmdydddxXprkXYXprk12121212/3一般情况下，取径向与切向畸变的的第一项就可以达到满意的效果xyXYzImage planefddY,Xz,y,x第23页/共63页1000A00vfusfvuMtRAm|1vum1wwwzyxM333231232221131211rrrrrrrrrRzyxttttxyXYz像平面fY,Xz,y,x计算机屏幕uvO00,vuv,uwywxwzMm第24页/共63页第25页/共63页激光器镜头CCD 镜头xCCD 激光器镜头镜头第26页/共63页zwxwywTyTxTzxw0y

10、w0 xsyszsosPointOXYOzxyLaserImage planeOrigin Sensor coordinate system(SCS)Global Coordinate system(GCS)Camera coordinate system(CCS)第27页/共63页Image planesssz,y,xPscyyscxxscooY,XPXYfMeasured plane(CCS)SCSsczz第28页/共63页syszsxcocxcyXYZpqPQOCCSSCSLaser第29页/共63页Laser Light planepPXYcxcyImage planesxsyszCC

11、SSCScz第30页/共63页The k-th light stripe planeImage planeProjector patternkxzyxzywFvuCFoknkF3第31页/共63页XYcxcyImage planesyszCCSSCScz00110010011001sxProjector第32页/共63页cXcYcxcyspyypXpYczspxxprojectorcameraCCSSCSobjectspzz第33页/共63页syy11X2Ysxx1lamp2X2Y2x2y1zcamera 2CCS 2(CCS1)SCSobjectcamera 12z第34页/共63页syy1

12、1X2Ysxx1projector2X2Y2x2yszz1camera 2CCS 2(CCS 1)SCSobjectcamera 12z第35页/共63页第36页/共63页图像采集卡图像采集卡计算机计算机多路视频切换开多路视频切换开关关CAN 接口卡接口卡CAN 网络控制总线网络控制总线传感器控制单元传感器控制单元传感器传感器视频信号数据总线视频信号数据总线 第37页/共63页传感器控制单元传感器控制单元传感器传感器计算机计算机接口卡接口卡数据与控制总线数据与控制总线 第38页/共63页PC控制器运动驱动机构可编程光源可编程光源多PC并行处理器HUB生产与管理系统主机办公电脑远端大型资料库视觉

13、系统主控计算机PC三轴控制器摄像机第39页/共63页第40页/共63页总线接口PC多路视频切换器视觉传感器1视觉传感器N视觉传感器2控制总线视频图像图像采集处理平台数据总线第41页/共63页计算机总线接口视觉传感器 1总线总线视觉传感器 2视觉传感器 N 传感器控制、图像采集与并行处理模块 传感器控制、图像采集与并行处理模块 传感器控制、图像采集与并行处理模块第42页/共63页第43页/共63页第44页/共63页标定靶标的控制点类型几何中心与投影中心的偏移第45页/共63页11343332312423222114131211wiwiwiiiizyxaaaaaaaaaaaavuw2 从上式中解出

14、DLT矩阵参数3411aa0La nnwnnwnnwnwnwnwnnnwnnwnnwnwnwnwniiwiiwiiwiwiwiwiiiwiiwiiwiwiwiwiwwwwwwwwwwwwvvzvyvxzyxuuzuyuxzyxvvzvyvxzyxuuzuyuxzyxvvzvyvxzyxuuzuyuxzyxLaaaaaaaaa1000000001100000000110000000010,11111111111111111111333231232221131211a第46页/共63页在最小二乘意义下可求出参数 ，为了避免解很小的 ，必须使用合适的正则化方法，一种方法是令 然后用伪逆法求解，但当

15、，这种正则化可能产生奇异性，为了克服这个缺点，可以令3411aa3411aa034a134a1234232231aaa3 矩阵参数分解：RQ 方法FMTBVA11100100100vuV10001011221bbbbB1000000ffF矩阵M和T分别表示靶标世界坐标系相对于摄像机坐标系的旋转矢量与平移矢量（b1 b2)为仿射失真系数第47页/共63页径向准直约束：1）径向畸变不影响矢量 的方向2）有效焦距不影响矢量 的方向3）光轴沿Z轴平移不影响矢量 的方向uOPuOPuOP该方法第一步采用最小二乘方法求解超定方程组求出外部参数，第二步求解内部参数,91rrxyx,s,tt1k,f,z第48

16、页/共63页0PPOP0d0yxYXddyxYXddywwwxwwwtzryrxrytzryrxrx654321)()(00vvdYYuudXsXyddxdxddndidyyyyxxyxyxyxdnwndnwndnwndndnwndnwndnwndiwidiwidiwididiwidiwidwidwdwdwddwdwdwXXXtrtrtrttstrstrstrsYzYyYxYYzYyYxYzYyYxYYzYyYxYzYyYxYYzYyYx165432111111111111111/,91rrxyx,s,tt（1）（2）yddwdwdwxddwdwdwTXrYzrYyrYxtYrYzrYyrYx

17、654321（3）令把（2）代入（1）第49页/共63页Laser Light planepPXYcxcyImage planesxsyszCCSSCSczuizwwwywwwuizwwwxwwwydxxdYtzryrxrtzryrxrfXtzryrxrtzryrxrfuudYuudsX98765498732100)()()1()1()()(00yduixduiiydixxdiYYXXvvdYuudsX000111986532976431875421292623282522272421rrrrrrrrrrrrrrrrrrrrrrrrrrr第50页/共63页第51页/共63页TargetTCST

18、heodolitesGCSMeasured object S CSVisual sensor第52页/共63页TargetTCSLaser TrackerGCSMeasured object S CSVisual sensor第53页/共63页abRulerTCSABSensor 2Sensor 1Sensor 4Sensor 3Sensor 6Sensor 5SCS(WCS)targetlight planeGCS第54页/共63页sgssggTPRP987654321rrrrrrrrrsgR321tttsgTSCSGCSPtheodolitestargetgPsPsgsgsgTRH PSC

19、SCSCLaserCamera第55页/共63页ccwwPHPwwggPHPssccPHPsccwwgsgHHHHssccwwggPHHHPTzyx1PPSCSCCSLaserCamerascHCCS=SCSGCSTheodolitesTargetWCSCamerasgHcwHwgH第56页/共63页第57页/共63页Move left or rightPositioning switchGuidanceOptoelectronic detectorFluid driver Five laser visual sensors第58页/共63页Thrust AngleGeometric Center LineFront Toe(+)Rear Toe(-)F r o n t WheelsRear WheelsThrust LineHLR Steering WheelSteering Wheel AngleCamber Angle(+)Vertical Gravity LineSteering Wheel Spoke第59页/共63页SCScXcYcxcyspyypXpYczspxx闪光投影仪数码相机CCS物体spzz第60页/共63页第61页/共63页谢 谢 第62页/共63页感谢您的观看。感谢您的观看。第63页/共63页