三维机器视觉及其应用课件.ppt

1、l计算机视觉是采用图像处理、模式识别、计算机视觉是采用图像处理、模式识别、人工智能技术相结合的手段人工智能技术相结合的手段,着重于一幅着重于一幅或多幅图像的计算机分析。或多幅图像的计算机分析。l机器视觉偏重于计算机视觉技术工程化机器视觉偏重于计算机视觉技术工程化,能够自动获取和分析特定的图像能够自动获取和分析特定的图像,以控制以控制相应的行为。相应的行为。l双目被动视觉双目被动视觉l结构光主动视觉结构光主动视觉l双目主动视觉双目主动视觉l双目被动视觉传感器一般由两台性能相同的双目被动视觉传感器一般由两台性能相同的CCDCCD摄像机组成，基于视差原理，可完成视场摄像机组成，基于视差原理，可完成视

2、场内的所有特征点的三维测量。内的所有特征点的三维测量。l摄像机内部参数经过标定后，处于任何位置，摄像机内部参数经过标定后，处于任何位置，相对保持恒定，因此可以离线标定。而传感器相对保持恒定，因此可以离线标定。而传感器的结构参数，即两个摄像机之间的位置关系，的结构参数，即两个摄像机之间的位置关系，随摄像机的摆放位置和方向的不同发生变化，随摄像机的摆放位置和方向的不同发生变化，它们的结构容易受传感器固定安装的影响，所它们的结构容易受传感器固定安装的影响，所以需要在线标定。以需要在线标定。)()()()()()(,61151429118172221311211291181722211111rfYrX

3、rfrfYrXrYtYtffrfYrXrfrfYrXrXtXtffzfzYyfzXxzyzxLaserProjectorCCDCameraObjectLaserPlaneLight StripeLaserProjectorCCDCameraObjectLaserPlaneLight Stripel建立更加合理的视觉检测模型建立更加合理的视觉检测模型l建立有效的标定方法建立有效的标定方法l建立高精度标定点产生方法建立高精度标定点产生方法l建立有效的通用的图象处理方法建立有效的通用的图象处理方法l图象采集与处理实时化方法图象采集与处理实时化方法l多视觉传感器的世界坐标系统一多视觉传感器的世界坐标系

4、统一l标准靶尺法标准靶尺法 计 算 机12345l标定点是靠光平面与标准靶尺上的特征的边缘标定点是靠光平面与标准靶尺上的特征的边缘的交点提供的，因此，边缘的光反射会造成标的交点提供的，因此，边缘的光反射会造成标定点提取的误差。定点提取的误差。l要保证标准靶尺与单向移动台的严格垂直。这要保证标准靶尺与单向移动台的严格垂直。这在实际操作中很难做到，必然会引进由于不垂在实际操作中很难做到，必然会引进由于不垂直所产生的误差。直所产生的误差。l要保证单向移动台的移动方向与激光面的法向要保证单向移动台的移动方向与激光面的法向垂直。这在实际操作中很难做到，必然会引进垂直。这在实际操作中很难做到，必然会引进由

5、单向移动台移动方向和激光面的夹角所产生由单向移动台移动方向和激光面的夹角所产生的误差。的误差。l不能实现标定点图像位置的高精度提取。不能实现标定点图像位置的高精度提取。拉丝法拉丝法1图象采集卡256yxo.344z1.1.不能实现标定点图像位置的高精度提取。不能实现标定点图像位置的高精度提取。2.2.两台电子经纬仪获取标定点物坐标的精度较低。两台电子经纬仪获取标定点物坐标的精度较低。l标准量块法（或称为微分法）标准量块法（或称为微分法）标准量标准量块法与标准靶尺法相似，只不是用标准块法与标准靶尺法相似，只不是用标准量块替代了标准靶尺。量块替代了标准靶尺。拉丝法 图象采集卡478YXo.566Z

6、2.13l不能实现标定点图像位置的高精度提取。同时不能实现标定点图像位置的高精度提取。同时两台电子经纬仪获取标定点物坐标的精度较低，两台电子经纬仪获取标定点物坐标的精度较低，一般在一般在0.05mm0.05mm左右。左右。l在两个视觉传感器相对放置的情况下，由于在两个视觉传感器相对放置的情况下，由于“盲区盲区”问题，不能直接产生标定点，而是通问题，不能直接产生标定点，而是通过两台电子经纬仪的移动来实现，因此造成了过两台电子经纬仪的移动来实现，因此造成了测量误差。测量误差。l需要多次坐标系的转换，在坐标系的转换过程需要多次坐标系的转换，在坐标系的转换过程中必然损失掉一些测量精度。中必然损失掉一些

7、测量精度。投射器 A摄像机 A投射器 B摄像机 B 图 像 采集卡计算机光电瞄准装置（安装于三维 移动台上）XYZDSDS放大电路放大电路圆锥形瞄准孔圆锥形瞄准孔光电三极管光电三极管 X Y Z 2P 光电瞄准装置（安装于三维移动台上）l1Pcossin121212lzzlyyhxxl在双向光电瞄准装置的上表面做一标记，并在双向光在双向光电瞄准装置的上表面做一标记，并在双向光电瞄准装置的上方放置一摄像机。电瞄准装置的上方放置一摄像机。l摄像机自上而下采集双向光电瞄准装置的上表面图像，摄像机自上而下采集双向光电瞄准装置的上表面图像，经图像处理便可得到瞄准装置的轴线。经图像处理便可得到瞄准装置的轴

8、线。l控制移动台沿控制移动台沿Z Z向移动，每移动一定的距离，摄像机自向移动，每移动一定的距离，摄像机自上而下采集双向光电瞄准装置上表面标记的图像，经上而下采集双向光电瞄准装置上表面标记的图像，经图像处理便可得到标记点的位置。移动台一直沿图像处理便可得到标记点的位置。移动台一直沿Z Z向移向移动，这样便可获得标记点一系列的位置，采用这些位动，这样便可获得标记点一系列的位置，采用这些位置点进行直线拟合，便可得到移动台置点进行直线拟合，便可得到移动台Z Z向轴线的图像直向轴线的图像直线方程。线方程。l由得到的瞄准装置的轴线和移动台由得到的瞄准装置的轴线和移动台Z Z向轴线的图像直线向轴线的图像直线

9、方程便可实现安装偏角方程便可实现安装偏角的测量。的测量。f1x2xnxi 1i2niiyi10 xnjijjiixI1)(iiIfy l人工神经网络具有自适应功能、泛化功人工神经网络具有自适应功能、泛化功能、非线性映射功能和高度并行处理功能、非线性映射功能和高度并行处理功能，可实现函数逼近（数字逼近映射）、能，可实现函数逼近（数字逼近映射）、数据聚集、模式分类、优化计算、概率数据聚集、模式分类、优化计算、概率密度函数估计等功能。因此人工神经网密度函数估计等功能。因此人工神经网络已被广泛用于人工智能、自动控制、络已被广泛用于人工智能、自动控制、机械人、统计学等领域的信息处理中。机械人、统计学等领

10、域的信息处理中。l网络不仅有输入层节点，输出层节点，而且可网络不仅有输入层节点，输出层节点，而且可以有一层或多层隐层节点。这个算法的学习过以有一层或多层隐层节点。这个算法的学习过程，由正向传播和反向传播组成。在正向传播程，由正向传播和反向传播组成。在正向传播过程中，输入信号从输入层经隐单元层逐层处过程中，输入信号从输入层经隐单元层逐层处理，并传向输出层，每一层神经元的状态只影理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果输出层不能得到响下一层神经元的状态。如果输出层不能得到期望的输出，则转入反向传播，将误差信号沿期望的输出，则转入反向传播，将误差信号沿原来的连接通路返回，通

11、过修改各层神经元的原来的连接通路返回，通过修改各层神经元的权值，使得误差信号最小。权值，使得误差信号最小。l由三层组成，输入层节点只是传递输入由三层组成，输入层节点只是传递输入信号到隐层，隐层节点由核函数构成，信号到隐层，隐层节点由核函数构成，而输出层节点是简单的线性函数。而输出层节点是简单的线性函数。隐层隐层节点的传递函数（即核函数）对输入信节点的传递函数（即核函数）对输入信号在局部产生响应，即当输入信号靠近号在局部产生响应，即当输入信号靠近核函数的中央范围时，隐层节点将产生核函数的中央范围时，隐层节点将产生较大的输出。较大的输出。X1X2Y1Y2Y322)()(expjjTjjCXCXuh

12、NjTijijiUWuy1l对标准对标准BPBP算法进行了改进，所得到的改算法进行了改进，所得到的改进进BPBP算法具有非线性映射能力强、收敛算法具有非线性映射能力强、收敛较快、映射精度高、健壮性比较好等优较快、映射精度高、健壮性比较好等优点；并且利用该算法成功地建立起了用点；并且利用该算法成功地建立起了用于结构光三维单视觉检测的于结构光三维单视觉检测的BPBP网络模型，网络模型，在在200 mm200 mm的测量范围内网络的测试精度的测量范围内网络的测试精度为为0.1350.135mmmm。l将将RBFRBF神经网络应用于结构光三维视觉检测，神经网络应用于结构光三维视觉检测，建立起高精度的结

13、构光三维双视觉检测的建立起高精度的结构光三维双视觉检测的RBFRBF网络模型。针对实际系统没有采用网络模型。针对实际系统没有采用RBFRBF网络的网络的典型学习算法，而是提出一种改进算法，该算典型学习算法，而是提出一种改进算法，该算法映射精度高、健壮性好、收敛较快，更适用法映射精度高、健壮性好、收敛较快，更适用于神经网络技术的结构光三维多视觉检测系统。于神经网络技术的结构光三维多视觉检测系统。实验中利用该算法成功的建立起实验中利用该算法成功的建立起RBFRBF视觉检测视觉检测模型，该模型的测量精度和模型，该模型的测量精度和BPBP网络相比，提高网络相比，提高了约一倍。在了约一倍。在200 mm200 mm的测量范围内网络的测试的测量范围内网络的测试精度为精度为0.0840.084mmmm。l视觉检测视觉检测l视觉导引视觉导引l谢 谢！