工业机器人集成与应用-第10章-工业机器人视觉应用课件.pptx

1、为工业增智 为教育赋能10.3 工业机器人视觉定位抓取应用 本章目录10.1 视觉应用简介10.2 工业机器人视觉原理10.4 工业机器人视觉分拣应用10.5 思考与练习为工业增智 为教育赋能 本章要求 知识目标 了解视觉系统分类；了解视觉系统特点；了解视觉系统标定方法；了解机器人与视觉相机集成应用。为工业增智 为教育赋能 本章要求 技能目标 能够对相机进行标定和通讯设置；能够设置相机图像采集流程；掌握视觉相机小球颜色识别流程设计；掌握SCARA机器人小球分拣实训调试。为工业增智 为教育赋能10.1视觉应用简介工业机器人视觉应用为工业增智 为教育赋能10.1 视觉应用简介在很多工业自动化生产线

2、上，来料的工件顺序不固定。当工件在生产线上运动到机械臂工作范围时，要求机械臂能准确抓取工件，此时机械臂需配合视觉系统完成抓取动作。而机械臂的运动过程基于自身各种坐标系，如基坐标系、工具坐标系等。一般相机在拍摄图片完成后输出“像素”坐标，此坐标传输给机械臂，机械臂无法直接使用。因此，视觉系统输出的坐标值必须与机械臂坐标系统相统一，统一坐标系的过程称为“标定”。标定完成后，机械臂可直接使用相机输出的坐标。视觉系统一般分为嵌入式一体智能相机和基于PC的视觉系统两种。本章实训中的海康威视相机，如图所示，属于第二种形式。为工业增智 为教育赋能10.1 视觉应用简介视觉系统由图像获取系统和图像处理与分析系

3、统组成。图像获取系统由光源、镜头、工业相机、图像采集卡、机械固定结构组成，图像处理与分析系统由工控机、图像处理分析软件和图形交互界面组成。为工业增智 为教育赋能10.2工业机器人视觉原理工业机器人视觉应用为工业增智 为教育赋能10.2 工业机器人视觉原理因视觉系统与机械臂为以太网通信，故需设置机械臂、视觉系统等在同一网段内，即其IP（Internet Protocol）地址第三组数字相同。例如可以这样设置：机器人IP地址设置为“192.168.0.10”，子网掩码设置为“255.255.255.0”，网关设置为“192.168.0.1”；电脑IP地址设置为“192.168.0.20”，子网掩码

4、、网关与机器人设置相同；相机IP地址设置为“127.0.0.1”，子网掩码、网关与机器人设置相同。10.2.1 通信设置为工业增智 为教育赋能10.2 工业机器人视觉原理1.机器人IP地址设置机器人IP地址设置具体操作步骤为：依次单击“设置”-“系统”-“网络”；选择网卡信息，例“earth0”，输入如图所示信息；输入完成后单击“保存”按钮；重启示教器后设置生效。10.2.1 通信设置为工业增智 为教育赋能10.2 工业机器人视觉原理2.视觉控制器IP地址设置电脑IP地址设置步骤为：单击电脑的“控制面板”；单击“网络和控制中心”；单击“更改适配器配置”；选择以太网右键-“属性”；选择“TCP/

5、IPv4”，如图10-3（a）所示；设置如图10-3（b）所示的网络信息；单击“OK”，设置完成。10.2.1 通信设置为工业增智 为教育赋能10.2 工业机器人视觉原理3.相机通信设置（1）TCP通信设置TCP通信是一种面向连接的、可靠的、基于字节流的传输层通信，当发送数据或接收数据选择通信设备时，可以配置TCP通信。在相机软件中打开通信管理，添加TCP服务端或者客户端，设置IP地址和端口，如图10-4所示。10.2.1 通信设置为工业增智 为教育赋能10.2 工业机器人视觉原理3.相机通信设置（2）接收数据接收数据主要用于不同流程之间数据传输，该模块可借助不同媒介进行数据传输。输入数据来源

6、有三种数据源可选择全局变量（16个输入）数据队列（16个输入）通信设备（1个输入）10.2.1 通信设置全局变量数据队列通信设备为工业增智 为教育赋能10.2 工业机器人视觉原理3.相机通信设置（3）发送数据发送数据输出配置也有三种全局变量（16个输入）数据队列（16个输入）通信设备（1个输入）10.2.1 通信设置为工业增智 为教育赋能10.2 工业机器人视觉原理标定主要用于确定相机坐标系和机械臂世界坐标系之间的转换关系，通过相机像素坐标和物理坐标的关系设定，实现相机坐标系和执行机构物理坐标系之间的转换，并生成标定文件的过程称为相机标定，如图10-11为相机标定前机器人的位姿。相机标定方法：

7、N点标定标定板标定10.2.3 相机的标定为工业增智 为教育赋能10.2 工业机器人视觉原理1.相机的N点标定在实际的使用过程中，主要有上相机抓取，如图10-12（a）所示，和下相机对位，如图10-12（b）所示两种标定方式。10.2.3 相机的标定图（a）图（b）为工业增智 为教育赋能10.2 工业机器人视觉原理1.相机的N点标定相机标定的建议方案如图所示。其中“分支模块”的作用主要是判断特征匹配是否匹配成功，匹配成功进入“N点标定”，否则格式化一个特定字符，最终将字符发送出去反馈该次匹配结果。10.2.3 相机的标定为工业增智 为教育赋能10.2 工业机器人视觉原理1.相机的N点标定以“下

8、相机对位”为例，N点标定是通过机械臂带动衔取的相机按照参数设定的方向移动，每次移动都会触发相机进行取图。此时方案中的标定模块同步进行标定，最终生成标定文件。相机标定的基本参数设置如图（a）所示，图（b）为标定设置步骤示意图。10.2.3 相机的标定图（a）图（b）为工业增智 为教育赋能10.2 工业机器人视觉原理1.相机的N点标定标定点获取：选择触发获取或手动输入，通常选择触发获取。当选择手动输入时支持“N点标定”模块单独运行。标定点输入：选择按点或按坐标输入。图像点：N点标定的标定点，通常直接链接特征匹配里面的特征点。平移次数：平移获取标定点的次数，只针对X/Y方向的平移，一般设置为9点。旋

9、转次数：旋转轴与图像中心不共轴时需设置旋转次数，一般设置为3次，且旋转在第5个点的位置进行。标定原点：一般设置为4，因从0计数，即为最中间的那个点。10.2.3 相机的标定为工业增智 为教育赋能10.2 工业机器人视觉原理1.相机的N点标定基准点X、基准点Y：标定原点的物理坐标，通常设置成（0，0）即可。偏移X、偏移Y：机械臂每次运动向X或Y方向的物理偏移量，偏移量可正可负。移动优先：设置机械臂每次运行优先偏移的方向。换向移动次数：机械臂移动多少次转换一次方向。基准角度/角度偏移：旋转的初始角度和每次旋转的角度。如果旋转3次，旋转角度从-10度到0度，再到10度，则基准角度为-10，角度偏移为

10、10。图（b）中X或Y方向平移9次，其他方向旋转3次，偏移量为5，X轴优先，换向移动次数为3。相机标定的运行参数设置如图10-15所示。10.2.3 相机的标定为工业增智 为教育赋能10.2 工业机器人视觉原理1.相机的N点标定相机标定的运行参数设置如图所示。标定原点：默认是4，可根据需求自己设置。相机模式：相机静止上相机位、相机静止下相机位、相机运动三种标定方式。相机静止上相机位为相机固定不动，且在拍摄工件上方。相机静止下相机位为相机固定不动，且在拍摄工件下方。相机运动为相机随机械臂运动。自由度：可根据具体需求选择，有“缩放、旋转、纵横比、倾斜、平移及透射”，“缩放、旋转、纵横比、倾斜和平移

11、”，“缩放、旋转及平移”这3种，三个参数分别对应“透视变换”、“仿射变换”和“相似性变换”。权重函数：可选最小二乘法、Huber、Tukey和Ransac算法函数。建议使用默认参数设置。10.2.3 相机的标定为工业增智 为教育赋能10.2 工业机器人视觉原理1.相机的N点标定相机标定的运行参数设置如图所示。权重系数：选择Tukey或Huber权重函数时的参数设置项，权重系数为对应方法的削波因子，建议使用默认值。距离阈值：选择Ransac权重函数时的参数设置项，表示剔除错误点的距离阈值，值越小，点集选取越严格。当点集精度不高时，可适当增加此阈值。建议使用默认值。采样率：选择Ransac权重函数

12、时的参数设置项，当点集精度不高时可适当降低采样率。建议使用默认值。10.2.3 相机的标定为工业增智 为教育赋能10.2 工业机器人视觉原理2.相机的标定板标定标定板标定分为棋盘格和圆两种标定板。我们以棋盘格标定为例讲解：输入棋盘格灰度图及棋盘格的规格尺寸参数，一般我们会使用黑白块相间的标准板进行标定，黑白块边长为1CM。软件将计算出图像坐标系与棋盘格物理坐标系之间的映射矩阵、标定误差、标定状态，单击生成标定文件即可完成标定。此工具会生成一个标定文件，以供标定转换使用。生成标定文件按钮可以选择生成的标定文件保存路径，如图所示。10.2.3 相机的标定为工业增智 为教育赋能10.2 工业机器人视

13、觉原理2.相机的标定板标定相机标定板标定的运行参数设置如图所示。生成标定文件：选择生成的标定文件存放路径。原点（x）、原点（y）：该原点为物理坐标的原点,可以设置原点的坐标，即图中X轴和Y轴的原点的位置。旋转角度：标定板的旋转角度。坐标系模式：选择左手坐标系或右手坐标系。物理尺寸：棋盘格每个黑白格的边长或圆板两个相邻圆心的圆心距，单位是mm。10.2.3 相机的标定为工业增智 为教育赋能10.2 工业机器人视觉原理2.相机的标定板标定相机标定板标定的运行参数设置如图所示。标定板类型：分为棋盘格标定板和圆标定板。自由度：分为缩放、旋转、纵横比、倾斜、平移及透射，缩放、旋转、纵横比、倾斜和平移，缩

14、放、旋转及平移3种，3种参数设置分别对应“透视变换”、“仿射变换”和“相似性变换”。灰度对比度：棋盘格图像相邻黑白格子之间的对比度最小值，建议使用默认值。中值滤波状态：提取角点之前是否执行中值滤波，有“执行滤波”与“无滤波”两种模式，建议使用默认值。10.2.3 相机的标定为工业增智 为教育赋能10.2 工业机器人视觉原理2.相机的标定板标定相机标定板标定的运行参数设置如图所示。亚像素窗口：该参数表示是否自适应计算角点亚像素精度的窗口尺寸，当棋盘格每个方格占的像素较多时，可适当增加该值，建议使用默认值。权重函数：可选最小二乘法、Huber、Tukey算法函数。建议使用默认参数设置。权重系数：选

15、择Tukey或Huber权重函数时的参数设置项，权重系数为对应方法的削波因子，建议使用默认值。10.2.3 相机的标定为工业增智 为教育赋能10.2 工业机器人视觉原理3.相机映射相机映射模块通过两个相机的对应像素点对，标定出两个相机坐标系的转换关系，输出标定文件、标定状态和标定误差。10.2.3 相机的标定输入方式：选择按点或者按坐标输入。目标点-对象点：选择目标点和对象点，需要至少大于1对。生成标定文件：输出标定文件。为工业增智 为教育赋能10.2 工业机器人视觉原理4.标定转换在完成标定后，可通过标定转换模块，实现相机坐标系和机械臂世界坐标系之间的转换。具体的操作步骤为：在标定转换中单击

16、加载标定文件，选择标定时保存的标定文件路径加载。其流程如图所示。10.2.3 相机的标定通过特征匹配模板查找工件在相机坐标系中的位置，加载已保存的标定文件，单击运行即可完成操作，输出标定转换后工件就可以显示在机械臂世界坐标系的位置。为工业增智 为教育赋能10.2 工业机器人视觉原理4.标定转换通过外部通信，控制相机抓取图片，并利用特征模板等功能来实现被测工件图像像素坐标定位的功能。在标定转换模块中加载已生成的标定文件，把像素坐标装换为机械臂坐标输出，将机械臂坐标值通过格式化，外部通信告诉机械臂单元，完成控制机械臂的功能。视觉方案中使用标定文件完成机械臂操作的基本流程图如图所示。图像坐标点输入：

17、选择按点或者按坐标的输入方式及图像点的来源。标定文件：加载标定文件。10.2.3 相机的标定为工业增智 为教育赋能10.2 工业机器人视觉原理1.相机拍照模式设置拖动“相机图像”模块到流程编辑区，在选择相机栏下拉可看到当前在线的所有相机，选择想要连接的相机。依据方案需求，配置相应的相机参数，software模式下单击“单次运行”可触发一次相机取图；单击“连续运行”即可连续预览图像，同时可根据需求进行参数调节，如图所示。10.2.4 相机图像采集为工业增智 为教育赋能10.2 工业机器人视觉原理1.相机拍照模式设置选择相机：可以选择当前局域网内在线的GigE、线阵相机或者U3V相机进行连接，可兼

18、容Basler、灰点等第三方相机，最大图像数据为130M。图像宽度、图像高度：可以查看并设置当前被连接相机的图像宽度和高度。帧率：可以设置当前被连接相机的帧率，帧率影响采图的快慢。实际帧率：当前相机的实时采集帧率。曝光时间：当前打开的相机的曝光时间，曝光影响图像的亮度。像素格式：像素格式有两种，分别是Mono8和RGB8Ppacked。10.2.4 相机图像采集为工业增智 为教育赋能10.2 工业机器人视觉原理1.相机拍照模式设置断线重连时间：当相机因为网络等因素断开时，在该时间内，模块会进行重连操作。增益：在不增加曝光值的情况下，通过增加增益来提高亮度。Gamma：Gamma校正提供了一种输

19、出非线性的映射机制，Gamma值在01之间，图像暗处亮度提升；Gamma值在14之间，图像暗处亮度下降。行频：当连接的相机是线阵相机时，可以设置相机的行频。实际行频：实际运行过程中的行频。触发源：可以根据需要选择触发源，其中软触发为VisionMaster控制触发相机，也可接硬触发，需要配合外部的硬件进行触发设置。10.2.4 相机图像采集为工业增智 为教育赋能10.2 工业机器人视觉原理1.相机拍照模式设置触发延迟：接收到触发信号后过触发延迟设置的时间程序产生相应。字符触发过滤：开启后可通过外部通信控制功能模块是否运行。输入字符：选择输入字符的来源。触发字符：未设置字符时传输进来任意字符都可

20、触发流程，设置字符后传输进来相应字符可触发流程，传输进来的字符与设置的字符不一致时流程不被触发。注意：需在停止预览时设置相机的常用参数，并且建议在mvs客户端先调节好参数，再同步到VisionMaster客户端。10.2.4 相机图像采集为工业增智 为教育赋能10.2 工业机器人视觉原理2.本地图像拖动“本地图像”模块到流程编辑区，单击 可加载本地图片。本地图最小宽为64mm，最小高为64mm，最大图像数据为130M，最大图像分辨率为8192*6144，单击 可加载图片文件夹、单击 可删除图像，如图所示。10.2.4 相机图像采集为工业增智 为教育赋能10.2 工业机器人视觉原理2.本地图像双

21、击本地图像可进行参数设置。需设置的参数主要有像素格式、取图间隔、方案存图和触发设置。像素格式：可设置像素格式为MONO8或RGB24。取图间隔：可设置自动切换的取图间隔时长，单位为ms。方案存图：可设置保存方案时是否包括本地图片。自动切换：每次运行会切换到下一张图像。字符触发过滤：开启后可通过外部通信控制功能模块是否运行。“输入字符”为选择输入字符的来源。“触发字符”指未设置字符时传输进来任意字符都可触发流程，设置字符后传输进来相应字符可触发流程，传输进来的字符与设置的字符不一致时流程不被触发。10.2.4 相机图像采集为工业增智 为教育赋能10.2 工业机器人视觉原理3.存储图像拖动“存储图

22、像”模块到流程编辑区，双击后可配置相应的参数，配置完成后运行流程，可对相机图像、本地图像或者图像处理工具处理过的图像进行存储。具体的参数配置如图。10.2.4 相机图像采集为工业增智 为教育赋能10.2 工业机器人视觉原理3.存储图像输入源：选择存图的来源，可选择的主要方案有相机图像、本地图像或者处理后的图像。触发存图：可设置触发变量，配合存图条件进行存图，存图条件有全部保存、OK时保存、NG时保存和不保存。保存路径：可修改存储图像的路径。最大保存数量：在设置的路径下最多能保存的图像数量。存储方式：设置达到最大存储数量或是所在磁盘空间不足时对图片处理的方式，可选择覆盖存储或停止存储两种方式。保

23、存格式：图片格式有BMP和JPEG两种。图片命名：可自定义前缀或者订阅之前模块数据作为前缀，序号或者日期作为后缀，如“IMG-1”，采用触发存图时命名格式会随着模块状态发生变化，如“IMG-OK-1”。10.2.4 相机图像采集为工业增智 为教育赋能10.3工业机器人视觉定位抓取应用工业机器人视觉应用为工业增智 为教育赋能10.3 工业机器人视觉定位抓取应用我们将以AUBO-i5机器人通过视觉系统进行定位抓取实训。为工业增智 为教育赋能10.3 工业机器人视觉定位抓取应用将插件压缩包“libCamera.so.tar.gz”放到Home/AuboRobotWorkSpace/OUR-i5/bi

24、n/Plugin/Camera目录下并解压，解压完成后删除压缩文件，重启示教器后生效；在示教器中依次单击“Extensions”-“Settings”-“Camera”，进入相机插件设置界面；如图所示，在界面下方Type选择“Json”，选择完成后单击“Setting”按钮，设置成功后出现提示对话框；左侧Connect mode选择“Http”，之后单击“Connect”按钮，连接成功后出现提示对话框；1.相机插件安装及参数设置为工业增智 为教育赋能10.3 工业机器人视觉定位抓取应用单击相机插件设置界面上方“Config”选项卡，进入插件配置界面。双击左侧要绑定的数据Y，右侧会出现对应的匹配

25、项，单击“Bind name”下的下拉条，选择要匹配的数据。一般匹配选项为robotPositionX1、robotPositionY1和angle1；在“*ScriptName”后输入要保存脚本的名称，完成后单击右下角“Save”按钮，保存成功后会有对话框提示。至此在机器人中设置相机通信步骤完成。1.相机插件安装及参数设置为工业增智 为教育赋能10.3 工业机器人视觉定位抓取应用因2D相机无法提供工件高度、机器人姿态等信息，故需要进一步调试方可达到需求。具体调试信息在脚本中进行。（1）脚本调试脚本调试步骤为：依次单击“在线编程”-“脚本”，之后单击左下方的“刷新”按钮，出现名称为“camer

26、aDemmo”的脚本文件；单击脚本文件，单击右下角的“加载”按钮，成功后如图所示。2.程序调试为工业增智 为教育赋能10.3 工业机器人视觉定位抓取应用（2）在线编程调试打开之前的“Camera”工程，将“Camera”脚本文件添加到工程中，添加完成后如图10-30所示；运行工程，观察机械臂是否运动到工件上方，若不是，请检查之前的操作步骤是否有遗漏；修改获得坐标单位：原脚本文件中pose_x1_from_camera=script_common_interface(PluginType.CameraPlugin,get_pose_x1_from_camera|)直接获得相机的输出值X，由于之前

27、标定时从示教器读取的数值以米为单位，故这里无需除1000.0。pose_y1_from_camera做同样的处理；2.程序调试为工业增智 为教育赋能10.3 工业机器人视觉定位抓取应用（2）在线编程调试修改camera_rz：camera_rz=rpy2quaternion(d2r(-179.99),d2r(0.0053),d2r(-89.99)+d2r(angle1_from_camera)d2r是lua脚本语言中将角度转为弧度的函数，由于相机旋转角度为弧度输出，故无需再次进行单位转换，故改为camera_rz=rpy2quaternion(d2r(-179.99),d2r(0.0053),

28、d2r(-89.99)+angle1_from_camera)；修改local prepare_pose_z=0.5。因2D相机无法提供工件高度信息，故手动给出机器人运动高度。将机械臂移动至工件上方，此高度可通过读取示教器机器人位置的Z来获得，之后手动修改prepare_pose_z，脚本文件至此修改完毕；单击左侧的“保存”按钮，重新命名进行保存，如重新将脚本命名为“Camera”。2.程序调试为工业增智 为教育赋能10.3 工业机器人视觉定位抓取应用（1）调用此接口相机会进行拍照动作script_common_interface(PluginType.CameraPlugin,camera_

29、take_photo|)（2）调用此接口相机会返回拍照信息，相机插件会刷新数据script_common_interface(PluginType.CameraPlugin,camera_get_result|)（3）分别从相机中获得X、Y、angle的值，不做任何处理script_common_interface(PluginType.CameraPlugin,get_pose_x1_from_camera|)，表示从相机中获得X的值script_common_interface(PluginType.CameraPlugin,get_pose_y1_from_camera|)，表示从相机中

30、获得Y的值script_common_interface(PluginType.CameraPlugin,get_angle1_from_camera|)，表示从相机中获得angle的值（4）判断数据是否响应完成，数据响应完成则返回整型数1，否则返回整型数0script_common_interface(PluginType.CameraPlugin,data_response_finish|)3.视觉接口说明为工业增智 为教育赋能10.3 工业机器人视觉定位抓取应用（1）存储用户坐标系init_global_move_profile()set_joint_maxacc(1.308997,1.

31、308997,1.308997,1.570796,1.570796,1.570796)set_joint_maxvelc(1.308997,1.308997,1.308997,1.570796,1.570796,1.570796)set_end_maxvelc(2.5000000)set_end_maxacc(2.500000)（2）相机拍照camera_user_waypoint1=-0.000003,-0.127267,-1.321122,0.376934,-1.570796,-0.000008camera_user_waypoint2=-0.186826,-0.164422,-1.351

32、967,0.383250,-1.570795,-0.186831camera_user_waypoint3=-0.157896,0.011212,-1.191991,0.367593,-1.570795,-0.157901script_common_interface(PluginType.CameraPlugin,camera_take_photo|)（3）相机获取拍照结果script_common_interface(PluginType.CameraPlugin,camera_get_result|)（4）从插件中获得绑定的x1坐标，原数据单位为毫米pose_x1_from_camera

33、=script_common_interface(PluginType.CameraPlugin,get_pose_x1_from_camera|)4.脚本程序分析为工业增智 为教育赋能10.3 工业机器人视觉定位抓取应用（5）从插件中获得绑定的y1坐标，原数据单位为毫米pose_y1_from_camera=script_common_interface(PluginType.CameraPlugin,get_pose_y1_from_camera|)（6）从插件中获得绑定的angle1值，原数据单位是弧度还是角度angle1_from_camera=script_common_interf

34、ace(PluginType.CameraPlugin,get_angle1_from_camera|)（7）根据示教器修改参数，其中angle1_from_camera单位为角度camera_rz=rpy2quaternion(d2r(-179.99),d2r(0.0053),d2r(-89.99)+angle1_from_camera)（8）设置机械臂运动准备点的高，单位为米，根据实际需要更改local prepare_pose_z=0.5（9）设置机械臂运动目标点的高，单位为米，根据实际需要更改local catch_pose_z=0.45（10）存储准备位置的3个点信息local pr

35、epare_pose_table=（11）存储目标位置的3个点信息local catch_pose_table=4.脚本程序分析为工业增智 为教育赋能10.3 工业机器人视觉定位抓取应用（12）存储从相机获得的x1点table.insert(prepare_pose_table,pose_x1_from_camera)（13）存储从相机获得的y1点table.insert(prepare_pose_table,pose_y1_from_camera)（14）存储手动给的准备点table.insert(prepare_pose_table,prepare_pose_z)（15）存储从相机获得的x

36、1点table.insert(catch_pose_table,pose_x1_from_camera)（16）存储从相机获得的y1点table.insert(catch_pose_table,pose_y1_from_camera)（17）存储手动给的目标点table.insert(catch_pose_table,catch_pose_z)（18）关节运动到准备点，末端关节旋转单位为角度，使用4.2.0及以上版本move_joint(get_target_pose(prepare_pose_table,camera_rz,false,0.0,0.0,0.0,1.0,0.0,0.0,0.0)

37、,true)4.脚本程序分析为工业增智 为教育赋能10.3 工业机器人视觉定位抓取应用（19）根据需要修改和调用move_joint(get_target_pose(prepare_pose_table,camera_rz,false,0.0,0.0,0.0,1.0,0.0,0.0,0.0,CoordCalibrateMethod.zOzy,camera_user_waypoint1,camera_user_waypoint2,camera_user_waypoint3,0.0,0.0,0.0),true)（20）用户I/Oset_robot_io_status(RobotIOType.Rob

38、otBoardUserDO,U_DO_00,0)（21）工具端I/Oset_robot_io_status(RobotIOType.RobotToolDO,T_DI/O_00,0)4.脚本程序分析为工业增智 为教育赋能10.4工业机器人视觉分拣应用工业机器人视觉应用为工业增智 为教育赋能10.4 工业机器人视觉分拣应用我们将以实训平台SCARA机器人通过视觉系统进行分拣小球进行实训为工业增智 为教育赋能10.4 工业机器人视觉分拣应用打开九宫格菜单界面的“应用”选项，选择“通讯模块”界面对进行 TCPIP 通讯设置界面，如图所示：单击“通路选择”输入框，输入“1”，切换到通讯1通道进行如下设置

39、：服务器地址为：192.168.2.55端口：6000超时时间：1200通路名：camera首字符：0尾字符：01.机器人通信模块设置为工业增智 为教育赋能10.4 工业机器人视觉分拣应用单击进入“字符串变量”选项卡，将STR1字符变量设置为camer（必须与通讯设置里通路名一致）。1.机器人通信模块设置为工业增智 为教育赋能10.4 工业机器人视觉分拣应用（1）打开Visionmaster，选择“新建方案”，点击“系统”，“通讯方案”进行网络通讯设置。（2）单击“+”添加设备，选择协议类型为“TCP服务端”，服务器端口号设置为6000，IP地址设置为192.168.2.55。（3）单击“创建

40、”完成设备创建，并打开服务器开关。2.视觉相机通讯模块设置为工业增智 为教育赋能10.4 工业机器人视觉分拣应用加载相机分拣流程“ball”，如图所示。3.打开视觉相机流程建立为工业增智 为教育赋能10.4 工业机器人视觉分拣应用颜色抽取模块颜色抽取工具的颜色空间可以是RGB、HSV或HSI，根据需要抽取的各通道亮度设置各通道范围参数，从彩色图像中抽取指定颜色范围的像素部分并输出8位二值图像，抽取实际就是一个二值化的过程。颜色抽取效果如下图所示，输入一幅RGB格式图像，选择在RGB空间下三个通道抽取范围，对处理区域内图像进行处理，返回颜色抽取后的图像。三通道的参数代表着彩色图像三通道的灰度值，

41、范围是0255。颜色空间：可设置RGB、HSV或HSI。通道上限和通道下限：可设置3个通道颜色抽取的范围。3.打开视觉相机流程建立为工业增智 为教育赋能10.4 工业机器人视觉分拣应用（1）打开机器人主菜单界面，但击“变量”选项，进入变量设定界面。（2）单击“整数型”变量，对“I03”变量值进行设置，变量含义由视觉流程“分支字符”中参数决定，1代表红色，2代表蓝色，3代表黄色，4代表绿色。设置如图所示。4.分拣颜色参数设定为工业增智 为教育赋能10.4 工业机器人视觉分拣应用（1）钥匙开关旋转到“示教模式”，加载程序“ball”主程序。（2）钥匙开关旋转到“自动模式”，按使能按键上机器人使能，按程序启动按钮，启动程序。（3）机器人将通过视觉引导，在小球平台对指定颜色小球进行自动挑选并摆放。5.机器人程序运行为工业增智 为教育赋能10.5思考与练习工业机器人码垛应用为工业增智 为教育赋能10.5 思考与练习10.1 简述视觉系统的分类及组成。10.2 简述视觉系统与机械臂通信设置过程。10.3 简述视觉相机的标定分类及过程。10.4 练习视觉定位抓取应用实训步骤并了解其原理。10.5 练习视觉分拣应用实训步骤并了解其原理。为工业增智 为教育赋能为工业增智 为教育赋能感谢聆听