智能足球机器人系统智能中型足球机器人的软体结构课件.pptx
- 【下载声明】
1. 本站全部试题类文档,若标题没写含答案,则无答案;标题注明含答案的文档,主观题也可能无答案。请谨慎下单,一旦售出,不予退换。
2. 本站全部PPT文档均不含视频和音频,PPT中出现的音频或视频标识(或文字)仅表示流程,实际无音频或视频文件。请谨慎下单,一旦售出,不予退换。
3. 本页资料《智能足球机器人系统智能中型足球机器人的软体结构课件.pptx》由用户(ziliao2023)主动上传,其收益全归该用户。163文库仅提供信息存储空间,仅对该用户上传内容的表现方式做保护处理,对上传内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!
4. 请根据预览情况,自愿下载本文。本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
5. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007及以上版本和PDF阅读器,压缩文件请下载最新的WinRAR软件解压。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智能 足球 机器人 系统 中型 软体 结构 课件
- 资源描述:
-
1、 第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构目录2023-5-161 第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构10.1智能中型足球机器人视觉子系统2023-5-162智能中型足球机器人视觉系统的硬件配置1.全景视觉系统 在足球机器人的摄像机是最重要的传感器,它的重要性就相当于眼睛对于人。在Robocup中型组比赛中,机器人普遍采用全景视觉系统。它由一个摄像机和一个反射镜组成,见图10.1。反射镜装在机器人顶部,镜面向下,摄像机朝上正对着反射镜。摄像机得到的是带有畸变的俯视图,显示了机器人周围360度的情况。这和人不一样,因为人通
2、常不能看到身后,除非把头转过去。图10.2是这种配置的视觉系统获得的一张典型图像。可以看出它带有严重的畸变,图像中间的黑色区域代表机器人自身,黑色区域的中心代表了机器人的中心。第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构全景视觉系统例子2023-5-163某机器人的视觉系统的硬件配置一张典型的全景视觉系统拍摄的图片 第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构多摄像头的视觉系统2023-5-164全景视觉的目标识别有其缺陷,特别是对球的识别。根据RoboCup中型组的比赛规则,机器人的高度不能高于80cm,因此从全景镜中就不能识别到高
3、于80cm的物体。而在智能中型足球机器人比赛中常常会有挑起的球高于机器人的情况。有很多参赛队为解决这个问题,提出了一些方案。比如中国国防科技大学的猎豹机器人上装有两套视觉系统:一套全向视觉系统和一个廉价的网络摄像头加装广角镜头构成的前向视觉系统。荷兰Tech United队使用一个工业智能摄像机作为前向摄像机,主要实现球的辅助识别与定位作用。当球速达到10m/秒时,一个工作于25帧每秒(fps)的全景摄像机是不能完成这个识别任务的,他们使用的摄像机是高速的工业摄像机系统,可以工作在高达200fps。要处理200fps,640X480分辨率的实时图像,如果由PC机来完成,无论对于传输还是处理都是
4、极难实现的。荷兰队选用The Vision Components VC4458摄像机(最高 242 fps 640 x480 pixels),具有板载处理能力,所有的图像处理和识别都在智能摄像机内部完成,摄像机和主机通信的内容只有球的位置和球速。第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构全景镜曲线2023-5-165目前,具有全景视觉机器人中广泛使用的全景镜面主要是双曲线镜面,通过摄像机采集到的图像具有全景水平视角,使机器人能够获取全景图像。该类全景数学模型简单,但得到的图像存在严重的失真,尤其距离机器人远处的图像畸变很大,直接造成识别场上标志线或球等目标的困难
5、。通过使用组合全景镜面,可以克服现有全景镜面得到的图像失真严重的不足。组合全景镜面的第一段曲线保证了在一定距离范围内水平场地上的点和图像上的像素点具有指数函数关系;组合镜面第二段曲线是一段圆弧,保证了在距离较远处能够看到一定高度的物体。这种构造的镜面能够很大程度地减小图像失真的情况。第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构通过双曲线镜面获得的图像2023-5-166 第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构分段组合全景镜面曲线2023-5-167 第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构视觉系
6、统基本信息的提取2023-5-168 第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构视觉系统的坐标系2023-5-169在阐述视觉系统之前,首先定义系统使用的3个三个坐标系:图像坐标系,机器人坐标系,全局坐标系。这3个坐标系贯穿了整个视觉系统的始末。其中,机器人坐标系和全局坐标系,更是贯穿了机器人的整个软件系统(包括视觉系统,决策系统,通讯系统)。图像坐标系I(x,y):x和y 表示像素位。机器人坐标系L(x,y):这个坐标系建立在机器人的视角上。它的原点就是机器人中心。Y轴指向了机器人的正前方(见图10.10)。这个坐标系也称为实际坐标系。全局坐标系G(x,y):
7、这个坐标系用来表明机器人的位置。它的原点为球场的中心。(见图10.10)图10.9定义了图像坐标系,机器人就是图像中央的黑色区域,该区域的中心不一定是图像的正中心,但黑色区域的中心点C对应的是机器人的中心,这里称其为图像中心。原点在图像的左上角,图像中央黑色区域的中心是机器人的中心位置。第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构三个坐标系图示2023-5-1610图像坐标系原点在图像的左上角,图像中央黑色区域的中心是机器人的中心位置。机器人坐标系和全局坐标系 第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构距离函数和反距离函数2023-
8、5-1611全景视觉系统获得的图像通常带有不同程度的畸变,如图10.9,需要进行有效的校正。于是引出一个问题,例如,距离图像中心200个像素的点所对应(投影)的地面上的点与机器人的距离是多少(这里认为是地面上的一点,而不是一个具体的物体上的一点,因为物体具有高度,判断物体的位置是一个三维问题,单目视觉本质上只能解决二维问题,在本系统中计算物体的距离都是通过该物体与地面的接触点把问题简化成二维的)。在图像处理之前,必须得到一个重要的函数,这个函数的输入是图像上与图像中心的像素距离r,输出是机器人与这个像素对应实际位置的实际距离R,即 R=F(r)。这里把它称为距离函数,标定视觉系统的含义就是获得
9、距离函数,即把像素坐标转换成实际坐标。距离函数只对同一高度有效。有了它,才能实现测量物体与离机器人的距离,实现定位。距离函数使实现整个视觉系统成为可能。距离函数的获得方法可以是手动测量的,也可以是自动的。距离函数的反函数被称为反距离函数r。r=G(R);(10.18)G是F的反函数。该函数主要被用来计算处在场地的边界的像素位置,但需要机器人首先完成自定位。在绿色场地的自动标定和识别球的过程中,反距离函数有着极其重要的作用。第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构坐标转换2023-5-1612在高度为0的情况下,图像坐标系和机器人坐标系是可以互相转化的,转化的中
10、介就是距离函数以及反距离函数,假设图像坐标系中的一点(x,y),要计算它在地面上的投影的坐标(机器人坐标系下的坐标),图像中心的坐标为(xc,yc)。当从图像坐标系转化成机器人坐标系时,先通过距离函数计算实际距离,然后再计算角度,计算角度的公式取决于摄像机相对于机器人的装配方向。这样,得到了实际距离和实际角度就可以计算实际坐标,即机器人坐标系下的坐标。如果要从实际坐标转成图像坐标,就执行相反的过程。实际坐标和全局坐标的转化以自定位为中介。定位不成功将导致转化失去原有的意义。图像坐标不能直接和全局坐标相互转换,要以实际坐标为中介。第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的
11、软体结构无信息区的标定2023-5-1613无支撑柱的机器人的全景视觉系统得到的图像,它的全景镜通常是由透明材料制作成的筒状支撑架与摄像机联接装配,因此在生成图像时不会有和图像无关的支撑柱信息存在,得到的是一个完整的全景视觉图像。有支柱的机器人的全景视觉系统得到的图像,它的中央和四周存在黑色区域,不反应机器人四周的情况,如果在进行信息提取的时候,屏蔽这些区域,就可减少干扰和不必要的CPU负担。为了屏蔽这些无信息区,需要建立一张查找表,对于一个像素,通过该表可以查到此像素是否处在无信息区内,如果处在无信息区内,算法就跳过,不进行信息提取操作。第第1010章章 智能中型足球机器人的软体结构智能中型
12、足球机器人的软体结构无信息区图示2023-5-1614无支柱的全景视觉系统图像全景镜的三根支撑柱遮挡了“视线”,增加了无用区域自动无信息区标定结果 第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构颜色定义构建颜色查找表2023-5-1615在视觉系统工作之前先要对颜色进行定义,即什么是绿色(场地颜色),什么是黑色(机器人颜色),什么是橙红色(足球颜色)。定义方法可以分为两类,第一类使用阈值,例如对于颜色空间RGB,把R200,G100,B100同时成立的颜色定义为红色。第二类是建立颜色查找表,表中条目数等于可能出现的颜色值的数量(即RGB能够组成的所有组合的数量,对于
13、大多数的计算机为256256256),条目的内容是该颜色值对应的颜色(例如绿色)代码形式的表示,通过颜色查找表可以查出任何一个颜色值属于或者不属于某颜色。对比阈值法,使用颜色查找表对定义颜色得到的结果更加精细。第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构视觉标定2023-5-1616(a)相似颜色的扩散(b)把(a)中区域内的颜色定义为绿色的标定结果(c)标定完成后的结果 第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构色块提取与跟踪2023-5-1617定义颜色查找表后,就可确定某个像素否是绿色(场地颜色),但是这些绿色点只是一个一个像
14、素,程序并没把它们连接成区域。区域是由相似颜色组成的色块。表示区域最精确的办法是获得它的轮廓。获得这些轮廓通常要耗费较大的CPU资源,如扩散算法。在某些场合下,不需要获得精确的轮廓,但是需要更高的速度,应用在这种场合下的算法的一个典型代表是CMU的算法,该方法得到的是框定一个区域的最小矩形,并且这个矩形是不允许旋转的,轮廓的信息被丢弃。这里介绍一种基于Region Tracker精确的区域轮廓获得方法,该方法由Felix von Hundelshausen开发并首先使用在足球机器人上。它不但能得到精确的边界,而且非常迅速。因为视觉系统得到的是连续图像,任意前后两帧图像都是很接近的,所以除了在初
15、始时需要色块提取外,在大多时间内可以把问题归结于跟踪,跟踪通常是比较省时的。第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构Region Tracker算法2023-5-1618Region Tracker算法的基础是扩散算法。扩散算法需要一个或者一批符合某种要求(如颜色)的种子点,一张和图像大小相同的布尔变量表来标记图像中的所有像素点是否已经包含在所提取的区域内,这张表某个位置上为“否”,表示该位置对应的像素点不在区域内,“是”表示在区域内,初始化时,表中对应种子所在位置的布尔变量置为是,其他都为否,表示只有种子在区域内,通过扩散,将把一些符合要求的点标记为在区域内
16、。扩散算法从种子向邻近点(上下左右的紧邻着的像素)扩散,判断是否应该扩散某个紧邻的像素点需要两个条件,第一:颜色值属于要求的颜色,二:被标记为在当前提取的区域之外。这两个条件符合时,把该像素标记为处于正在当前提取的区域内,并且作为进一步扩散的“根据地”,进一步向外扩散。当算法扩散到不可扩散时,轮廓就形成了。用一个数组来记录轮廓上的点,以及一张包含他们之间连接信息的表。由于两幅连续的图片中色块变化不大,如图10.16中的区域A和区域B,区域A表示前一帧的某个色块(物体),区域B表示紧接着的后一帧的同一色块。这两个色块常常有一大片交集,在Region Tracker中交集就是可以大加利用的对象。第
17、第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构对绿色场地实行色块提取的结果,蓝色线条为绿色区域的轮廓。2023-5-1619 第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构候选种子2023-5-1620 第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构场地白线的识别2023-5-1621场地上白色标线是机器人实现自定位的前提条件,在场地轮廓的基础上,很容易得到白线点。对于轮廓上任何一点,可以求得通过这点且垂直于轮廓的法线,在法线上往往存在着白线点。白线的特点是具有很高的亮度,并且白线两边通常是绿色(场地)。算法首先
18、以场地轮廓为起点,沿法线收缩亮度高的像素点,找到以后再以这个高亮度点为中心,沿法线搜寻两边是否是绿色,即先搜寻白色,如果收缩到白线点则搜寻两边的绿色,这两次搜寻都是在一个小范围内进行的,保证了离轮廓点比较近。检测白线的结果如图10.19,图中展示的是检测白线的原理,以亮度高的点为起点,法线方向为搜寻方向,去验证两边是否为绿色,如果都是绿色则认为是白线点。图中检测线中点标记过白点的是算法认为的白线点,没有标记白点的检测线系统认为该中点不是白线点。可以看到有些线是白线,但系统没有认为它们是白线,球中有一点却被标记为白线了,因为符合检测原则,中间亮度高,两边是绿色。第第1010章章 智能中型足球机器
19、人的软体结构智能中型足球机器人的软体结构检测白线2023-5-1622 第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构2023-5-1623射线检测白线点 第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构类球点和类障碍点的提取2023-5-1624对球的颜色使用阈值法定义,使用颜色亮度分离的HSV颜色空间,该空间对调整阈值比较有利。不需要把球的颜色包括得很全面,这些类球点的作用只是指明了这个位置可能有球,具体是否是球需要做精细的判断,所以即使阈值的范围比较小是不影响识别球的,而如果把阈值的范围比较大会增加干扰,使得算法必须在更多位置进行精细
20、的判断。检测类球点使用类似于白线点检测的方法,只不过这次只要在场地轮廓为起点的法线上存在符合阈值定义的点以后就认为是类球点,法线不能过长,以保证在场地绿色轮廓附近。类球点的检测结果见图10.21,正红色为检测到的类球点。提取类障碍点的目的是产生种子,为Region Tracker识别障碍物服务。障碍的亮度很低,因为规则规定它为黑色,所以系统就以亮度为判别标准。亮度低的为类球点。其检测过程和检测类球点一致。第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构目标检测与识别2023-5-1625前面详细介绍了图像信息的提取,其中包括白线点提取、类障碍物点提取、类球点提取,其中
21、白线点提取是为机器人自定位服务,类障碍物点与类球点提取是为识别障碍物和识别球服务。识别障碍物和球都属于机器视觉检测中的目标检测与识别。1)障碍物的识别在球场上,机器人的周围有各种障碍物,如队友机器人,对方机器人,甚至人类裁判等,并且这些障碍物的位置常常是不断变化的。机器人在场上移动,首要的原则是不能与这些障碍物发生碰撞,更高的要求是能在这样一个动态的障碍环境中找到一个最优的路径到达目标地点,甚至能够在带球的情况下绕过障碍物,完成带球突破这一技术目标。完成这些任务的最基本的前提是有一种有效的稳定的实时的障碍物识别方法。常用的障碍物识别方法视传感器的种类而异,这里只介绍基于图像传感器,即摄像头的识
22、别方法。系统使用Region Tracker作为识别障碍物的主要工具。把类球点作为种子,用Region Tracker 获得黑色色块的边界,区域面积的就不能认作障碍。识别效果见图10.22,红白点标记了障碍和地面的接触点,该点决定了障碍物离机器人的距离,两条红线标出了障碍所占据的角度,这在机器人的避障和射门中十分有用。避障要求机器人的行动方向不能在这个角度内,射门要求机器人的瞄准方向不能在这个角度内。图中显示的是穿黑色衣服的研究人员。除了这个区域的黑色以外,还有很多其他的黑色,因为他们处于无信息区,或者在场地以外,算法就不去考虑这些场外信息了。图中还有两个小区域被蓝色包围,但是他们没有红白标记
23、,因为它们面积过小,算法不认为这是障碍。这两块黑色区域原本属于一个大的黑色块,但是Region Tracker没有把这块大色块标记进去,因为他们在场地以外,系统对Region Tracker使用一个特殊的限制,如果要扩散到场外,算法就限制住它。辨别物体是否在场外,需要自定位技术,和全局坐标映射到图像坐标的方法。第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构国防科技大学开发的基于射线扫描方式提取黑色障碍物的算法2023-5-1626 第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构识别障碍物2023-5-1627 第第1010章章 智能中型足
24、球机器人的软体结构智能中型足球机器人的软体结构球识别2023-5-1628(1)橘红色球识别同自定位一样,检测球也是从提取轮廓开始。首先用Region Tracker提取图像轮廓,再搜索非场地的区域中的类球点。对于特定颜色球的识别,类球点比较容易获取。颜色就是球的特征,这里定义一个颜色空间的区间,如对于HSV颜色空间,不妨取5H35且180S230的颜色像素点为类球点。如果某一个区域中的类球点占整个区域的像素点的总数的比例超过预先定义的阈值,则再将这些点聚合在一起,放在一个矩形检测框内。在该框内将图像二值化,对这些点群提取边线,再用椭圆去拟合边界来判断是否是球。对球的判断的准确性有一个指标,称
25、为相似度,相似度可以由三个权重来度量:近似椭圆的程度,类球点数与所在轮廓的所有点数之比,检测轮廓的尺寸相近程度。第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构类似于双目摄像头的多摄像头的数据融合得到的空间点云数据,反应球在三维空间中的位置2023-5-1629 第第1010章章 智能中型足球机器人的软体结构智能中型足球机器人的软体结构任意颜色球识别2023-5-1630依靠颜色来识别球就意味着需要对颜色进行分类,定义某些颜色为球的颜色,通常使用阈值颜色分类,或者通过颜色查找表确定颜色的分类。但是这些做法非常依赖于光线的变化,极不稳定。如果换一个新的足球,即使光照不变
展开阅读全文