机器人感觉技术(修改)课件.ppt

1、 第五章第五章 机器人传感技术机器人传感技术 Chapter Sensor technologyChapter Sensor technology5.1 感觉装置分类及技术内容感觉装置分类及技术内容5.2 内部传感器内部传感器5.3 外部传感器外部传感器5.4 多传感器信息融合技术多传感器信息融合技术2022-8-13自动化系1 最初的工业机器人没有外界感知能力，只能按照预先给定的程最初的工业机器人没有外界感知能力，只能按照预先给定的程序重复工作，因此不能适应作业对象和环境的变化，功能有限。如序重复工作，因此不能适应作业对象和环境的变化，功能有限。如果给机器人配置上先进的传感器装置，赋予它对作

2、业对象和环境的果给机器人配置上先进的传感器装置，赋予它对作业对象和环境的检测和判断，则机器人就能适应变化的情况，灵活的改变动作程序，检测和判断，则机器人就能适应变化的情况，灵活的改变动作程序，完成各项作业。完成各项作业。机器人的先进程度，在相当大的程度上取决于传感技术的水平。机器人的先进程度，在相当大的程度上取决于传感技术的水平。引言引言(Introduction)2022-8-13自动化系2 分类：分类：机器人工作时，需要检测自身状态和作业对象、机器人工作时，需要检测自身状态和作业对象、环境的状态。根据机器人检测自身状态环境的状态。根据机器人检测自身状态(如臂、腕、手如臂、腕、手的位置、速度

3、等的位置、速度等)还是检测作业对象与作业环境的状态还是检测作业对象与作业环境的状态分为：分为：内部信息传感器内部信息传感器检测自身状态的传感器（位置、检测自身状态的传感器（位置、速度、加速度、力觉传感器等）。速度、加速度、力觉传感器等）。外部信息传感器外部信息传感器 检测作业对象和作业环境的传检测作业对象和作业环境的传感器（触觉、接近觉、视觉及听觉传感器等感器（触觉、接近觉、视觉及听觉传感器等 ）。）。5.1 5.1 感觉装置分类及技术内容感觉装置分类及技术内容 2022-8-13自动化系3感觉 用途 外部传感器视觉有无对象，对象形状、大小种类的识别；指令的识别等；触觉对象重量、表面状态的识别

4、；位置偏差控制，握力的控制听觉指令的识别；异常状态的检测，障碍物的检测；温度、振荡等各种检查，自我保护；内部传感器平衡感觉机器人自身的平衡；其它（位置、速度、加速度、转矩）运动器官的控制，自我保护等；2022-8-13自动化系4感觉过程分为二个阶段：第一阶段将物体内外有关的物理特征(如机械、光学)变成电信息；第二阶段将信息加工处理变成有用的信息。n（1）初步处理如滤波、平滑、数据分组等；n（2）分析初步处理过的信息，如视觉及听觉系统处理与识别。2022-8-13自动化系5 5.2.1 光电编码器位置传感器 编码器的概念？编码器的概念？n将机械转动的模拟量转换成旋转角切割的数字电信号后，进行角位

5、移检测的传感器称为编码器。种类大体有几种？种类大体有几种？n根据检测原理，有电磁式、电刷式、电磁感应式以及光电式。光电式的特点？光电式的特点？n非接触、体积小、分辨率高，因此应用最广。5.2 5.2 内部传感器内部传感器 2022-8-13自动化系6 码盘上有许多透光槽，码盘旋转时，利用置于盘两侧的发光器与受光器取出信息。根据检测角度位置的方式分为绝对式和增量式编码器。光电编码器的结构光电编码器的结构2022-8-13自动化系7 结构结构码盘上刻有若干圈不连续、不透明的同心圆弧道。测量的分辨率取决于圆弧道n的多少。采用2进制编码，共有数值 N2n个。假设道数n4，则数值N16个。分辨率是 36

6、0/16度。1.1.绝对式光电编码器绝对式光电编码器 绝对值光电编码器结构2022-8-13自动化系82进制码的缺陷由于码盘打孔的误差，每一位的变化不可能完全同步，另外，在前后两位置的读数之间存在过渡状态，如在这段转换时间内读取数，就可能产生很大的误差。0111 0000 10002022-8-13自动化系92进制码和格林码1010进制（进制（H H）2 2进制码（进制码（B B）格林码（格林码（G G）0 01 12 23 34 45 56 67 78 89 90 0 0 00 0 0 00 0 0 10 0 0 10 0 1 00 0 1 00 0 1 10 0 1 10 1 0 00 1

7、 0 00 1 0 10 1 0 10 1 1 00 1 1 00 1 1 10 1 1 11 0 0 01 0 0 01 0 0 11 0 0 10 0 0 00 0 0 00 0 0 10 0 0 10 0 1 10 0 1 10 0 1 00 0 1 00 1 1 00 1 1 00 1 1 10 1 1 10 1 0 10 1 0 10 1 0 00 1 0 01 1 0 01 1 0 01 1 0 11 1 0 12022-8-13自动化系102进制码和格林码 采用格林码编码计数时在任何相邻的2个数值之间，只有一个数位不同，可靠性更高。2022-8-13自动化系112.2.增量式光电

8、编码器增量式光电编码器 结构结构只有外层圆弧道上有透光缝隙(圆光栅)，缝隙的尺寸和间距相同，在圈道外有一个作参考点的缝隙。圆弧道上缝隙数N越多，分辨率越高。编码器分辨率为360/N。2022-8-13自动化系12 这种编码器安装三对发光器和受光器。其中两对对准缝隙道，相距半个缝隙宽度，用以判定旋转方向。旋转方向的判别2022-8-13自动化系13两者比较 绝对位置编码器只能测位置，无需方向辨别电路，计算机处理简单，但加工难、安装要求严格、体积大、价格高。增量式编码器既能测位置量也能测速度量，体积小，加工及安装较容易，价格低，但需要方向辨别电路，计算机处理较复杂。2022-8-13自动化系14

9、速度传感器用于测量机器人关节的运动速度。其种类很多，应用最广泛，实时性较好的是测速发电机。测速机是最常用的模拟式速度测量传感器，它是一种小型永磁式直流发电机，与驱动电动机同轴连接来测量驱动电动机的瞬时速度。5.2.2 测速发电机速度传感器2022-8-13自动化系155.3.1 触觉技术 何谓机器人触觉传感器？1980年，L.Harman等人认为机器人触觉传感器应具备如下特征：1、空间分辨率为12mm。2、阵列尺寸是每个指尖有5101020个敏感点。3、力敏元件的阈值灵敏度约0.510G 4、取样频率100Hz1kHz 概括的说，传感器结实、价廉，类似皮肤。5.3 5.3 外部传感器外部传感器

10、 2022-8-13自动化系16触觉分类 一般认为机器人的触觉包括接触觉、压觉、滑动觉、力觉和接近觉。接触觉用于感觉手指与物体是否接触；压觉用于感觉手与物体表面垂直方向的压力大小及分布；滑动觉用于感受沿机器人与物体接触平行方向受的切向力同握面垂直方向的变形、物体移位；力觉用于感受夹持力、腕力等；接近觉用于探测机器人与物体的接近距离及物体的倾斜等。2022-8-13自动化系17触觉传感器作用 第一，判断操作动作是否适宜，如感知手指同对象物之间的作用力，便可判断动作是否适当。第二，识别操作对象的属性，如大小、重量、硬度等。第三，用于安全保护方面，躲避障碍物等以防止事故，相当于人的痛觉作用。2022

11、-8-13自动化系185.3.1.1 接触觉 机器人在探测是否接触到物体时有时用开关传感器，传感器接受由接触产生的柔量(位移等的响应)。机械式的接触觉传感器有微动开关、限位开关及猫胡须传感器等。微动开关是按下开关就能进入电信号的简单机构，缺点：需要较大作用力，响应时间长，无法感知微弱力。2022-8-13自动化系19猫胡须传感器，其控制杆是用猫胡须一样的柔软物质作成的。它是一种即使轻轻碰一下也能动作的开关。下图是机器人脚下安装的多个猫胡须传感器，依据接通的传感器个数可以检测脚登在台阶上的不同程度。2022-8-13自动化系20压敏电阻阵列接触觉传感器：由20个直径3mm的圆柱形含碳海绵单元组成

12、，接触压力使单元电极的电阻改变，达到一定值时，便由电路输出“0”或“l”信号。该传感器由单元组成45阵列，配有阵列扫描电路。计算机通过扫描控制信号，依次将各点信息取走进行检测。压电电阻阵列接触觉传感器 阵列扫描电路 2022-8-13自动化系215.3.1.2 压觉机器人的压觉传感器就是装于手爪面上，可以在把持物体时检测到物体同手爪间产生的压力以及其分布情况的传感器。压电元件是指某种物质上如施加压力就会产生电信号。2022-8-13自动化系22 压电现象的机理是在显示压电效果的物质上施力时，由于物质被压缩而产生极化(与压缩量成比例)，如在两端接上外部电路，电流就会流过，所以通过计测这个电流的大

13、小就可构成压力传感器。2022-8-13自动化系23如果把多个压电元件和弹簧排列成平面状，就可识别各处压力的大小以及压力的分布。由于压力分布可表示物体的形状，所以也可作为物体识别传感器。通过高密度地配置压觉传感器，把与物体接触时各点不同的压力，变成物体的形状信息。2022-8-13自动化系24下图为称作人工皮肤的阵列式压觉传感器。由导电橡胶两面夹以电极构成。（P59页）2022-8-13自动化系25经过视觉显示系统的处理能获得人的脚底和剪刀等的图像。比如，把手放在一种压电元件的感压导电橡胶板上，通过识别手的形状来鉴别人的系统，也是压觉传感器的一种应用。2022-8-13自动化系265.3.1.

14、3 滑动觉 滑动觉滑动觉是检测垂直加压方向的力和位移的传感器。如下图，用手爪抓取处于水平位置的物体时，手爪对物体施加水平压力，垂直方向作用的重力会克服这个压力使物体下滑。2022-8-13自动化系27在机器人的手的握持面上装有转轮，由于对象物的相对位移使转轮转动而测出滑动。在圆板两旁分别设置发光二极管和光电晶体管。通过测出的脉冲数便可感知滑动的大小。下图为东京工业大学研制的光电式滑动觉传感器 带传感器的手部 传感器构造 2022-8-13自动化系285.3.1.4力觉 力觉传感器分用于夹紧和传送工件时的夹持力传感器和用于装配时的腕力传感器。2022-8-13自动化系29夹持力传感器（悬梁式弹性

15、元件）夹持力传感器对夹持力加以控制。夹持力过大会使物体损坏或传感器过载；夹持力过小，零件又会滑动。4个应变片分别安装宽而薄的梁的上表面和下表面。设有一个夹持力F作用于指头上的G点，而G点距应变片组A和B的距离分别是 和 ,可用二个测量电桥及应变仪分别测得力。ALBL2022-8-13自动化系30BBAALFMLFM2022-8-13自动化系31腕力传感器 用于装配作业机器人，大多用于轴孔插入的测力定心系统。传感器测得轴在插入孔时的力信息，反馈至计算机控制系统，控制插轴的后续补偿运动，以完成装配作业。由一个弹性（或挠性）组件和以挠曲应变来测力（力矩）的传感器构成。可测三个分力矩。2022-8-1

16、3自动化系32电阻应变片力觉传感器主要使用的元件是电阻应变片。电阻应变片是一种能将被测试件上的应变变化转化成电阻变化的敏感元件。机理：利用金属丝拉伸时电阻变大的现象，它被贴在加力的方向上。电阻应变片用导线接到外部电路上可测定输出电压，算出电阻值的变化。2022-8-13自动化系33电阻应变片的结构由电阻丝、保护片、基底、引线等组成。2022-8-13自动化系34金属应变片电桥电路电阻应变片用于力学测量时，需要和电桥电路一起使用。2022-8-13自动化系35 在不加力的状态下，电桥上的四个电阻是同样的电阻值R：假若向左右拉伸，电阻应变片的电阻增加R。这时电路上各部分的电流和电压如图所示它们之间

17、存在下面的关系电阻值的变化可由下式算出，如果事先求出力和电阻值的变化关系就可以计测出力。221121,)(,2)R2(RIVIRRVRIIRVVVRR42022-8-13自动化系36 因为上面所说的电阻应变片测定的是一个轴方向的力，所以在力加在任意方向时、最好是三个轴方向分别贴上电阻应变片。2022-8-13自动化系375.3.1.5 接近觉 接近觉感知对象接近的情况，作用体现在3个方面：1、在接触到对象前获取信息，为后续动作先作准备；2、发现故障物，规定行程范围，以免碰撞；3、得到关于对象表面形状的信息。2022-8-13自动化系38接近觉传感器种类接近觉传感器有光电式、磁力式、超声波式、电

18、容式等。目前常用的有磁力式和超声波式，前者测距近，后者测距较远。2022-8-13自动化系39(1)磁力式 由激磁线圈C0和检测线圈C1,C2组成。C1,C2圈数一样，连接成差动式。未接近物体时，输出相互抵消。当接近对象(金属)时，由于金属产生涡流使磁通变化，检出线圈的输出改变。只能用于金属材料。2022-8-13自动化系40电磁式接近觉传感器用接近觉的焊接位置示教与检测2022-8-13自动化系41(2)超声波式 超声波式传感器适于较长距离和较大物体的探测，应用较广。结构由压电晶体及两边的金属夹板构成。机理n发送在两电极金属板上施加频率等于晶体自然振动频率的电脉冲，晶体就会共振，然后经金属板

19、膜产生超声波。n接收当接收的声频串和晶体的自然频率一样时，接收器金属板会产生最大的电压信号，即回波电压。可通过测定发出超声波脉冲的时刻到接收到回波电压的时间间隔，算出物体同机器人的距离。注：压电晶体可用作发送器，也可用作接收器。2022-8-13自动化系42 超声波式接近觉传感器超声波测厚原理2022-8-13自动化系435.3.1.6 多种触觉的配合应用 把上述五种触觉传感器装在机器人手指上，用来判断工作中的各种状况：n接近觉探知对象物体在附近，使手臂运动减速接近它；n接触觉感知接触到物体，从它的状况控制手臂让物体到手指中间；n而合上手指握住物体，靠压觉控制握力；n若物体过重，靠滑觉来检测滑

20、动。修正握力来防滑；n靠力觉控制被测出物体自重和转矩相应的力，举起或移动这物体。2022-8-13自动化系442022-8-13自动化系455.3.2 听觉技术 5.3.2.1 概述 机器人的听觉系统由话筒、语音分析器、处理计算机、机器人及接口电路构成。机器人的听觉系统组成2022-8-13自动化系46 语音分析 n将声波分解为频谱，取出短时段（1020ms）内声波所包含的频率成分，将从频谱的包络特性取得的参数作为特征提取出来，如“信号幅度或能量特征”、“过零率特征”等。语音识别技术机器人听觉系统工作原理2022-8-13自动化系47组成特征矩阵n语音的每个短时段有一组特征，称为一个特征向量，

21、而一个语音就有一组特征向量，其经过规整处理后形成一个特征矩阵。声音的识别n将事先指定人的每一个语音特征矩阵存储起来，形成一个标准模式。n系统工作时，将接收到的语音信号用同样的办法求出它们的特征矩阵，再与各标准模式相比较，如果差距小于某个规定值，就认为是该样板的语音含义。2022-8-13自动化系48 HERO1机器人听觉系统硬件包括话筒(声电传感器)、语音分析器、计算机和机器人。核心部件是语音分析器，其由音频放大及高频提升电路、增益控制电路、带通滤波器组、多路切换器、AD变换器及接口电路组成。一个一个例子（例子（HERO1机器人听觉系统）5.3.2.2 硬件语音分析器2022-8-13自动化系

22、49语音分析器的设计根据 n语音的基本性能：(1)语音分析的频率范围 w实验表明汉语声功率的90集中在100Hz到5kHz段。高频段采样频率高，处理复杂，要求计算机容量和速度，故须设计分频器。(2)声音传播的指向性 w实验表明声音中的频率成分小于5kHz时，其声压值和传送的距离平方成反比，并有指向性，在发音方向的背面，高频分量随传送距离急剧下降，因此要设置高频提升电路。(3)声功率值范围 w耳语声功率值仅 ，交谈时约1030 ，大声时约100 ，相差很大。为了能解决说话声强弱的影响，采用自动增益放大器。语音分析器的设计 uW310uWuW2022-8-13自动化系50听觉系统工作原理n建立样板

23、人的声音经话筒转换成毫伏级电信号，经音频放大后输入自动增益放大器放大。经带通滤波器分频后经AD变换成能为计算机处理的数字信号，计算机提取特征建立标准特征矩阵，存入内存。n语音辨识应用时，使用者再通过话筒讲话，经同样的转换处理后形成新的特征矩阵，并与已有的各标准矩阵比较进行识别，然后发出控制信号给机器人，机器人对所来信号经判断后执行相应的工作。2022-8-13自动化系515.3.2.3处理方法 1、语音特征的提取 一个短语或一句话被分成若干时间段，从每一时间段（1020ms）提取话音特征。听觉系统采用幅度和过零率作为特征。n幅度特征在短时间段内的平均声音强度，在电路中用平均电压幅度来代替。n过

24、零率特征在短时间段里的话音通过零点的次数，它大致反映了信号在短时间段里的平均频率。短时过零率示意图2022-8-13自动化系52 短时平均幅度特征短时平均过零特征mjjjiXiXZ)1(sgn)(sgn通道号2,1,0)(11jiXmEmijj2022-8-13自动化系53 )()()()1(sgn01)(sgniXiXiXiXiXjjjjj当当当每一短时段处理后得一组特征 ，称特征向量。),(jjZE2022-8-13自动化系54 语音输入完毕，经处理得到语谱特征矩阵：其中n是整个语音输入时间的分段数，和说话时间的长短有关。njnjnnnnjjjjZEZEZEZEZEZEZEZEZEA110

25、0222121202011111110102022-8-13自动化系552、时间规整 n问题：对于同一个语音命令，说话者不可能前后几次所用时间完全相同，语音时间段数n不同。但是语音识别要求以同样的组数进行比较。n方法：沿时间轴压缩，进行时间规整。一般取16组以上。按时间轴分块，对应求和平均，然后获得新的矩阵。其中P是时间归整段数，与说话时间长短无关。pjpjppppjjjjZEZEZEZEZEZEZEZEZEB1100222121202011111110102022-8-13自动化系563、能量规整 n问题：对同一语音命令的几次发音，受感情及话筒位置的影响，矩阵中的能量幅值差别可能较大。n方法

26、：将最大值元素的值放大到储存字节的满码FFH(255)，其它能量元素也按此比例放大，这样就便于比较了。同时，为了不影响过零率，要将过零率按比率放大。2022-8-13自动化系57经能量规整和过零率放大后的矩阵为 矩阵C就是语音命令的特征矩阵。这样尽管几次发音的时间长度、声音强度有差异，但经过时间规整、能量规整最后得到的特征矩阵C的各对应元素却几乎一样。PjPjPPPjjjjZEZEZEZEZEZEZEZEZEC11200222121202011111110102022-8-13自动化系585.3.2.4识别方法 语音识别的方法有模板匹配法、统计决策法及句法方法等。本系统采用模板匹配法，即邻近识

27、别法。先建立语音标准样板，再把处理后的语音样板与其比较，即求差识别。2022-8-13自动化系591、建立标准样板 让计算机识别语音，须先学习，获得要识别的语音特征矩阵样板、并存入计算机的内存去。采用复合训练，即将同一命令的几次训练样板加以平均。本系统采用n3时效果较好 nFFFSnn/)(212022-8-13自动化系602、求差识别 语音识别是通过待识别语音样板与存储器中的训练样板比较而完成的。把语谱特征矩阵C与各训练的特征矩阵对应元素求差，再将各对应元素的差值计算成供识别用的“差距”。方法有：1、欧式距离2、平方和距离 3、绝对值距离2222211)()()(nnkkkXXXXXXX22

28、222112)()()(nnkkkXXXXXXXnnkkkXXXXXXX22112022-8-13自动化系61 本系统采用绝对值距离法，二者的“距离”为样板号3,2,111kCCpijjijkijk 求出待识别语音与各样板的距离后，取最小距离 ，当 识别门限时，就认为 对应的语音样板为识别结果。门限由现场调试决定。min2minmin2022-8-13自动化系62语音识别控制流程 在使用之前先进行训练，输入语音样板；在语音识别时，把语音特征矩阵与样板矩阵求差比较，从而识别。控制机器人工作。2022-8-13自动化系635.3.3 视觉技术（机器视觉）定义 采用摄像机模拟人眼，计算机模拟大脑处理

29、信息的方法，再与机器人连接起来，组成机器视觉系统。系统要求 实时性、可靠性、适应性、价廉性。5.3.3.1 概述 2022-8-13自动化系64工业机器人视觉系统根据用途可分三类：n用于图像识别 以判断操作对象、认识操作环境。n用于定位 如根据电弧焊时的坡口位置控制焊枪定位、检查零部件的位置和姿态等。n用于检查 如检查印刷电路板及掩膜图上的损伤及缺陷等。2022-8-13自动化系655.3.3.2 机器人视觉系统工作原理与组成 1、工作原理 n机器人视觉系统工作原理如下图所示。2022-8-13自动化系66步骤摄像机摄取外界景物的图像，经模拟数字转换器(AD)把获取的信号数字化送入计算机，变成

30、数字图像。对数字图像进行预处理。包括对比度增强处理、锐化(增强轮廓)处理、平滑(消除噪声)处理等。2022-8-13自动化系67提取数字图像所代表的物体特征。n在识别之前，需要把各待识别物体样品逐个放在摄像机前，让摄像机从不同的角度观察样品的形状，其能自行提取它的特征并存贮起来，这一过程称“示教训练”，以获取样板。n识别时，视觉系统提取对象物的特征，然后与事先存贮在计算机内各样品的形状特征即样板比较，就能找出对象物是哪一物体了。通过计算机接口向外输出控制信号，指导机器人完成响应动作。2022-8-13自动化系68 由视觉传感器、图像输入采集卡、图像处理机、图像存贮和图像输出部分组成。2、视觉系

31、统的硬件组成 视觉系统的硬件组成 2022-8-13自动化系69(1)视觉传感器 将物景的光信号转换成电信号的装置。是获取图像的关键部件。摄像机、数码相机、扫描仪等都称为视觉传感器。以前使用光导摄像真空管，现在采用CCD（光电耦合器件）和CMOS（互补式金属氧化物半导体）摄像机。特点：针对运动物体，电子快门、外触发的扫描再启动、逐行扫描，通过串行总线对摄像机进行远距离控制和调节功能而开发。2022-8-13自动化系70(2)图像输入 w由视觉传感器得到的电信号，经A/D变换器变成数字量的图像称为数字图像。w一个图像画面可分：为256256、512512或10241024个像素。像素的灰度可以用

32、4位或8位二进制数素表示。w要求高的场合可通过彩色摄像系统。图像输入的物理硬件称为图像采集卡。2022-8-13自动化系71(3)图像处理 图像处理是对获得的图像信息进行处理，以滤去干扰、噪声、并作几何、彩色方面的校正。处理的目的是改善图像质量，以利于图像识别。其硬件类型包括：n专用图像处理器：速度快、功能单一、开发性较差。n数字信号处理器（DSP）：速度快，可开发。n个人计算机：速度较慢，易于开发。2022-8-13自动化系72(4)图像存贮和输出 n把表示图像各个像素的信息送到存贮器中存贮，以备调用。一幅简单的黑白图像，取象素256256，有65.536K字节；真正的图像处理，常用l024

33、1024 象素，信息量达1M字节。n图像输出装置大致分二类。一类是要求瞬时知道处理结果，以及用计算机对话形式进行处理的显示终端，称软拷贝。另一类是用于长时间保存结果，称硬拷贝，如宽行打印机、绘图机等。2022-8-13自动化系73 5.4.1 信息融合技术的产生和发展 融合的概念始于70年代末，当时称之为多源相关、多传感器混合和数据融合。它诞生伊始，就受到各国政府和军方的高度重视，将其列为军事高技术研究和发展领域的一个重要专题，并首先将其成功应用于军事的C3I系统。多传感器信息融合技术从80年代末期开始由零星的分散研究转变为一个独立的研究领域。近年来，随着其应用范围的不断扩大，该项技术的发展得

34、到越来越多国家的重视。美、英、日等国已开发出一些实用的系统，某些军事方面的研究成果在91年的海湾战争中得到实战验证。5.4 5.4 多传感器信息融合技术多传感器信息融合技术2022-8-13自动化系741 概念：概念：多传感器信息融合MSIF(multi-sensor information fusion)就是把多个相同类型或不同类型的传感器所提供的局部观察量加以综合，消除信息之间的冗余和矛盾，利用信息互补，形成对环境的相对完整一致的感知描述，从而提高智能系统决策的快速性和正确性，以及规划的科学性。它避免了单一传感器的局限性，可以获取更多信息，得出更为准确、可靠的结论。信息融合技术涉及到数学、

35、军事科学、计算机科学、自动控制理论、人工智能、通信技术、管理科学等多种学科的交义和具体运用，它充分利用了多源数据的互补性和电子计算机的高速运算性能，有效地提高了信息处理的质量。5.4.2 多传感器信息融合基本知识2022-8-13自动化系75 2 基本原理：基本原理：实际上是对人脑综合处理复杂问题的一种功能模拟，与人脑综合处理信息的过程一样，多传感器信息融合协调利用多个传感器资源，通过对各种传感器及其观测信息的合理支配与使用，将各种传感器在空间和时间上的互补与冗余信息依据某种优化准则加以组合，产生对观测环境的一致性解释和描述。目标:利用各传感器分离观测的信息，对数据进行多级别、多方位、多层次的

36、处理，产生新的有意义的信息。这种信息是最佳协同作用的结果，是任何单一传感器无法获得的。最终目的是利用多个传感器共同或联合操作的优势，来提高整个传感器系统的有效性。冗余信息传感器1传感器2互补信息图多传感器信息融合示意图2022-8-13自动化系76 3 信息融合的结构模型信息融合的结构模型:（1）信息融合的层次结构模型）信息融合的层次结构模型 信息融合的系统结构，与信息融合的层次划分有着紧密的联系，信息融合的通用层次结构模型如图。数据库/黑板系统多传感器信息像素层融合特征层融合决策层融合图信息融合层次结构模型2022-8-13自动化系77（2）信息融合的结构模型分类）信息融合的结构模型分类 信

37、息融合的结构模型，根据具体问题可分为三类：集中式、分布式和混合式。2022-8-13自动化系78 4 多传感器信息融合技术的研究方法：多传感器信息融合技术的研究方法：国际上，信息融合研究已具备了比较良好的环境并取得了长足的进展，研究者们对融合的理论体系，算法开发及工程应用等方面都进行了一些探索，形成了一些有价值的信息融合方法。比较成熟的主要有：经典推理法、卡尔曼滤波法、贝叶斯估计法、Dempster-Shafer（D-S）证据推理法、聚类分析法、参数模板法、物理模型法、熵法、品质因数法、估计理论法和专家系统法等。近年来，用于多传感器信息的计算智能方法主要包括：模糊集合理论、神经网络、粗集理论、

38、小波分析理论和支持向量机等。下表是对不同层次结构所使用的融合方法进行归纳总结。2022-8-13自动化系79表表 不同层次的信息融合方法不同层次的信息融合方法层研究方法像素层小波变换、人工神经网络、加权平均、产生式规则、遗传算法特征层目标状态融合卡尔曼滤波、扩展卡尔曼滤波目标特征融合参量模板法、特征压缩和聚类法、K阶近邻、人工神经网络、模糊理论决策层贝叶斯推理、统计决策、D-S证据理论、模糊理论、专家系统、人工神经网络、遗传算法、粗（糙）集理论等 这些算法的研究是在特殊的应用领域及背景下产生的，在简化融合计算过程和信号处理的实时性问题上还有很多待改进之处。同时，这些方法各有所长，在实际应用中应

39、根据实际情况选择合适的融合方法，相互交叉使用，这样才能体现多传感器信息融合方法的优越性。2022-8-13自动化系80 自20世纪70年代提出以来，经不断发展完善，已成为信息处理领域中的有力工具，其应用大致分为军事和民事两大类。最早主要用于军事目标的检测、定位、跟踪和识别。具体包括：（1）海洋监视系统包括潜艇、鱼雷、水下导弹等目标的检测、跟踪和识别，典型的传感器包括雷达、声纳、远红外、综合孔径雷达等。（2）空对空、地对空防御系统的基本目标是检测、跟踪、识别敌方飞机、导弹和反飞机武器，典型的传感器包括雷达、ESM接收机、远红外、敌我识别传感器、电光成像传感器等。近年来，在民用领域得到了较快的发展

40、，主要用于机器人、智能制造、自主车辆导航、医疗诊断、遥感、刑侦、保安和故障诊断、生产过程监控、图像处理、计算机视觉、水下物体探测、收割机械的自动化、工业装配线上自动插件安装、航天器中重力梯度的在线测量、信息高速公路系统、多媒体技术和虚拟现实技术等领域。5.4.3 多传感器信息融合的应用领域2022-8-13自动化系81 例：多传感器信息融合技术在机器人中的应用例：多传感器信息融合技术在机器人中的应用最典型的应用是移动机器人（Mobile Robot）和自主车（Autonomous Vehicle）。（1）Hilare移动机器人（France,1979）：首次采用多传感器信息形成未知环境实物模型

41、的移动机器人，具有触觉、听觉、两维视觉、激光测距传感器，使用声音和视觉传感器建立分割为定位层次的图表；视觉和激光测距仪得到环境中不同区域的近似三维表示，激光测距获得物体更精确的范围。采用加权平均、卡尔曼滤波等方法，实现目标识别和定位。（2）Stanford移动机器人（Standford University,USA,1987）：具有触觉、立体视觉、超声波传感器；采用卡尔曼滤波等方法；实现非结构化环境中的机器人导航。（3）CMU自主陆地车（Carnegie-Mellon University,USA,1986）：装有彩色TV摄像机、激光测距仪和声纳传感器；多种数据融合方法；完成自动避障的核化环境

42、作业；数据融合并行处理是该项目研究的主要目标。（4）南理、北理、浙大、国防科大、清华等多所院校联合研制的军用室外移动机器人7B.8系统：集成了二维彩色摄像机、三维激光雷达、陀螺惯导定位、超声等传感器。实际演示表明，该车能在非结构化道路及结构化道路上自主行驶，能进行路径跟踪、避障、越野及岔路转弯。2022-8-13自动化系82 另一类应用是机器人装配（Robot Assembly），采用立体视觉或三维视觉加超声测距传感器来获取对象（工件）的三维信息，引导机械手抓取和定位存放，如有装配任务，则在装配过程中还要用力/力矩传感器测取装配力和力矩的大小与方向，利用它来调整机械手的位置和姿态。比较典型的应

43、用系统有：（1）NBS装配机器人：采用了NBS分级感觉与控制结构，是具有视觉、超声波测距、触觉和力觉（腕力传感器）的高精度轴孔匹配和零件抓取与传送的装配机器人。（2）KARLSRUHE自主装配机器人：用于柔性制造单元中零件的输送和装配操作。传感器有场景视觉（1台摄像机）、手眼视觉（2个摄像头分别安装在两台机械手的末端执行器上）、引导视觉（4台摄像机）、1个超声波传感器和2个腕力传感器。控制系统采用层次化结构，功能模块有传感模块，执行模块和通讯模块，运用专家知识来指导、规划系统完成装配任务。（3）HITACHI公司的集成电路装配机器：融合了三维视觉和力传感器信息。（4）ESPRIT（欧洲信息技术

44、研究战略计划）的用于材料加工及集成装配作业机器人：采用了视觉、触觉和力觉传感器构成的多传感器系统。（5）Wescansin-Medison University研究的用于抓取哈勃望远镜的太空机械手：带有5个力传感器的人工手指，确保对象物的抓取。（6）国家“863”计划智能机器人主题于1995年研制的精密1号装配机器人：是一台高速高精度的 4轴 SCARA型装配机器人，它采用了直接驱动技术，配有高性能的视觉和力觉传感器系统。2022-8-13自动化系83 在机器人装配作业过程中，信息融合则是建立在视觉、触觉、力觉传感器基础上的。其装配过程表示为每一步决策确定的一系列阶段，整个过程的每一步决策由传

45、感器信息融合来实现。其中视觉传感器用于识别具有一定规则和几何形状的零件及零件的定位，即通过摄像头识别二维零件并判定其位置；而采用力觉传感器检测机械手末端与环境的接触情况以及接触力的大小，从而提供在接触时物体的准确位置，而物体的重量则在物体提升时由力觉测出，如果物体的外形尺寸已知，则由重量可推出物体的密度特征；视觉与主动触觉相结合用于识别缺少可识别特征的物体。如图4为某自主移动装配机器人系统。该机器人采用信息融合的并联结构，有视觉、触觉、力觉等多种感觉。在机器人自主移动过程中，用多传感器信息建立未卜先知的环境模型，该模型为三维环境模型。它采用分层表示，最低层环境特征与传感器提供的数据一致；高层是

46、抽象的和符号表示的环境特征。其中视觉传感器提取的环境特征是最主要的信息，视觉信息还用于引导激光测距传感器和超声波传感器对准被测物体。激光传感器在较远距离上获得物体较精确的位置，而超声波传感器用于检测近距离的物体。当将三者在不同的时刻进行测量的距离数据进行融合时，每个传感器的坐标框架首先变换到共同的坐标框架中，然后采用参照机器人本身位置的相对位置定位法、目标轨迹记录法、参照环境静坐标的绝对位置定位法等三种不同的方法对机器人位置的精确估计。2022-8-13自动化系84 与单传感器处理系统相比，信息融合具有冗余性、互补性、及时性；提高了系统的可靠性和鲁棒性；在时间上和空间上扩展了观测的范围；增强了数据的可信度；提高了系统的分辨能力5.4.4 多传感器信息融合技术的特点2022-8-13自动化系85 多传感器信息融合技术在机器人领域取得了可喜的进展。如今，基于多传感器信息融合的机器人开始从工业向其它方向发展，如服务机器人和医学用途的机器人等。随着这些特种机器人的需求越来越高，其基于多传感器信息融合技术将得到更大的发展。在这方面将来的发展方向有：多层次传感器融合微传感器和智能传感器自适应多传感器融合 5.4.5 信息融合技术在机器人应用中的发展方向 2022-8-13自动化系86