成像目标检测与跟踪课件.ppt

1、主要内容u光电跟踪系统概述u运动目标检测方法u成像目标跟踪方法u光电跟踪技术应用及发展n光电跟踪系统一、光电跟踪系统概述一、光电跟踪系统概述n红外监控系统n什么是成像（视频）目标跟踪？成像目标跟踪是指对光电传感器摄取到的视频（序列）图像进行处理与分析，充分利用传感器采集得到的信息来对目标进行跟踪、定位的过程。一旦目标被确定，就可获得目标的位置、速度、加速度、姿态等运动参数。一、光电跟踪系统概述 技术现状(国际)时间事件机构1974智能实时电视跟踪系统，以提高光电跟踪测量仪器的智能实时电视跟踪系统，以提高光电跟踪测量仪器的性能，并适应多目标跟踪测量的需要。性能，并适应多目标跟踪测量的需要。美国白

2、沙导弹靶场、新墨西哥州立大学和亚利桑那大学科学中心1980s为空军研制的机载火控系统的多功能红外相干光学传为空军研制的机载火控系统的多功能红外相干光学传感器具有多目标捕获、跟踪、分类、武器投掷和地形感器具有多目标捕获、跟踪、分类、武器投掷和地形回避等功能。回避等功能。美国福特公司和沃特公司1985掩护船防御系统能跟踪处理掩护船防御系统能跟踪处理200200多个目标。多个目标。美国海军1989-90公布了宽视场望远镜实时跟踪系统公布了宽视场望远镜实时跟踪系统(WFOV)(WFOV)和多目标跟和多目标跟踪宽视场摄像机系统。踪宽视场摄像机系统。美国Larrence Livermore国家实验室199

3、1红外图像识别跟踪系统，采用灰度、形状等多个特征，红外图像识别跟踪系统，采用灰度、形状等多个特征，其其Exoatmospheric Re-Entry Interceptor Subsystem(ERIS)拦截器可快速识别真假来袭的导弹。拦截器可快速识别真假来袭的导弹。美国陆军美国陆军一、光电跟踪系统概述时间时间事件事件机构机构1992提出的提出的“有识别能力的拦截弹有识别能力的拦截弹”也是一种具有智能的也是一种具有智能的对多特征进行信息融合处理的识别跟踪系统，它要求对多特征进行信息融合处理的识别跟踪系统，它要求实现边识别边跟踪的功能。实现边识别边跟踪的功能。美国国防部美国国防部1997视觉监控

4、视觉监控(Visual Surveillance and Monitoring,VSAM)重大项目，主要研究用于战场及普通民用场景监控的重大项目，主要研究用于战场及普通民用场景监控的自动视频理解技术。自动视频理解技术。美国国防部，联合卡美国国防部，联合卡内基梅隆大学、麻省内基梅隆大学、麻省理工学院等理工学院等1999设计了一套航拍视频检测与持续跟踪系统，该系统能设计了一套航拍视频检测与持续跟踪系统，该系统能够对多运动目标实现长时间的准确跟踪，即使发生短够对多运动目标实现长时间的准确跟踪，即使发生短时间内目标被遮挡或目标时静时动的情况时间内目标被遮挡或目标时静时动的情况。美国康奈尔大学计美国康奈

5、尔大学计算机系算机系2005开发出了基于开发出了基于MATLAB的的COCOA系统，用于无人机系统，用于无人机低空航拍视频图像的目标检测与跟踪处理。低空航拍视频图像的目标检测与跟踪处理。美国中佛罗里达大学美国中佛罗里达大学计算机视觉实验室计算机视觉实验室一、光电跟踪系统概述 技术现状(国际)一、光电跟踪系统概述研究所：中科院长春光机所、成都光电所、上海光机所，安徽光机所、上海技物所、中国工程物理研究院、兵器209所、中科院自动化所，沈阳自动化所等。高 校：国防科大、西工大、哈工大、北理工、北航、华中科大、空军工程大、上交、西交、浙大、川大等。自上世纪70年代，我国的靶场光学测量设备不仅在数量和

6、质量上均有所增加和提高，而且出现了智能实时电视跟踪系统和各种型号的激光跟踪雷达。一、光电跟踪系统概述 技术现状(国内)n光电跟踪系统结构一、光电跟踪系统概述视频监控技术发展的三个阶段当今社会信息的高度密集化、复杂化。人们所面临的突发、异常事件越来越多，传统的人力视频监控已经达不到实时处理突发事件的目的。智能视频监视系统目标检测和跟踪也是智能视频监控系统中的关键技术，分别处于整个系统的前期和中期处理阶段，为后期的高层视觉处理提供分析依据。低层视觉处理中层视觉处理高层视觉处理智能视频监视系统Next Sect.主要内容u光电跟踪系统概述u运动目标检测方法u成像目标跟踪方法u光电跟踪技术应用及发展静

7、止背景下的运动目标检测l帧间差分法；l背景减除法（如背景建模）；l运动能量累积法（如动态规划）。动态背景下的运动目标检测l光流法；l参数估计法：块匹配、贝叶斯估计、像素递归等；l带全局运动补偿的算法。二、运动目标检测方法 1.静止背景下的目标检测二、运动目标检测方法1,ttg x yfx yfx yn 帧差分法n帧差分检测二、运动目标检测方法原图检测结果 2.运动背景下的运动检测n 光流法（Optic flow）n 块匹配算法（Block matching）二、运动目标检测方法Agendan光流简介光流(Optical Flow,OF)的概念是Gibson于1950年首先提出的。光流是空间运动

8、物体在观测成像面上的像素运动的瞬时速度；光流场是指图像灰度模式的表面运动。（a）未运动的圆 (b)运动后的圆 （c）圆的运动场TranslationRotationScaling 反映了在时间间隔dt内由于运动引起的图像变化，时间间隔足够小，使得这种变化很小。光流的直接目的就是确定一个速度场。3D运动的2D表示称为运动场(或速度场),即图像上的运动点将分配一个速度矢量(运动方向、速度大小)。n光流简介 亮度恒定(Brightness Constancy),即同一物体点在不同时刻具有相同的亮度值。n基本假设 运动光滑约束(velocity smoothness constraint)，即图像平面

9、上的邻近像素点都以相同的方式运动。运动场(Motion Field)是图像平面上3D物体实际运动的投影(Projection)。光流场是运动场的一个近似(Approximation)。它描述了图像亮度随时间的变化。是相对观察者而言的，因此是一种相对变化，描述的也是一种相对运动。n光流场与运动场The optical flow field is zero,but the motion field is not.The motion field is zero,but the optical flow field is not.0)(txf由于亮度不随时间变化n 亮度恒定假设),(),()(dtt

10、dttxIttxItf0)(txttItxxIIxvItxtIIv 0)(txttItxxIn 1D0)(txtttItyyItxxIn 2D0)(txtttIvyIuxIn光流的求解l 卢卡斯-卡拉德算法（Lukas-Kanade,Regularization）l 霍恩-申克算法（Horn-Schunck,Least squares）1 Lucas and Kanade,“An iterative image registration technique with an application to stereo vision,”Proc.DARPA Image Understanding

11、Workshop,pp.121-130,1981.2 Horn and Schunck,“Determining Optical Flow,”Artificial Intelligence,vol.17,pp.185-204,1981.Horn-Schunck方法 Lucas-Kanade方法（a）人体运动（b）交通流 Motion estimation Patch-based motion(optic flow)Regularization and line processes Parametric(global)motion Layered motion modelsn块匹配算法块运动估计

12、与光流计算不同，它无需计算每一个像素的运动，而只是计算由若干像素组成的像素块的运动。如数字视频压缩国际标准MPEG1-2 采用了基于块的运动分析和补偿算法。二、运动目标检测方法目标帧锁定帧二、运动目标检测方法n块匹配算法l 匹配准则(Matching Criteria)l 搜索策略(Searching Strategyl 匹配特征n关键技术块匹配算法Agenda(1)均方差(Mean Square Error,MSE)2(,)1,1x yWMSExyI x y kI xx yy kMN(2)平均绝对差(Mean absolute discrepancy,MAD)(,)1(,)(,)(,1)x

13、yWMADxyI x y kI xx yy kMNn匹配准则块匹配算法(3)归一化互相关(Normalized Cross-correlation,NCC)11001/21/211220011,1,1NMyxNMXYyxxyI x y k I xx yy kMCCxyIx y kIxx yy k(4)最大像素匹配统计(Maximum Pixels counting，MPC)()()()1,1,0,if I x y kI xx yy kTT x yxyotherwise-+D+D+DD=n匹配准则块匹配算法l 全视场搜索(FS)l 对数搜索法l 三步法搜索l 菱形搜索法(Diamond Sear

14、ch，DS)l 其他改进的搜索策略n搜索策略Agenda块匹配算法 2D 对数法搜索lJain and JainlExamine central point&its four surroundingslDistance from center:r/2lFind best matchlIf best match is in center or on boundaries,half distance from centerlExamine five new points centering previous best lWhen distance is 1,use all 9 matches,fi

15、nd best.Stop111112223344444444搜索策略 Three-Step Search(3SS)l Koga et all 9 Points:Central point&its 8 surroundingsl Distance:r/2l Find the best matchl Use previous best as centerl Half distance,select 8 newl Repeat algorithm 3 timesl Examines 25 pointsl Assumes a uniform distribution of MVs11111111123

16、2222222333 3 333搜索策略l 图像灰度/颜色等信息l 图像特征，如角点、边缘、轮廓、区域等;几何、纹理等;方差、均值、信息熵等；变换（谱）域特征等。Next Sect.n匹配特征块匹配算法主要内容u光电跟踪系统概述u运动目标检测方法u成像目标跟踪方法u光电跟踪技术应用及发展三、成像目标跟踪方法(a)质心表示，(b)特征点集表示，(c)矩形框表示，(d)椭圆框表示，(e)关节模型表示，(f)轮廓表示，(g)侧影表示，(h)骨架模型表示n目标跟踪的表示n 颜色直方图 忽略了目标的空间结构信息。n Snake轮廓模型 仅考虑目标的边界，在目标与背景容易混淆的情况下，目标模型通常容易退化

17、。n 局部特征模型 一组局部特征来表示，缺乏目标的全局结构信息，稳定性较弱，易受噪声、目标姿态以及光照条件的影响。n 2D/3D空间模型 模型参数估计的运算量很大，并且难以保证模型的精度。常见目标表示波门跟踪；边缘跟踪、峰值（对比度）跟踪等；质心跟踪；相关跟踪（模板匹配）；多目标跟踪及编号维持；轨迹预测和记忆跟踪算法（Kalman、粒子滤波等）；基于模式识别及特征分类的目标跟踪 在线、离线学习的跟踪方法。n 常见的目标跟踪方法三、成像目标跟踪方法xyabcdxcyc11100111001|1|NMcxyxNMcyyxxxAyyA形心1.质心跟踪常见的目标跟踪方法11001100,NMyxNMy

18、xyf x yyf x y11001100,NMyxNMyxxf x yxf x y二值图像TemplateSearch image由于目标运动、姿态发生改变、光照条件改变以及杂波背景的干扰，使得目标图像的分割提取十分困难，计算目标的矩心或形心不准确。在某种情况下，可以采用以图像匹配为基础的跟踪方法，习惯上称之为相关跟踪。2.相关跟踪常见的目标跟踪方法状态空间模型：1-1-1,kkkkxfxv系统方程：,kkkkzhxw观测方程：状态向量 状态转移函数过程噪声观测向量观测函数观测函数滤波平滑预测常见的目标跟踪方法n问题提出线性/高斯系统 卡尔曼滤波(KF)非线性/高斯系统 扩展卡尔曼滤波(EK

19、F)无极卡尔曼滤波(UKF)非线性/非高斯系统 粒子滤波(PF)?Gordon N J,Salmond D J,Smith A F M.Novel approach to nonlinear/non-Gaussian Bayesian state estimationC/Radar and Signal Processing,IEE Proceedings F.IET,1993,140(2):107-113.粒子滤波跟踪粒子滤波：一种基于递推贝叶斯估计的蒙特卡罗统计仿真方法。n基本概念n基本思想利用一组加权随机粒子来近似状表示状态的后验概率密度。样本空间后验概率密度粒子滤波跟踪MmmkMx1)

20、(11,xMmmkmkwx1)()(,MmmkMx1)(1,MmmkMx1)(11,Mmmkmkwx1)(1)(1,MmmkMx1)(11,MmmkMx1)(21,Resampling Tracking Casen多目标跟踪多假设跟踪（Multi-hypothesis tracking，MHT）常见的目标跟踪方法D.Ramanan,D.A.Forsyth,A.Zisserman:Tracking People by Learning their Appearance.IEEE-TPAMI,29(1):65-81,2007(http:/www.ics.uci.edu/dramanan/paper

21、s/pose/index.html)基于目标外观模型的跟踪nTLD:Tracking-Learning-Detection英国萨里大学的一个捷克籍博士生Zdenek Kalal开发。Next Sect.常见的目标跟踪方法主要内容u光电跟踪系统概述u运动目标检测方法u成像目标跟踪方法u光电跟踪技术应用及发展n技术应用民用领域 主要应用在空间探测、智能视频监控、智能交通管制、无人驾驶、视频压缩、医学影像诊断等方面。四、光电跟踪技术应用及发展军事领域l 精确制导l 战场机器人自主导航l 无人机着降，l 靶场光电跟踪等领域。1.精确制导、目标跟踪“道尔”野战地空导弹武器系统，是世界上最先采用垂直发射方

22、式的近程防空系统，同时也是一种全天候、全自动、三位一体(目标搜索、跟踪和导弹发射装置同时装在一辆车上)的新一代高性能防空导弹发射车。它具有警戒、指挥与控制、导弹制导与发射等众多功能，既可以独立作战，也可以和发射连的其它发射车协同作战。它可在低空、超低空和近程区域内拦截多种非隐身与隐身空袭目。四、光电跟踪技术应用及发展“海盗”系统可以为空中拦截和空地作战提供战术优势。安装在机舱左侧、风挡玻璃的前方。n红外搜索跟踪（IRST）系统四、光电跟踪技术应用及发展在空对空模式下运行的时候，具备搜索和跟踪系统功能，提供无源目标探测和跟踪能力；在空对地模式下，可以执行多目标获取和识别任务，同时还能提供辅助导航

23、和着陆功能。n舰载直升机在反潜、救生、登陆、布雷与扫雷、火力校正、预警、侦察中广泛应用。2.直升机、无人机着降光电引导技术四、光电跟踪技术应用及发展n由于中型舰船甲板较小，因风浪使甲板处于不规则的运动，直升机着舰的事故高。ASIST(aircraft ship integrated secure and traverse)1XYZ2硬件系统为 CCD 输出的视频信号经过硬件滤波，由 DSP 进行信标识别，建立跟踪窗，根据识别出来的信标在 CCD位置坐标进行摄影测量算法，算出飞机与着陆区的相对位姿关系。四、光电跟踪技术应用及发展无人直升机光电助降四、光电跟踪技术应用及发展具备视觉系统的工业机器人

24、五、光电跟踪技术应用3.工业机器人 4.智能视频监控系统四、光电跟踪技术应用及发展智能交通监控安防GISPALab研制的跟踪系统四、光电跟踪技术应用及发展F基于核的跟踪(Mean shift)F基于MCMC的跟踪(Kalman,Particle filters)F基于外观模型的跟踪(Appearance models)F基于学习机制的跟踪(on-line boosting)目前主流的跟踪方法四、光电跟踪技术应用及发展F特征融合：时-空-谱联合F目标表示：压缩感知F跟踪框架：学习机制F跟踪模式：多模智能跟踪F光照变化、遮挡处理等四、光电跟踪技术应用及发展 光电跟踪技术发展趋势will be over主要内容u光电跟踪系统概述u运动目标检测方法u成像目标跟踪方法u光电跟踪技术应用及发展The End