基于稀疏模型的在线目标跟踪课件.ppt

1、u 基于稀疏模型的在线目标跟踪u 视觉跟踪算法简单综述目标跟踪1Xiang Xiang，“A Brief Review on Visual Tracking Methods”，Intelligent Visual Surveillance(IVS),2011 Third Chinese Conference on，1-2 Dec.2011.2 Dong Wang,Huchuan Lu,Ming-Hsuan Yang,”Online Object Tracking With Sparse Prototypes”IEEE Transaction on Image Processing，VOL.22

2、,NO.1,Jan.2013.A Brief Review on Visual Tracking MethodsA Brief Review on Visual Tracking Methods Hot topic：在线自适应外观模型Key techniques：分类器在线方法样本选择漂移问题 Challenges：场景变化目标外观变化图像质量不高在线处理 IMAGE REPRESENTATIONA.Typical Image Features颜色特征纹理特征形状特征B.Feature Selection Methods算法目标：使得target从background中区别出传统方法：前向选择

3、,后向选择,分枝定界法“tracking-by-detection”APPERANCE MODELA.Typical Appearance Models 直方图或者or Parzen 估计模型 模板匹配 均值漂移 Constellations（星座？）of patches MRF（马尔科夫随机场）推论 稀疏表示模型APPERANCE MODELB.On-line Adaptation Methods如果希望外观模型紧跟着光度与几何变化，那么就需要自适应更新外观模型，因为在线自适应允许目标的表示无论在场景变化还是目标外观变化时，仍然能够每帧保持其特征。近几年来的研究对这方面都有所改善。在线外观自

4、适应模型是一把双刃剑。MOTION MODELA.A.光流法（）光流法（）B.B.贝叶斯过滤框架（）贝叶斯过滤框架（）C.C.基于样条模型基于样条模型 CONCLUSION1.在有严重遮挡和背景干扰下的序列，基于分片的表示法有更好的鲁棒性。2.在线监督方法鲁棒性不好，但是可以从错误中恢复。3.将离线分类器和在线分类器结合起来效果好。4.基于运动估计的光流法在特征点错误匹配时效果很差。在有光照变化时，鲁棒性也不好。5.粒子滤波跟踪器不能精确地跟踪目标，但是不会产生漂移现象。Online Object Tracking With Sparse PrototypesAbstract Introduc

5、tion 设计鲁棒在线跟踪算法的难点 跟踪算法三元素 鲁棒跟踪算法中建立外观模型需要考虑的因素 减少跟踪漂移的相关工作 本文算法的优点 Introduction设计鲁棒在线跟踪算法的难点（1）Intrinsic factors位姿变化形状变形（2）Extrinsic factors光照变化相机运动遮挡 Introduction 跟踪算法三元素（1）An appearance（observation）model（2）A dynamic（motion）model（3）A search strategy 本文：仅仅讨论关键因素包括遮挡和运动模糊（appearance model）Introducti

6、on 鲁棒跟踪算法中建立表示模型需要考虑的因素（1）如何表示跟踪目标，需要考虑目标特征选取以及 描述模型算法（2）表示方法选择生成模型还是判别模型（本文选择生成模型）（3）如何进行在线学习以适应目标和背景的外观变化 Introduction 减少跟踪漂移的相关工作（1）Adam et al.10 propose a fragment-based tracking method using histograms.（2）Yang et al.26 apply the“bag of words”model from the category-level object recognition 27 t

7、o visual tracking.（3）In 21,Mei et al.propose a tracking algorithm by casting the problem as determining the most likely patch with a sparse representation of tem-plates.（4）Dinhet al.29 propose a complex co-training approach using generative and discriminative t rackers that deals with partial occlus

8、ion.Introduction 本文算法的优点（1）跟踪目标的紧凑表示方法（2）可以处理高分辨率图像（3）能够有效地解决遮挡问题（4）仅仅使用生成模型就可以解决局部遮挡问题 Related Work and Context A.基于增量子空间学习的目标跟踪基于增量子空间学习的目标跟踪 B.基于稀疏表示的目标跟踪基于稀疏表示的目标跟踪 C.本文算法本文算法 Related Work and Context Related Work and ContextA.基于增量子空间学习的目标跟踪基于增量子空间学习的目标跟踪传统PCA：1）将所有的训练图像列向量化并计算均值，得到中心化矩阵2）对中心化矩阵

9、进行SVD分解，得到特征值和特征向量。缺点：不适合在线学习 Related Work and Context Related Work and Context Related Work and Context Related Work and Context 稀疏模型的目标跟踪A.Dynamic model1.设置目标状态参数 为了能很好地表示一个目标，首先得设定目标窗口的状态信息，表示如下：xt yt 表示目标窗口中心点坐标，st表示目标窗口投影到低维空间的比例，t表示目标窗口后一帧与前一帧的旋转角度，t表示目标窗口高度与宽度所对应的方向角，t表示目标窗口相对于x轴的角度2.仿射投影变换 对

10、连续两帧间的目标运动模型化，进行降维3.选取样本,tttttttxx y s 稀疏模型的目标跟踪ttyytttzyUzeU Ie 212,1(,)min2iiiiiiiiz eL z eyUzee 稀疏模型的目标跟踪 B.Observation Model（2）计算似然函数（通过图像块的重建误差）传统方法：未考虑遮挡本文方法：加入惩罚项22(|)exp()iiiip yxyUz22(|)exp(|()|(1)iiiiiip yxwyUzw 稀疏模型的目标跟踪 C.观测模型的更新观测模型的更新（1）每一个琐碎模板代表一个像素点，前面的非零项系数就代表该像素点被遮挡。（2）计算非零项系数占总琐碎模板系数的百分比，设定两个阈值，tr1和tr2;（3）若tr1,则表示几乎没有遮挡，则将得到的目标作为样本放入样本包里；若tr1=tr2,则表示目标受到严重遮挡，则直接将该样本舍弃。稀疏模型的目标跟踪 Experiments Conclusion 本文综合利用子空间模型和稀疏表示优点，在外观更新和目标跟踪中考虑局部遮挡和运动模糊问题，提出这种鲁棒跟踪算法。通过定性和定量实验验证该算法的有效性以及存在的不足。可改进或应用点 实时应用中的目标跟踪 可用于目标识别 在线正交子空间方法 多视觉线索