利用判别显着性的跟踪课件.ppt

1、杨涛杨涛作者信息作者信息 Wei-Ting Lee 李威霆 Hwann-Tzong Chen Assistant Professor Department of Computer Science National Tsing Hua University Research Interests Computer Vision, Image Processing, Machine Learning 摘要摘要 本文提出利用灰度直方图信息检测感兴趣点的新方法。与现有的对图像亮度逐点测量差异不同，本方法包括基于直方图的表示，因而能找到在邻域中不同分布的图像区域。提出的检测器能够获得大尺度结构和不同纹理模

2、式，并显示出对旋转、亮度变化、模糊的不变性。 实验结果证明本方法模糊和亮度变化情况下的纹理匹配任务中表现得特别好。 扩展本方法到空时感兴趣点检测可用于动作分类。基于直方图的感兴趣点检测基于直方图的感兴趣点检测 对于任意给定图像块中的像素，可以将其量化成几个离散的值。假定有 阶，那么 在每个像素位置 ，加权直方图 的第k个分量由下式计算得到： 其中 集合 定义围绕 的邻域窗口 是使得 的正规化因子LihfL21,., LR(),xy( )( )1,., kkLh x yh x y=()()()()(),1,1iiiikiib x ykx yx yhx yw xx yyZ=W=-( )()222/

3、2,xyw x yes-+=(), x yW(), x yZ( )1,1Lkkh x y=(1)基于直方图的感兴趣点检测基于直方图的感兴趣点检测 给定在像素 处有一个微小的平移 用Bhattacharyya Coefficient度量直方图 与 的相似性： 二阶泰勒展开式的结果：(), x y(), xyDD(),h x y(),h xx yy+ D+ D( ) ()1,Lkkkh x y h xx yyr=+ D+ D ()11,2xxy Hx yyr轾 D犏+DD犏D臌基于直方图的感兴趣点检测基于直方图的感兴趣点检测 其中 将（1）式代入得()()()()()()2222212,1,2,k

4、kLkkkkhx yhx yxx yHx yhx yhx yhx yx yy=轾抖犏犏抖犏=犏犏抖犏犏抖臌()()()()()()()221,124241222 ,2242411,22 ,1424121,21,1,LXkkLYkkLXYkkmxHx yZhx ymyHx yZhx ymmxyHx yHx yZhx yssssssss=骣=-+桫骣=-+桫= -+()()()()()()()(),1,1iiiiiiiiXiiib xykxyx yYiiib xykxyx ymx w xx yymy w xx yy= W= W=-=-其中基于直方图的感兴趣点检测基于直方图的感兴趣点检测 矩阵获得像

5、素 周围邻域的直方图结构。如果的两个特征值都很大，那么一个很小的平移，将会导致Bhattacharyya Coefficient的急剧下降，因而直方图 与直方图 非常不相似。将这样的像素称为感兴趣点。 所以问题转化为与局部Bhattacharyya Coefficient相应的Hessian Matrix的特征值问题。 无需显式计算特征值，可以用行列式与迹的响应函数来模拟：(), x y( )( )( )2detR HHtraceHk=-(),h x y(),h xx yy+D+D(),Hx y提取局部不变区域用于匹配提取局部不变区域用于匹配 基于直方图的图像表示 颜色直方图 方向梯度直方图

6、尺度选择()2,/328/328/321x yx yx yb x yRGG犏犏犏=+犏犏犏臌臌臌()()()()()(),1,1iiiikiiiib x ykx yx yhx yw xx yyg x yZa=W=-sss+ D实验实验 图像匹配实验实验 图像匹配实验实验 时空感兴趣点检测()(), ,H x yH x y t作者信息（作者信息（1） Viswanath Gopalakrishnan Degree Registered : Ph.D Supervisor : Asst Prof Deepu Rajan Research Title : Visual Attention Yiqun

7、 Hu Ph.D candidate Supervisor : Asst Prof Deepu Rajan and Chia Liang Tien Research Interests: Computer Vision Network Technology Artificial Intelligence Human Computer Interaction作者信息（作者信息（2） Deepu Rajan Assistant Professor Division of Computing Systems School of Computer Engineering College of Engi

8、neering Nanyang Technological University Research Interests: Image and video processing computer vision multimedia signal processing摘要摘要 将显著性区域检测公式化成马尔可夫随机游走问题。 通过全图随机游走提取图像全局属性，通过k-regular图随机游走提取局部属性。 最显著的节点是全局最孤立且落在局部最紧凑的区域。 背景节点是与最显著节点“距离”最远的节点。 通过最显著节点与背景节点得到显著区域。各态历经马尔可夫链各态历经马尔可夫链 从任意状态出发可以到达任意

9、状态的马尔可夫链称为各态历经马尔可夫链。621435 假设有N个状态 ：转移矩阵 ：状态i到j的转移概率 平稳条件： 是1N的行向量，为N个状态的马尔可夫平稳分布，可以由 计算得到。N NP各态历经马尔可夫链各态历经马尔可夫链ijp.Ppp=pP 基本矩阵Z定义成 其中I是单位阵Wppp骣 = 桫M各态历经马尔可夫链各态历经马尔可夫链nP()1ZIP W-=-+是当n趋于无穷大时 的极限 表示从t=0时刻出发，从状态i出发返回到状态i的期望步数。 表示从t=0时刻出发，从状态i出发返回到状态j的期望步数。 表示从t=0时刻出发，从平稳分布出发返回到状态i的期望步数。( )iiE T各态历经马尔

10、可夫链各态历经马尔可夫链( )ijE T( )iETp( )1iiiE Tp=( )( ) ()ijjjjjijE TETZZ=-( )( )iiiiiE TE TZp=图表示图表示 将一幅图像划分成若干个88的小块，每一个小块表示成一个节点（顶点），各小块之间的相似性程度是连接节点的边。(),IG V EvVeEijw88图像块块节点之间的连接基于两节点的特征集相似性的边的权重图表示图表示 计算局部块的方向直方图，块的复杂度由直方图的熵得到： 在YCbCr域中得到Cb和Cr。 在尺度空间中得到五个尺度下的直方图的熵。 这样得到特征向量为：( )( )logPPiPiiEHHqq= - 是相应

11、于方向 的第i个bin的直方图的值( )PiHqiq15,.,brxC C EErr轾=犏臌图表示图表示 由得到的各顶点的特征向量计算权重： NN仿射矩阵 获得图像特征的全局方面： 所有连向节点i的权重之和： 全连接的转移矩阵计算如下： 可以得到：22ijxxijwes-=gA,0 ,ijgijwijAij= giijjdw=12,.,ggggNDdiag ddd=1gggPDA-=gpgZ( )giiE T( )gijET( )giETpgid图表示图表示 NN仿射矩阵 获得图像特征的局部方面： 表示节点i的空间邻域节点 同理得到：lA(),0,lijijwjN iAotherwise= (

12、)N ilDlPlplZ( )liiE T( )lijE T( )liE Tp节点选择节点选择 最显著节点 在complete graph上，其他所有节点到最显著节点的步数的期望和 应当尽可能大。 在k-regular graph上，邻域节点到到最显著节点的步数的期望和 应当尽可能小。 任意节点的显著性值由下式定义： 最显著节点：( )liETp( )giETp( )( )giiliETNSalETpp=argmaxSiiNNSal=节点选择节点选择图中红色区域代表最显著节点节点选择节点选择 背景节点 第一个背景节点： 显然第一个背景节点选择那些本身显著值低且与最显著节点最不相似的节点。 第n

13、个背景节点： 这样选择节点的目的是保证背景节点尽可能inhomogenous( )1argmaxSgNibjjETNNSal=( )( )()( )()11argmaxSbb ngggNjNjNjbnjnjETETETNNSal-鬃鬃=节点选择节点选择图中绿色区域代表背景节点显著性区域检测显著性区域检测 如果一个节点到最显著节点的期望步数与到所有背景节点的期望步数之和小，那么该节点就被认为是显著区域的一部分。继续这一步骤，找到所有这样的节点，形成的区域就是显著区域。 右图白色部分是检测出的显著性区域。与其他方法的比较与其他方法的比较未经二值化的结果二值化后的结果作者信息（作者信息（1）Vija

14、y Mahadevan Education 2006-present : Ph.D (EE) UCSD, La Jolla, CA. GPA:4.0. 2002-2003 : M.S (EE) Rensselaer Polytechnic Institute, Troy, NY, Dec. 2003. GPA:3.89. 1998-2002 : B.Tech (EE) Indian Institute of Technology, Madras. GPA: 8.73/10.00. Publication The discriminant center-surround hypothesis f

15、or bottom-up saliency, D. Gao, V. Mahadevan and N. Vasconcelos, Neural Information Processing Systems (NIPS),Vancouver, Canada, 2007. Background Subtraction in Highly Dynamic Scenes, V. Mahadevan and N. Vasconcelos, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Anchorage, AK, Ju

16、ne 2008. Nuno Vasconcelos Position Associate Professor at UCSD,heading the Statistical Visual Computing Laboratory Research interest computer vision, statistical signal processing, machine learning, and multimedia. Awards Hellman Fellowship, 2005 NSF CAREER award, 2005 Graduate Fellowship, Junta Nac

17、ional para a Investigacao Cientifica e Tecnologica, 1993 -1997 Graduate Fellowship, Luso-American Foundation, 1991 - 1993作者信息（作者信息（2）摘要摘要 本文提出基于判别显著性的视觉跟踪框架 对于每一帧，将目标与背景的判别看成二值分类问题 利用最大化边缘差异的原则选出对目标与背景分类起最大作用的特征 通过这些特征，使用Top-down显著性检测下一帧目标的位置，完成跟踪算法的一次迭代 扩展该框架，加入Bottom-up显著性模式下的运动特征能鲁棒地检测显著运动物体并且自动初

18、始化跟踪器。问题起源问题起源 当前比较流行的基于表观的物体跟踪方法通过学习目标表观模型，确定目标位置。 缺点是未能引入背景信息。这样当背景凌乱或者目标发生形变时就制约了跟踪精度。 为解决此问题，判别跟踪方法被提了出来。 基本思想：物体跟踪伴随检测过程，将问题转化为持续的目标背景分类。问题起源问题起源 判别跟踪器设计的三个问题 目标初始化 特征选择 目标检测利用判别显著性的跟踪利用判别显著性的跟踪 判别显著性将显著性问题看作感兴趣刺激与背景两类的最优决策问题。 每一位置的显著性等价于该位置处特征的判别力。这样判别的结果具有最低期望差错概率。利用判别显著性的跟踪利用判别显著性的跟踪 判别显著性 l

19、位置处的显著性定义为特征响应与类的互信息 又可以写成 其中()()()()()()( )()()1,0;,loglY C lY C liYC lS lI Y Cpy ipy idypy pi= ()()()()()( )1|0|YC lY C liS lpi KL py ipy=轾=犏臌()( )( )( )|logXXXpxKL p qpxdxqxc=利用判别显著性的跟踪利用判别显著性的跟踪 学习显著特征 对目标与背景有最优判别能力的特征是那些与类别标签有最大互信息的特征。 互信息的计算()()()()1,11,1;|;kkkkkkkI Y CI Y CI Y YCI Y Y-轾=+-犏臌邋

20、()()()()( ), |, |, , ,|;|logY C Z y i zY C Z y i ziY Z y zC Z i zpI Y C Zpdydzpp=其中()()1,11,1;|;kkkkI Y YCI Y Y- 表示第k个特征与前k-1个特征之间由于特征相关含有的判别信息 学习显著特征 由于特征相关性对类的判别提供的信息很小，故 显著特征选择 对N个特征按降序排列互信息 选择前K个特征作为显著特征()()()()( )1|;|kkNkkCY CYkiI Y CI Y Cpi KL Py iPy=轾=犏臌邋利用判别显著性的跟踪利用判别显著性的跟踪();kI Y C利用判别显著性的跟

21、踪利用判别显著性的跟踪 显著特征选择过程利用判别显著性的跟踪利用判别显著性的跟踪 目标跟踪 t时刻的显著特征得到以后，下一步检测t+1时刻的目标位置。()()()( )()1,0,logY CY CiYCpy iI C Yypy ipy pi=( )(),0kkkkkI C YyySSyotherwise= ()() ( )()() ( ),1,0,|10kkkkC YkC YkkCYkCYkPyPySyPPyPPy禳镲镲=睚镲镲铪kS 包含通过似然比被分成目标类的点集利用判别显著性的跟踪利用判别显著性的跟踪 目标跟踪 K个特征响应y的Confidence之和为 t+1时刻具有最大显著值点位置就是新的目标点的位置。( )( )1KTkkkSySy=检测器自动初始化检测器自动初始化 初始化过程图示实验结果实验结果跟踪演示目标初始位置已知（4帧）红框表示本文方法的结果实验结果实验结果目标初始位置已知（6帧）红框表示本文方法的结果实验结果实验结果 跟踪误差定义成groundtruth bounding box与跟踪器得到的bounding box内的平均像素差。可以看出本文方法（DST）误差最小。量化结果 目标初始位置未知实验结果实验结果利用Bottom-Up的显著性判别获得目标初始位置