经典光流综述课件.ppt

1、经典光流法综述经典光流法综述叶思 2010.4.211.光流简介三维场中P点的运动投影到二维平面后形成的M点的二维运动场 1.光流简介 光流场则是指图像灰度模式的表面运动，它是一种像素级的运动，理想情况下，光流场和二维运动场互相吻合，但实际上并不经常如此。 1.光流简介 这里我们可以认为光流场实际就是在时间序列上帧与帧之间图像的像素级运动，后面的部分，我们将讨论如何求出视频中运动物体的光流场，而运动场和光流场的不一致问题，则不在我们此次讨论范围内 。2.经典光流法nLucas-Kanade(LK)npyramidal LK（PRLK） nLK算法的原型最初是一篇讲述配准问题的论文，该文主要论述

2、了如何对两幅图像中的感兴趣区域进行配准，这实际也是一种求光流的方法，但这里配准过程中使用的是牛顿迭代的方法，而经典LK光流法中使用的是解线性方程组的方法。nAn Iterative Image Registration Technique with an Application to Stereo Vision发表在1981年的Proceedings of Imaging Understanding Workshop上。该文通过空间的灰度梯度信息，求解两幅图像之间相应区域的匹配问题，它可以用在各种线性变换下，甚至是旋转变换。它被引用的次数达到了2330多次。2.1 Lucas-Kanade(L

3、K)算法 2.1 Lucas-Kanade(LK)算法 上图表示两幅图像某区域 R的匹配， F(x) 和 G(x)分别表示两幅图像在相应坐标下的像素灰度值，我们的目标是找到相应的向量h，使得在感兴趣的区域 R中，F(x+h) 和 G(x)的差别最小，这里的差别也就是：1R()( ).xLnormF xhG x2.1 Lucas-Kanade(LK)算法 一维坐标下两条曲线的匹配我们的算法是基于 F(x) 上在 x 邻域上具有线性性质的假设 当 h 较小时，我们可以得出： ()( )( )( )( ).F xhF xF xhG xF xh( )( ).( )G xF xhF x1R()( ).x

4、LnormF xhG x2.1备注：牛顿迭代法备注：牛顿迭代法 牛顿迭代法是一种求方程根的方法，如图所示蓝色曲线是我们要求的方程，所求目标便是图中所示的曲线与x轴的交点，是经过n次迭代后的结果，在收敛的情况下，它是不断向正确的值逼近的。1()0()nnnnf xyfxxxx1()()nnnnf xxxfx由 可以得到： ( )( )()f hG xF xh( )()fhF xh 于是我们令：1()( )()( )()()()()kkkkkkkkkkf hG xF xhG xF xhhhhhfhFxhFxh2.1 Lucas-Kanade(LK)算法 根据我们的线性假设，曲线线性较好的地方求出的

5、h必然更为准确，而线性性能的度量可以用曲线的二阶导来表示，二阶导较小的地方如拐点，即二阶导为零处则线性最好，所以我们给每个x处得出的h一个权值：1( ).( )( )w xG xF x1( ) ( )()( )()kkkxxkw x G xF xhhhw xFxh2.1 Lucas-Kanade(LK)算法 这里有个问题就是在曲线为平的时候， 为零时，作为分母，h的求取会出现无意义的情况。 于是我们做一个小变换， ，将它代入使两曲线的E最小，这里我们使用差的平方来判断两者差异大小，有：( )F x()( )( )F xhF xhF x2 ()( )xEF xhG x为了使误差E最小，我们对E求

6、h的导数：20 ( )( )( )2 ( ) ( )F(x)-G(x)xxEF xhFxG xhhFx F xh2( ) ( )( )( )xxFx G xF xhFx12( ) () ( )()( ) ()kkxkkkxw x FxhG xF xhhhw x Fxh2.1 Lucas-Kanade(LK)算法 20 ( )( )( )2 ( ) ( )( )( )xxEhF xhFxG xhFx F xhFxG x由一维扩展到多维：20 ( )( )2 ( )( )xxEhFF xhG xhxFFF xhG xxx() ( )( )() ()TxTxFG xF xxhFFxx12.Tnxxx

7、x 前面我们提到过算法是基于h很小的假设，所以当h很大的时候计算出来的 结果误差很大甚至是错误的，文中在一维的情况下对正弦曲线的匹配进行了上述算法的计算实验，设： 实验发现，当 时，上述算法的结果能收敛到正确的h值上去，这表明最初的偏差值可以最多取到波长的一半。我们从中可以获得启发：抑制图像高频的部分，可以扩大h的收敛域。我们将图像进行平滑便可以达到这个效果，但这同时损失了图像的细节部分，会反过来造成匹配的不够准确，尤其当平滑窗口大于我们匹配的区域时，我们将得不到匹配结果。( )sin ,( )()sin().F xxG xF xhxhh2.1 Lucas-Kanade(LK)算法 从前面一维

8、和二维的推导过程来看，我们都是使用了F和G的两幅图像的F(x+h)和G(x)的相等与否关系来得到h的求解，我们假设了F(x+h)=G(x)。 而在视频中，对于t和t+dt帧的光流计算，也相当于两幅帧图像的像素匹配过程，这里我们假设在视频帧中，物体的对应像素的灰度值不因运动而变化，也得到光流的基本公式：2.2 LK光流 ( , , )(,)I x y tI xdx ydy tdt2.2 LK光流( , , )(,)I x y tI xdx ydy tdtLK算法基于以下三个假设： 1）亮度恒定 2）时间连续或者是运动是“小运动” 3）空间一致，临近点有相似运动，保持相邻 类似的，对于 也进行一阶

9、泰勒展开： 之前的匹配中我们对F(x+h）进行一阶展开：使得F(x+h)=F(x)+hF(x)，然后代入相关公式中计算。(,)I xdxydy tdt，2.2 LK光流 (,)( , , )IIII xdx ydy tdtI x y tdxdydtxyt0 xytI dxI dyI dt对t求导，令 分别表示水平方向、垂直方向的光流速度， 表示某方向的梯度，用一阶差分代替一阶微分，于是光流基本计算公式有一般形式：,dxdyuvdtdt*IXytI uI vI 2.2 LK光流 XytI uI vI xytuIIIv 111222.xytxytIIIIIIuv 假设在一个小窗口内的像素光流是一致

10、的：Aub2.2 LK光流使用最小二乘法解 里的向量u:Aub1()TTuA AA b22xxyTxyyII IA AI II图三情况下，在纹理密集的地方可以求得u。考虑矩阵的可逆性：2.2 LK光流2.2 PRLK光流 1）在LK算法中，有些情况会导致矩阵不可逆，这些情况下无法计算光流，于是我们可以考虑寻找一些好的特征点来计算光流，也就是角点。 2）在光流计算中，当光流较大，也就是物体运动范围较大时，计算误差很大，这时，我们引入金字塔的思想，对原始图像进行采样，进行类似coarse to fine的过程，对先通过高层金字塔找出大的运动量，再逐步细化，计算小的运动量并不断纠正大运动量的精确度。2.2 PRLK光流1111111111( , )(2 ,2 )41(21,2 )(21,2 )(2 ,21)(2 ,21)81(21,21)(21,21)(21,21)(21,21)16LLLLLLLLLLIx yIxyIxyIxyIxyIxyIxyIxyIxyIxy2.2 PRLK光流XytI uI vI LK法PRLK法PRLK找相对应的点 OVER!