稀疏光流特征点跟踪(KLT)

稀疏光流原理
- Lucas-Kanade flow
多尺度迭代光流估计
参考资料

稀疏光流原理

光流(optical flow)是空间运动物体在观测成像面上的像素运动的瞬时速度。物体在运动的时候，它在图像上对应点的亮度模式也在做相应的运动，这种图像亮度模式的表观运动就是光流。它的基本假设是体素和图像像素守恒，即一个物体的颜色在前后两帧没有巨大而明显的变化。不同的光流算法解决了假定了不同附加条件的光流问题。根据所形成的光流场中二维矢量的疏密程度可以分为稠密光流与稀疏光流两种。

稠密光流是一种针对图像或指定的某一片区域进行逐点匹配的图像配准方法，它计算图像上所有的点的偏移量，从而形成一个稠密的光流场。通过这个稠密的光流场，可以进行像素级别的图像配准。

稀疏光流并不对图像的每个像素点进行逐点计算。它通常需要指定一组点进行跟踪，这组点最好具有某种明显的特性，例如Harris角点等，那么跟踪就会相对稳定和可靠。稀疏跟踪的计算开销比稠密跟踪小得多，计算更便捷，其建立在下面三个假设上：

亮度恒定。\(I(x, y, t-1) = I(x+u(x,y), y+v(x,y), t)\)，即运动物体在图片上的灰度值在很短的时间内不会改变；
时间连续或者是运动是“小运动”；
空间一致，临近点有相似运动，保持相邻，即同一个窗口中的点偏移量都相等。

将\(I(x, y , t-1) \approx I(x, y, t) + I_x u(x,y)+I_y (x, y)\)做一阶泰勒展开，得到

\[\begin{align*} 0 \approx \nabla I_t + \nabla I_x \cdot u(x, y) + \nabla I_y \cdot v(x, y)\end{align*} \]

上式中存在两个变量\(u(x, y)\)和\(v(x, y)\)，再利用假设三，即空间一致性，如果选择的窗口大小是5，那么就可以得到25个等式，即

\[\begin{align*} \begin{bmatrix} I_x(P_1) & I_y(P_1)\\ I_x(P_1) & I_y(P_1)\\ \vdots & \vdots \\ I_x(P_25) & I_y(P_25)\\ \end{bmatrix} \begin{bmatrix} u \\ v \end{bmatrix} = - \begin{bmatrix} I_t(P_1) \\ I_t(P_2) \\ \vdots \\ I_t(P_25) \\ \end{bmatrix}\end{align*} \]

令

\[\begin{align*} A &= \begin{bmatrix} I_x(P_1) & I_y(P_1)\\ I_x(P_1) & I_y(P_1)\\ \vdots & \vdots \\ I_x(P_25) & I_y(P_25)\\ \end{bmatrix}\end{align*} \]

\[\begin{align*} d &= \begin{bmatrix} u \\ v \end{bmatrix}\end{align*} \]

\[\begin{align*} b &= \begin{bmatrix} I_t(P_1) \\ I_t(P_2) \\ \vdots \\ I_t(P_25) \\ \end{bmatrix}.\end{align*} \]

可以看出，上述问题是一个最小二乘问题\(Ad = b\)，即\(A^TAd = A^Tb\)。当\(A^T A\)可逆式，且不稀疏，\(A^T A\)的条件数比较合适时求解速度更快。

\[\begin{align*} A^T A &= \begin{bmatrix} \sum I_x I_x & \sum I_x I_y \\ \sum I_y I_x & \sum I_yI_y \end{bmatrix}\\ &= \sum \nabla I (\nabla I)^T\end{align*} \]

\(A^T A\)的特征根和特征值与边的方向和幅度有关，当\(A^T A\)两个特征值都比较大时，说明该点在\(x\)和\(y\)方向上变换都比较大，更可能是角点；当两个特征值都比较小时，说明该点更可能在“平滑”的区域。因此只有当该点是角点的时候，上述方程才能解。

Lucas-Kanade flow

Lucas-Kanade flow极小化下面式子得到\((u,v)\)：

\[\begin{align*} E(u, v) &= \sum_{(x, y) \in W} w(x, y) (I_x(x, y)\cdot u + I_x(x, y)\cdot v + I(x, y, t) - I(x, y , t-1))^2\\ & = \begin{bmatrix} u & v& 1\end{bmatrix} M \begin{bmatrix} u \\ v \\ 1 \end{bmatrix}\end{align*} \]

其中

\[\begin{align*} M & = \sum_{(x, y) \in W} w(x, y) \begin{bmatrix} I_x^2 & I_x I_y & I_xI_t \\ I_xI_y & I_y^2 & I_yI_t \\ I_xI_x & I_t I_y & I_t^2 \\\end{bmatrix}\end{align*} \]

其中的权重\(w\)一般使用高斯核，则通过\(\frac{\partial E(u, v)}{\partial (u, v)}=0\)可以得到

\[\begin{align*}G_{\sigma} \ast \begin{bmatrix} I_x^2 & I_x I_y \\ I_xI_y & I_y^2 \end{bmatrix} \begin{bmatrix} u \\ v \end{bmatrix} = -G_{\sigma} \ast \begin{bmatrix} \sum w(x, y)I_xI_t \\ \sum w(x, y)I_yI_t \end{bmatrix}\end{align*} \]

光流法用于目标跟踪的原理为：