论文阅读: VITAMIN-E: Extremely Dense Feature Points

Abstract

propose了一种非直接法叫"VITAMIN-E": 准确而鲁邦, 跟踪的是稠密特征.

传统非直接法对于重建稠密几何有难度因为他们对于点的选择(为了匹配)很慎重.

和传统的方法不同, 这个方法处理了大量的特征点通过跟踪局部的曲度的极值通过dominant flow estimation.

因为这可能会导致大量的计算量, 我们用subspace Gauss-Newton method通过局部更新变量来提升BA的计算量表现.

我们同时也会对于重建出来的点生成mesh然后用一个entire 3D model来融合他们.

1. Introduction

直接法:他们不要求准确的像素匹配, 但是直接法对于噪声, 光照抖动, 镜头aberration不鲁邦.

非直接法: 最小化几何误差. 非直接法显示的建立特征点的匹配, 外点可以很容易的被RANSAC或者是M-estimatio移除.

这个特性也可以是一个缺点: 使得重建的3D图很稀疏,也不会提供几何细节. 一些稠密的方法比如PMVS或者是L-PMVS可以用,但是都是不实时的.

我们的方法tracking了很大数量的特征点.

Contributions:

1. 引入了一种新的dense feature point tracking algorithm基于dominant flow estimation和 curvature extrema tracing. 这使得VITAMIN-E可以处理大量的特征点
2. 引入了一种optimization technique: subspace Gauss-Newton method.
3. 根据特征点生成mesh, 然后用TSDF(truncated signed distance function)结合他们.

2. Dense Feature Point Tracking

2.1 Feature Point Tracking

用图像描述子的非直接法会不准因为不准确的特征点匹配.

光流法这种持续跟踪然后更新特征描述子的可能会有用, 但是如果跟的点开始有些及时是极少的漂移,那么多视图的跟踪结果就会不准确.

VITAMIN-E用了不同的方法, 它跟踪curvature的局部极值. 在我们的方法中, 特征点代表着图像intensities的curvature的极值.

让\(f(x, y)\)表示图像, 图像的curvature是\(\kappa\).

\[\kappa=f_{y}^{2} f_{x x}-2 f_{x} f_{y} f_{x y}+f_{x}^{2} f_{y y} \]

VITAMIN-E通过在图像序列跟踪curvature $\kappa (x, y, t) $来建立点的匹配.

上图的(a)表示了这个过程的一个案例.

2.2 Dominant Flow Estimation

在检测了curvature的极值以后, 然后dominant flow(代表了optical flow的平均?), 它提懂了一个extrema tracking的一个很好的初值, 也使得起非常鲁邦.

然后我们决定在前后帧中的两点是不是匹配是用BRIEF的, 因为我们只需要判定粗略的特征点对, 特征匹配是在一个低精度的图上操作的, 一个1/6的图上.

然后我们拟合一个仿射变换\(y= Ax+b\), \(x\)和\(y\)表示特征点在之前帧和当前帧的位置. 然后\(A\)和\(b\)代表\(2\times2\)的矩阵和2维的translation.

\[E=\sum_{i}^{N} \rho\left(\left\|\boldsymbol{y}_{i}-\left(A \boldsymbol{x}_{i}+\boldsymbol{b}\right)\right\|_{2}\right) \]

用一个2d仿射model点在图像上的移动.

这里\(N\)是所有的匹配, 而\(\rho\)表示M-estimation的核函数.

\[\rho(x)=\frac{x^{2}}{x^{2}+\sigma^{2}} \]

注意VITAMIN-E不用传统的特征点匹配作为核心, 而是只是作先验信息.

2.3 Curvature Extrema Tracking

因为它是基于extrema而不是特征描述子, VITAMIN-E是对于由于噪声/光照变化有抗噪性的.

根据\(A\)和\(b\)的dominant flow, 我们先预测点\(x_{t_0}\)的当前位置$$\overline{\boldsymbol{x}}{t{1}}$$

\[\overline{\boldsymbol{x}}_{t_{1}}=A \boldsymbol{x}_{t_{0}}+\boldsymbol{b} \]

然后, 预测$$\overline{\boldsymbol{x}}{t{1}}$$会被修正到$$\boldsymbol{x}{t{1}}$$, 通过下述的方程:

\[F=\kappa\left(\boldsymbol{x}_{t_{1}}, t_{1}\right)+\lambda w\left(\left\|\boldsymbol{x}_{t_{1}}-\overline{\boldsymbol{x}}_{t_{1}}\right\|_{2}\right) \]

这里\(\kappa\)代表每个像素的curvature, 然后$$w(x)=1-\rho(x)$$是一个evaluation function, 然后\(\lambda\)表示预测的权重.

maximization是用hill climbing method在邻近的8个像素取得的. \(w\)会防止这个过程会坠入另一个错误的extrema.

注意在录像里极值太多了, dominant flow的预测还是很给力.

3. Bundle Adjustment for Dense Tracking

3.1 Bundle Adjustment

\[E=\sum_{i}^{N} \sum_{j}^{M} \rho\left(\left\|\boldsymbol{u}_{i j}-\phi\left(R_{j}^{T}\left(\boldsymbol{p}_{i}-\boldsymbol{t}_{j}\right)\right)\right\|_{2}\right) \]

这里\(N\)是特征点数，而\(M\)表示相机位姿数.

然后就是高斯牛顿:

\[H \delta \boldsymbol{x}=-\boldsymbol{g}, \quad \boldsymbol{x}=\boldsymbol{x}+\delta \boldsymbol{x} \]

感觉schur complement要出现了:

\[H=\left[\begin{array}{cc}{H_{c c}} & {H_{c p}} \\ {H_{c p}^{T}} & {H_{p p}}\end{array}\right], \quad \boldsymbol{g}=\left[\begin{array}{l}{\boldsymbol{g}_{c}} \\ {\boldsymbol{g}_{p}}\end{array}\right] \]

\[\begin{aligned}\left(H_{c c}-H_{c p} H_{p p}^{-1} H_{c p}^{T}\right) \delta \boldsymbol{x}_{c} &=-\boldsymbol{g}_{c}+H_{c p} H_{p p}^{-1} \boldsymbol{g}_{p} \\ H_{p p} \delta \boldsymbol{x}_{p} &=-\boldsymbol{g}_{p}-H_{c p}^{T} \delta \boldsymbol{x}_{c} \end{aligned} \]

在稠密的extrema跟踪中, \(H\)的size还是太大了.

3.2 Subspace Gauss-Newton Method

.. (回头再补, 目前不是太感兴趣)

4. Dense Reconstruction

有一大堆精准的3D点.

Meshing and Noise Removal: 首先把3D点投影到图像上,然后用Delaunay Triangulation来生成三角meshes. 然后我们用NLTGV最小化来移除mesh上的噪声. NLTGV最小化能够让meshes更加平滑, 然后保持局部的表面的结构. 不像其他的经典的mesh去噪算法, 比如laplacian smoothing.

Mesh Integration in TSDF

5. Experiment Results

我们用EuroC的左视图来测单目SLAM.

在VITAMIN-E中, 我们用P3P RANSAC 初始化相机, 然后三角化特征点. 这个过程都太快了, 所以我们对买一个帧都做, 而不是关键帧.

..

6. Conclusion

我们用了一个单目视觉SLAM方法重建了稠密的geometry.