DPVO 精读和代码解读
DPVO 论文解读
1) a deep feature-based patch representation for keypoints which encodes their local context
2) a novel recurrent architecture designed to track a sparse collection of these patches through time—alternating patch trajectory updates with a differentiable bundle adjustment layer to allow for end-to-end learning of reliable feature matching. This efficiency boost enables the design of DPVO to allocate resources towards components which improve accuracy, which are described in Sec. 3.
1）一种基于深度特征的对 关键点的 patch 表示，用于编码其局部上下文
2）一种新颖的 recurrent 架构，旨在跟踪这些 patches 在时间上的稀疏集合——交替更新 patch 轨迹与 可微分 bundle adjustment 层，以允许对可靠的特征匹配进行端到端学习。 这种效率提升使 DPVO 的设计能够将资源分配到提高准确性的组件，这些组件将在第 3 节中描述。
bundle adjustment 名词解释：
当机器人通过传感器（通常包括摄像头）查看场景时，它们需要确定场景中物体的 3D 位置，以及摄像头本身的位置和方向。这个过程是我们所说的“重建”的一部分。
现在，想象一下机器人从不同角度拍摄一个场景的多张照片。每张图片的视图都略有不同。这就像当您在房间里走动时，从不同的位置观察桌子。从每个角度来看，桌子的形状和位置可能看起来有点不同，对吗？这对机器人来说是一个挑战，因为它需要协调这些不同的视图才能准确地理解场景。
这就是 bundle adjustment 的用武之地。bundle adjustment 是一个数学过程，试图最小化场景和相机位置的 3D 重建中的误差。它获取所有图像以及相机位置和 3D 场景点的初始猜测，并通过最小化观察到的图像点与投影到相机图像平面上的 3D 点之间的差异来完善这些猜测。
光束法平差有两层意思：
对场景中任意三维点P，由从每个视图所对应的的摄像机的光心发射出来并经过图像中 P 对应的像素后的光线，都将交于P这一点，对于所有三维点，则形成相当多的光束（bundle）；实际过程中由于噪声等存在，每条光线几乎不可能汇聚与一点，因此在求解过程中，需要不断对待求信息进行调整（adjustment），来使得最终光线能交于点P。平差就是抹平误差, 简称BA。
参考：
