三维重建笔记——稠密重建

稠密重建(Multiple View Stereo)

即多视图立体几何，目的是在相机位姿已知的前提下，逐像素的计算图像中每一个像素点对应的三维点，得到场景物体表面密集的三维点云。
输入：多视角图像、相机位姿
输出：稠密点云

第三种方法常用，因为可以并行计算，不受图像规模的影响。
稠密重建假设相机的位姿、内参都已知，在三维空间中具有图像一致性(Photo-consistency)的点

什么叫图像一致性呢？
假设对于下面两幅图像和这样一个三维场景，若选择的三维点位于物体的表面上，那么这个三位点根据相机的内外参投影到图像上，以投影点为中心取出两个方形的小patch，那么它们所包含的场景应该是比较类似的。

反之，如果这个点在物体外，两个小patch相差是比较大的，若能度量两个patch之间的一致性，就可以衡量这个三维点是否位于物体表面或者位于这个物体表面的概率大小。







如果在左图像中选择了一个方形的窗口，那么这个窗口中的每一个点在右图像中它的对应点在哪里呢？因此用了多视几何中单应变换来完成左右两幅图像中点的对应。

假设左右两幅图像两个窗口满足单应变换，基本前提是两个窗口中的所有点都要位于空间的同一平面。

但有下面图像中的窗口里。背景点和物体点显然不在同一个平面。因此可以使用Adaptive weight。

还可以发现在背景中呈现了表较明显阶梯状，这是因为假设的前提，假设所有平面都是平行于相机平面。更合理的方式，在聚合时不同平面的像素点使用不同法向空间平面进行聚合。并没计算出深度图，并不知道每一个点实际的空间法向是多少。找几个除平行于相机平面的，特定的平面如30°、60°等等。



PatchMatch的思路：既然找到空间平面所在的法向对聚合很重要，干脆就为每一个像素点寻找一个最优的空间法向，但不可能全都遍历一遍。随机初始化和零的传播