图像三维重建方法综述
转载请说明出处：
http://blog.csdn.net/zhubaohua_bupt/article/details/74172831
利用相机进行三维重建已经不是一个新鲜的话题，重建的三维环境用途很广泛，
比如检测识别目标，作为深度学习的输入，视觉SLAM。
目前，比较流行的是单、双目的重建。根据重建的稀疏程度不同，可以分为以下以下几类：
稀疏重建：
通常是重建一些图像特征点的深度，这个在基于特征的视觉SLAM里比较常见，得到的特征点的深度可以用来计算相机位姿。稀疏重建在实际应用，比如检测，避障，不能满足需求。
半稠密重建：
通常是重建图像纹理或梯度比较明显的区域，这些区域特征比较鲜明。半稠密重建在直接法视觉SLAM里比较常见。重建的三维点云相对稠密，可以满足部分应用需求。
稠密重建：
稠密重建是对整个图像或者图像中的绝大部分像素进行重建。与稀疏、半稠密相比，稠密重建对场景的三维信息理解更全面，更能符合应用需求。但是，由于要重建的点云数量太多，相对耗时。
1 双目重建：
双目重建通常又称之为，立体匹配、双目匹配、双目立体视觉、静态匹配等。
根据所用的相机差异，比如针孔相机、鱼眼相机，实现略有差别。根据重建时匹配方式的不同，又可以分为全局、本全局、局部匹配。OpenCV的GM,SGBM,BM就分别实现了上述算法。
想要了解这方面知识，以上述关键字关键字（立体匹配、双目匹配、双目立体视觉）或（Stereo Matching）搜论文。比如[1][2][3]。其过程可描述如下：
利用左右相机得到的两幅矫正图像，通过一幅图在另一幅图上找匹配，然后根据三角测量原理恢复出环境三维信息。在鱼眼相机的匹配中，也有不矫正图像，直接匹配的做法，这样做需要计算图像极线。
由于整个匹配的过程只需一个时刻的左右图像，所以也有人称为静态立体视觉。
2 单目重建
传统的视觉方法（不包括深度学习）单目重建，利用单幅图像不能完成重建，需要时间域上一系列图像。
所以有人也称之为动态立体视觉。根据重建的实时性不同，可以分为离线重建和在线重建。
2.1离线重建：
比如 SFM技术，此技术根据在一段时间内获得的连续图像来重建一个三维环境。中文文献搜(运动恢复结构)，英文搜(Structurefrom motion)。
2.2在线重建：在线重建可以分为渐进式重建和直接式重建。在线重建或多或少都和VO或者(SLAM)有联系，因为重建的时候需要相机的位姿。
2.2.1渐进式重建
渐进式重建利用下一时刻的图像不断融合之前的三维信息，类似于卡尔曼滤波思想，而且三维重建实际上也是深度重建，因此，渐进式重建也称之为深度滤波。
比如：[4]SVO和[5]REMODE,这两个论文是一个作者，SVO和REMODE有深度滤波详细的过程，并且有开源实现代码。
SVO: https://github.com/uzh-rpg/rpg_svo (深度滤波在depth_filter.cpp里面)
REMODE:https://github.com/uzh-rpg/rpg_open_remode
2.2.2直接式重建
直接式重建，利用若干个时刻（一般几帧至几十帧）的图像，一次性完成对同一个场景的三维重建。
直接式重建也有人称之为深度融合，有点类似于SFM,与SFM不同的是，参与计算的图像少，实时性较高。
文章[7]是这方面的方法，但代码没有开源，如果比较了解深度滤波原理，这个也容易实现。
[1] Semi-Global-Matching
[2] Stereo Processing by Semi-Global Matchingand Mutual Information
[3] 基于鱼眼相机的立体匹配
[4] C.Forster, M. Pizzoli, and D. Scaramuzza, “SVO: Fast Semi-Direct Monocular VisualOdometry,” in Proc. IEEE Intl. Conf. on Robotics and Automation, 2014.
[5] MatiaPizzoli, Christian Forster, and Davide Scaramuzza. REMODE: Probabilistic,monocular dense reconstruction in real time. In International Conference onRobotics and Automation (ICRA), pages 2609–2616, Hong Kong,China, June 2014.
[6] V. Usenko,J. Engel, J. Stuckler, and D. Cremers. Reconstructing Street-Scenes inReal-Time From a Driving Car
[7] Ra´ulMur-Artal and Juan D. Tard´os Probabilistic Semi-Dense Mapping from HighlyAccurate Feature-Based Monocular SLAM,2015
