一分钟详解三维重建学习路线
作者:庞巧遇
来源:公众号@3D视觉工坊
三维重建在计算机视觉中是十分重要的,其中涉及很多的技术内容,为了后来人能少走弯路,也为了对自己的知识框架系统总结,特记录自己的学习路线。
1、什么是三维重建
三维重建 ,英文名称是3D Reconstruction。三维重建是将三维的物体在虚拟世界中重建出来,通俗点说,我们做的就是照相机的逆操作(照相机是将现实中的物体呈现在二维图片中,而三维重建是将二维图片中的信息在三维虚拟空间中显现)。
2、三维重建有什么用
随着2010年阿凡达在全球热映以来,三维计算机视觉的应用从传统工业领域逐渐走向生活、娱乐、服务等,比如AR/VR,SLAM,自动驾驶等都离不开三维视觉的技术。三维视觉最近几年再度火热,一方面归功于三维传感器(如Kinect)的快速发展和价格方面的调整,另一方面由于深度学习在计算机视觉方向的应用,智能移动机器人、无人驾驶、无人机、AR等发展迅速。
3、三维重建学习路线
1) 对初学者:
书籍:
视觉SLAM十四讲-从理论到实践,高翔计算机视觉-算法与应用(Richard Szeliski 艾海舟<译> 清华大学出版社)Computer Vision Algorithms and ApplicationsComputer Vision for Visual Effects
视频课程:
·视觉SLAM十四讲-从理论到实践:
https://www.bilibili.com/video/BV1eJ411H7mG/?spm_id_from=333.788.videocard.3
·极简三维视觉六小时课程视频:浙大谭平教授 :
https://www.bilibili.com/video/BV124411W775?p=1对于初学者的建议是学习好多视几何基础,先利用仿真数据跑通上面说的主线流程,再结合具体的开源项目去理解算法,再结合实际传感器和问题去改善或者提出新的算法,在这个过程中要善用一些可视化工具比如Meshlab, cloudcompare, matplotlib.pyplot等,可以节约大量时间。
2) 针对具备一定基础后:
三维重建的每个基础模块挑选了 1-2 篇代表性文献,强烈建议阅读以下相关的原著文献, 这些文献是经过时间检验非常经典的文献,这将大大提升你们的科研和工程能力。
大家可以加入我们的QQ讨论群(群号:574432628),提前获得本场直播的pdf课件。
书籍:
《计算机视觉中的多视几何》(Muiltiple View Geometry,简称MVG) (Richard Hartley 韦穗<译>)
文献:
·Sift 特征点检测
[1] Distinctive Image Features from Scale-Invariant Keypoints
·增量 SFM
[2] Photo Tourism Exploring Photo Collections in 3D[3] Structure-from-Motion Revisited
·稠密匹配&&多视角立体视觉
[4] Multi-View Stereo for Community Photo Collections
·表面重建
[5] Reconstruction and Representation of 3D Objects with Radial Basis
·纹理贴图
[6] Let it be color! Large-Scale Texturing of 3D Reconstructions
3) 下面是比较著名的开源系统:
·MVE:
https://www.gcc.tu-darmstadt.de/home/proj/mve/index.en.jsp
·Bundler:
http://www.cs.cornell.edu/~snavely/bundler/
·VisualSFM:
http://ccwu.me/vsfm/
·openMVG:
https://openmvg.readthedocs.io/en/latest/software/SfM/SfM/
·ColMap:
https://demuc.de/colmap/
Source and Executable Download:
http://www.cs.jhu.edu/~misha/Code/
4) 相关开源代码
COLMAP - Structure-from-Motion and Multi-View Stereo:
https://github.com/colmap/colmap
Multi-View Environment:
https://github.com/simonfuhrmann/mve
Algorithm to texture 3D reconstructions from multi-view stereo images:
https://github.com/nmoehrle/mvs-texturing
SFMedu: A Matlab-based Structure-from-Motion System for Education:
https://github.com/jianxiongxiao/SFMedu
参考:
1.https://blog.csdn.net/qq_33294094/article/details/51759246?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~all~first_rank_v2~rank_v25-3-51759246.nonecase&utm_term=%E4%B8%89%E7%BB%B4%E9%87%8D%E5%BB%BA%E5%AD%A6%E4%B9%A0%E8%B7%AF%E7%BA%BF2.https://blog.csdn.net/shyjhyp11/article/details/103890479
本文仅做学术分享,如有侵权,请联系删文。
下载1在「3D视觉工坊」公众号后台回复:3D视觉,即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2在「3D视觉工坊」公众号后台回复:3D视觉优质源码,即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3在「3D视觉工坊」公众号后台回复:相机标定,即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配,即可下载独家立体匹配学习课件与视频网址。