立体视觉 StereoVision
双目相机
原理
相机标定
图像校正
立体匹配
- 匹配代价计算(Matching Cost Computation:CC)
- 代价聚合(Cost Aggregation:CA)
- 视差计算(Disparity Computation )
- 视差精化(Disparity Refinement ):对上一步得到的粗估计的视差图进行精确计算,策略有很多,例如plane fitting,BP,动态规划等。这里不再熬述。
全局匹配算法得到的结果比较准确,但是其运行时间比较长,不适合实时运行。主要的算法有图割(graph cuts)、信念传播(belief propagation)、动态规划(Dynamic Programming )等算法。
局部匹配算法基本原理是给定在一幅图像上的某一点,选取该像素点邻域内的一个子窗口,在另一幅图像中的一个区域内,根据某种相似性判断依据,寻找与子窗口图像最为相似的子图,而其匹配的子图中对应的像素点就为该像素的匹配点。通常方法有SAD、SSD、NCC等等。
视差计算 Disparity map
深度计算 Depth map
多视角立体视觉 MVS
三维重建
链接:https://www.zhihu.com/question/53565660/answer/475141180
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
针对初学者
书籍I Computer Vision for Visual Effects
书籍II Computer Vision Algorithms and Applications
针对具备一定基础的同学
三维重建的每个基础模块挑选了 1-2 篇代表性文献,强烈建议阅读以下相关的原著文献, 这些文献是经过时间检验非常经典的文献,这将大大提升你们的科研和工程能力。 这些文章包括:
Sift 特征点检测
[1] Distinctive Image Features from Scale-Invariant Keypoints
增量 SFM
[2] Photo Tourism Exploring Photo Collections in 3D
[3] Structure-from-Motion Revisited
稠密匹配&&多视角立体视觉
[4] Multi-View Stereo for Community Photo Collections
表面重建
[5] Reconstruction and Representation of 3D Objects with Radial Basis
纹理贴图
[6] Let it be color! Large-Scale Texturing of 3D Reconstructions
相关网站
我们也提供一些相关的网站,这些网站是一些比较著名的开源系统。
MVE: https://www.gcc.tu-darmstadt.de/home/proj/mve/index.en.jsp
Bundler: http://www.cs.cornell.edu/~snavely/bundler/
VisualSFM: http://ccwu.me/vsfm/
OpenMVG: https://openmvg.readthedocs.io/en/latest/software/SfM/SfM/
ColMap: https://demuc.de/colmap/
相关的开源代码
https://github.com/colmap/colmap
https://github.com/simonfuhrmann/mve
Ref:
https://www.bilibili.com/video/BV1pk4y167eE 小亮
https://www.zhihu.com/question/53565660
SFM - Structure from Motion, 用一个移动的单目相机拍的照片可以得到深度信息,也可以用来做三维重建
SLAM - 同时定位和建图,和SFM解决同样的问题,只是强调了同时,就是实时性
Image Rectification - 图像矫正是通过分别对两张图片用单应(homography)矩阵变换(可以通过标定获得)得到的
Ref:
- 立体视觉算法汇总|单目、双目、多目
- 立体匹配算法原理与应用-奥比中光 讲了各种代价函数,E2E 各种网络