《基于图像点特征的多视图三维重建》——相关概念汇总笔记
1. 基于图像的图像3D重建 传统上首先使用 Structure-from-Motion 恢复场景的稀疏表示和输入图像的相机姿势。
然后，此输出用作Multi-View Stereo（多视图立体）的输入，以恢复场景冲密集表示。
path/to/project/sparse ---------------- 包含所有重建组件的稀疏模型
path/to/project/dense ---------------- 包含其相应的密集模型
Structure-from-Motion （运动推断结构）是将3D结构从其投影重建为一系列图像的过程。
1.特征点检测和提取
2.特征匹配和几何验证
3.结构和运动重建
Multi-View Stereo（多视图立体）获取SfM的输出以计算图像中 每个像素的深度 和/或 法线信息。
**** 透视相机模型(perspective camera model) / 小孔成像 ****
图像特征点检测与匹配
特征点检测算法
1. Laplacian检测算法
2. DOG（difference of Gaussian）检测算法
3. Harris-Affine Hessian-Affine
4. SIFT（scale-invariant feature transform）尺度不变特征变换
特征点描述：
1.SIFT描述符
2.PCA-SIFT
3.SURF（speedd up robust features）
特征点匹配
1.LSH（locality sensitive hashing） 局部敏感哈希
2.基于层次的k均值（hierarchical k-means）
3.ANN（approximate nearest neighbor） 高维近似最邻近
4.RANSAC（random sample consensus） 随机采样一致
基于图像的稀疏三维重建
相机定标
三维重建中的相机定标（camera calibration）指的是求解相机投影矩阵（camera projection matrix）过程。
相机投影矩阵由相机的内部参数（intrinsic parameters）和外部参数（extrinsic parameters）共同决定。
内部：焦距 主点 外部：旋转矩阵 平移向量组
自定标（self calibration） 利用绝对二次曲线（absolute conic,AC）及其对偶(dual absolute conic, DAC)成像的不变性
运动推断结构（structure from motion, SfM）
在相机内部参数已知的情况下，同时恢复相机的外部参数和三维场景结构的过程。
最新的SfM方法的改进包括：采用相机姿态估计来初始化相机参数；采用新的启发式方法选择初始两视图；
引入三维重建点筛选过程提出质量较差的重建结过，以及使用从图像文件EXIF标记中提取的焦距信息
集束优化（bundle adjustment, BA）
误匹配产生了外点（outlier） RANSAC处理外点
鲁棒三维重建方法
加速：平衡三焦距张量树组织 分层聚类树组织
多视图稠密匹配与三维重建
算法回顾
多视图立体（multi-view stereo, MVS）的目标是从多副定标图像中重建完整、稠密的三维模型。
第一类算法首先在三维体积（3D volumn）中计算某种代价函数，然后从此三维体积中抽取物体的表面模型
体素着色（voxel coloring）及其变种 体积马尔可夫（volumetric MRF） 最大流（max-flow） 多路图割（multi-way graph cut）
第二类算法通过迭代的表面进化来最小化某种代价函数。
体素（voxel） 水平集（level-set） 多边形网格 空间雕刻（space varving）及其变种
第三类方法利用基于图像空间的方法计算一系列深度图。
第四类算法直接通过图像特征提取和匹配来获得图像对应，然后建立场景的稠密或准稠密（quasi-dense）三维点云，最后从稠密三维点云中重建三维表面模型。
性能评估
Middlebury Multi-view Stereo
多视图水下三维重建
水下成像与折射变形
折射建模
折射相机模型（refractive camera model）显示的对折射建模
惯性测量单元（inertial measurement unit, IMU）
多视图几何中常用的优化方法
分为确定性方法和非确定性算法
确定性方法
数值迭代算法：GNA（Gauss-Newton algorithm）、GDA（gradient descent algorithm） 和 LMA（Levenberg Marquardt algorithm）
集束优化（BA）
第二章--多视图几何及多视图三维重建基础
多视图三维重建就是从多副二维图形中获取场景的结构和个图像对应的相机信息。
在不改变相机定标矩阵的情况下，三维重构可以是相差一个任意相似变换（平移、旋转和缩放）的重构，因此通常所说的多视图三维重建实际上是一种度量三维重建（metric 3D reconstruction）
第三章--图像点特征检测以及多视图匹配
多视图稀疏点特征对应关系的确立步骤：
1. 利用图像点特征检测算法搜索定位图像中可能与其他图像存在对应关系的兴趣点；
2. 对图像点特征周围一定范围的区域进行描述，为每个图像点特征提供一个描述子（通常为高维特征向量）
3. 在点特征定位和描述的基础上，通过描述子匹配建立各图像中稀疏点特征之间的对应关系。
Harris点特征检测
SIFT（scale-invariant feature transform）尺度不变特征变换：在尺度空间（scale space）中寻找极值点来检测稳定的点特征。
尺度空间理论的基本思想是在图像信息处理模型中引入尺度参数，通过变化尺度参数获得多尺度下的空间表示序列，在尺度空间中提取不同分辨率的图像特征
高斯查分（DOG difference of Gaussian）
SIFT点特征描述子的构建主要包含旋转主方向估计、描述子生成等步骤。
RANSAC（random sample consensus, 随机抽样一致）
第四章--多视图三维重建相关优化方法基础
非线性优化算法 非线性最小二乘优化方法及三种全局优化方法
全局优化方法包括确定性优化方法中的凸优化（convex optimization）方法,非确定优化方法中的差分进化（differential evolution）算法以及混合优化（hybrid optimizatioin）方法
非线性最小二乘优化算法： 高斯牛顿迭代算法（Gauss-Newton algorithm） 莱文伯格-马夸特迭代法（Levenberg-Marquardt algorithm）--集束优化应用了部分规律
凸优化问题-线性规划问题（Linear programming,LP）和二阶锥规划问题（second-order cone programming, SOCP）
凸优化求解问题的内点算法（interior-point algorithm）
差分进化（differential evolution）
