单应矩阵，基本矩阵，本质矩阵

1.归一化图像坐标
2.本质矩阵 essential matrix
2.1 本质矩阵的推导
2.2特点
3.相机内参
4.基本矩阵 fundamental matrix
4.2基本矩阵推导
4.1特点
5.完整模型：空间点到像素坐标
6.单应矩阵 homography matrix

• 参考barfoot 书 p195-

1.归一化图像坐标

• 这里相机坐标系为$F_s$,图像和坐标为O，这里假设焦距为1；图像坐标中心早光轴上。

  

• 空间中点P在摄像机坐标系下的三维坐标:

  

• 利用三角近似关系，P点的图像坐标(齐次坐标);
  同时假设已知图像坐标，反推会发现只能得到空间坐标的两个约束关系，或者说Z可以是任意值都满足约束关系，即深度无法得到；

  

2.本质矩阵 essential matrix

2.1 本质矩阵的推导

• 相机在不同时刻两帧图像同时观察到空间点P，如图：

  

• P在两帧上的图像坐标$F_a，F_b$满足几何约束：

  

• 其中$E_{ab}$称为本质矩阵，其参数由运动的pose决定,与相机内参无关;本质矩阵在位姿估计和相机标定上很有用；

  

• 约束关系的证明:

  

2.2特点

• 描述空间中一点在不同帧之间的几何约束关系
• 注意这里的图像坐标是空间点在相机平面投影点的齐次坐标（摄像机坐标系下表示）
• 本质矩阵和相机外参有关系，和内参无关

3.相机内参

• 这里采用假设焦距为1，图像中心在光轴上，图像像素坐标的原点图像左上角，像素坐标值单位都是像素(整数小格)；

  

• 像素坐标和归一化图像坐标(可以理解为空间点在平面投影几何坐标的齐次形式)的关系可以描述为:

  

• K为相机内参矩阵，$f_u,f_v$是焦距f的像素坐标，$c_u,c_v$是图像中心与图像和光轴交点的偏置（理想情况应该两点重合）；考虑到实际像素感光元是正方形的，参数应该对应近似相等；

4.基本矩阵 fundamental matrix

4.2基本矩阵推导

• 将图像归一化坐标替换为像素点坐标，得到基本矩阵约束（极线约束 epipolar constraint）

  

• 这里的基本矩阵约束称为极线约束，如下图，如果两帧之间的一个点坐标，外参矩阵已知，则空间点在另外一帧的坐标被约束在一条极线上，可以用来缩小图像匹配点的搜索范围
• 基本矩阵也可以用来极端内参矩阵

  

4.1特点

• 基本矩阵描述的是不同帧之间同一空间点像素坐标的几何约束关系,由本质矩阵约束中的归一化图像点替换为像素坐标点得到；
• 基本矩阵和相机内参，外参都有关系
• 基本矩阵描述的约束又称为极线约束

5.完整模型：空间点到像素坐标

• 空间点在相机坐标系的坐标到像素坐标的转换关系:
  P为齐次坐标到而为坐标的映射矩阵，这个模模型清晰的表示出深度信息的丢失，即无法从像素坐标估计出深度信息。

  

6.单应矩阵 homography matrix

• 空间点三维坐标到像素坐标（齐次形式）的转换：

  

• 如果已知观察的点在某个平面上，利用平面方程的先验信息可以估计出深度

  

• 已知相机中心到平面距离$d_i$和法向量$n_i$$，i=a,b$，可以得平面的法线方程

  

• 将空间坐标替换为像素坐标：

  

• 替换掉$z_i$,得到由像素齐次坐标到空间坐标的转换

  

• 空间点在前后两帧坐标系下的三维坐标的约束关系

  

• 带入第一个公式，得到两帧之间同一空间点的像素点坐标的约束关系

  

• 将上述公式简写为：

  

• 矩阵$H_{ab}$称为单应矩阵，其中$z_a/z_b$用来度量图像的齐次坐标，可以去掉；所以单应矩阵是pose和平面参数的矩阵；

null