立体视觉：关键矩阵（本质矩阵，基础矩阵，单应矩阵）

双目视觉中三个关键的矩阵：本质矩阵、基础矩阵、单应性矩阵，它们可以建立两个视图公共点之间的坐标联系，或者完成公共点之间的坐标转换。

在双目立体系统中，在双相机的相机坐标系之间建立一个旋转和平移转换关系，也就是外参矩阵R和t，直观上来说，它们将空间点在左相机的相机坐标系坐标转换为在右相机的相机坐标系坐标，实质上，它们是描述两个相机的相对位姿关系，让两者紧密相连。如下图为一个典型的双目结构图。

                                               

 

 

 对于R和t，给出纯数学上的描述，假设空间点P在左相机相机坐标系下的坐标为P，在右相机相机坐标系下的坐标为P'，则满足：

                                                                          

除此之外，还通常会将双目系统的世界坐标系放在左相机的中心，并和左相机坐标系完全重合，从这个角度来说，R,t相当于是右相机在世界坐标系下的外参，而左相机在世界坐标系的外参则是I，0（I为单位阵）。

本质矩阵和基础矩阵

设空间点P在左相机坐标系下坐标为P，则在右相机坐标系下的坐标为RP+t，其在左右相机视图中的投影点分别为p1, p2。基于相机坐标系到影像坐标系的转换公式，得到如下转换式：

                            

 

 

 中间省略一大串公式，得到：

                                （3）

 

该式描述了像平面坐标x1, x2之间的联系，即空间点在两个像平面的成像点通过外参矩阵R,t建立了一个等式关系，或者称为一种约束关系：对极约束。

 但是，x1,x2并不是原始像点坐标，而是左乘内参矩阵K之后的坐标，把x1,x2还原成p1, p2，得到

                                  （4）

 

式（3）和式（4）等价，几何意义是O1,P,O2,p1, p2共面（见下图）。我们把上面两式像点中间夹着的部分记做两个矩阵：本质矩阵和基础矩阵。

单应性矩阵

本质矩阵和基础矩阵并不是两个像素之间的相互转换关系，而是一种坐标之间的内在约束式。单应性矩阵是可以直接将左视图像素坐标转换到右视图对应点像素坐标的表达式，但有特定条件：当空间中场景是同一个平面时，它们在左右视图的投影点可通过可逆的单应性矩阵一对一相互转换，表达式为

                                                    p2 = H p1, p1 = H^-1p2

实际上，单应性矩阵不只是描述同一平面的像素点之间的关系，而是同一平面在任意坐标系之间都可以建立单应性变换关系，比如影像坐标系与影像坐标系之间，世界坐标系和影像坐标系之间，如下图所示，

                                               

 

 在双目立体视觉内，单应性变换是Zhang式相机标定法的理论基础，纯平的标定板平面和影像平面存在单应性变换关系，同时它们存在世界坐标系到影像坐标系之间的投影变换关系，两个关系对等即可求解相机的内外参数。

                                    

 

 

 

 

 

 参考博客：https://ethanli.blog.csdn.net/article/details/113854675

 版权声明：本文为CSDN博主「李迎松~」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/rs_lys/article/details/113248118