相机外参和内参矩阵

相机与变换

一、内参与外参概念

在计算机视觉中，特别是在相机标定和立体视觉领域，内参（Intrinsic Parameters）和外参（Extrinsic Parameters）是非常重要的概念。它们与相机的几何属性和姿态有关。

• 内参（Intrinsic Parameters）： 内参是描述相机内部属性的参数，包括焦距、主点（光学中心）坐标、畸变系数等。内参通常在相机标定时确定，因为它们通常对于特定相机型号是固定的，不随时间变化。一旦相机内参被确定，它们在相机的使用过程中通常是保持不变的。
• 外参（Extrinsic Parameters）： 外参是描述相机在世界坐标系中的位置和姿态的参数，通常包括旋转矩阵和平移向量。外参在不同的相机位置或拍摄时刻可能会发生变化。例如，在立体视觉中，如果有两个相机，那么它们的相对位置和方向会在每次移动相机时发生变化，从而导致外参的变化。如果相机不发生位置和方向的变化，比如相机固定在一个固定位置，那么外参在很长一段时间内可能保持不变。然而，如果相机的位置或方向发生变化，例如移动相机或更改拍摄角度，外参会随之变化。

二、四个坐标系

四个坐标系的意义，世界坐标系（参考坐标系）、摄像机坐标系 、图像物理坐标系和像素坐标系。

1. 世界坐标系就是物体在真实世界中的坐标，比如黑白棋盘格的世界坐标系原点定在第一个棋盘格的顶点，$X_w$，$Y_w$，$Z_w$互相垂直，$Z_w$方向就是垂直于棋盘格面板的方向。可见世界坐标系是随着物体的大小和位置变化的，单位是长度单位。只要棋盘格的大小决定了，无论板子怎么动，棋盘格角点坐标一般就不再变动(因为是相对于世界坐标系原点的位置不变)，且认为是$Z_w=0$。
2. 相机坐标系以光心为原点，以平行于图像的$x$和$y$方向为$X_c$轴和$Y_c$轴，$Z_c$轴和光轴平行，$X_c$，$Y_c$，$Z_c$互相垂直，单位是长度单位。
3. 图像物理坐标系以主光轴和图像平面交点为坐标原点(一般为图像中心)，$x$和$y$方向如图所示，单位是长度单位。
4. 图像像素坐标系以图像的左上顶点为坐标原点，$u$和$v$方向平行于$x$和$y$方向，单位是以像素计。

相机成像过程一般涉及到四个坐标系的变换，变换关系为：$(U,V,W)$是世界坐标系，经过刚体变换（如：旋转、平移）后变为了相机坐标系，再次经过透视投影转变为了图像坐标系，最后经仿射变换转换为了像素坐标系$(u,v)$。

我们考虑最简单的小孔成像模型：

为了分析的方便，经常将成像平面沿小孔（光心）对称处理，使图像不再倒立，如图中蓝色实线所指平面。

三、相机外参

首先，处于真实世界中的物体都有一个默认坐标系,称为世界坐标系$O-X_w{Y}_w{Z}_w$。不同的相机可能会从不同的角度进行拍摄。即不同的$\varphi$，$\theta$ ($\varphi \in [0,2\pi ]$，$\theta \in [-\frac{\pi }{2},\frac{\pi }{2}]$)以及此时小孔位置的三维坐标。即我们可以通过绕$Z_w$轴和绕$X_w$轴旋转坐标系、然后再对坐标系进行平移，来将世界坐标系上的一个点转移到相机坐标系下的表示。假设此时相机的位置是$(x,y,z)$，那么可以先绕$X_w$轴旋转$\varphi$，再绕$Z_w$轴旋转$\theta$:

$$\begin{array}{c}{R}_{\theta }=\left[\begin{array}{ccc}\cos \theta & -\sin \theta & 0\\ \sin \theta & \cos \theta & 0\\ 0& 0& 1\end{array}\right],R_{\varphi }=\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos \varphi & -\sin \varphi \\ 0& \sin \varphi & \cos \varphi \end{array}\right]\\ R=R_{\theta }{R}_{\varphi }=\left[\begin{array}{ccc}\cos \theta & -\sin \theta \cos \varphi & \sin \theta \sin \varphi \\ \sin \theta & \cos \theta \cos \varphi & -\cos \theta \sin \varphi \\ 0& \sin \varphi & \cos \varphi \end{array}\right]\end{array}$$

同时，平移向量可以表示为$T=[x,y,z]$，那么我们可以通过齐次坐标构造一个位姿矩阵$C$:

$$C=\left[\begin{array}{cc}\underset{3\times 3}{R}& \underset{3\times 1}{T}\\ \mathbf{0}& 1\end{array}\right]$$

矩阵$C$又叫相机外参。这样就能通过左乘$C$将世界坐标转换成相机坐标(w2c)：

$$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}\underset{3\times 3}{R}& \underset{3\times 1}{T}\\ \mathbf{0}& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]$$

四、相机内参

接着考虑上图ii的下面部分，假设相机坐标下的点$P(x_c,y_c,z_c)$，焦距为$f_c$，物理成像平面上的点$p=(x,y)$。则点$P$经过相机的光心$O$投影到物理成像平面为点$p$。由相似三角形可以得到：

$$\frac{x_c}{x}=\frac{y_c}{y}=\frac{z_c}{f_c}$$

写成矩阵形式为：

$$z_c\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{f}_c& 0& 0\\ 0& f_c& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]$$

最后得到了投影平面上图像的坐标，但要注意，我们此时仍然在物理坐标系下。即如果现在这些字母都有个单位的话，那么它们应该是米或毫米。距离我们熟悉的图片还有一步：从图像坐标系变换至像素坐标系。为了实现这一点，我们进行了水平和竖直方向的伸缩变换以及平移变换，将坐标系的原点从光心转移到（通常时候）图像的左上角：

假设在物理成像表面固定着像素平面$O-UV$，设$p$在像素平面坐标系上的坐标为$(u,v)$。我们设像素坐标在$U$轴上缩放$\alpha$倍，在$V$轴上缩放了$\beta$倍。同时，原点平移了$(c_x,c_y)$。可以得到$p$与像素坐标的关系：

$$u=\alpha x+c_x$$

$$v=\beta y+c_y$$

带入$P(x_c,y_c,z_c)$与$p=(x,y)$的关系可得：

$$u=\alpha f_c\frac{x_c}{z_c}+c_x=f_x\frac{x_c}{z_c}+c_x$$

$$v=\beta f_c\frac{y_c}{z_c}+c_y=f_y\frac{y_c}{z_c}+c_y$$

其中，我们用$f_x$替换了$\alpha f_c$，$f_y$替换了$\beta f_c$ 。$f_x,f_y$的单位是像素。

用齐次坐标，写为矩阵形式：

$$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)=\frac{1}{z_c}\left(\begin{array}{ccc}{f}_x& 0& c_x\\ 0& f_y& c_y\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right)=\frac{1}{z_c}\mathbf{K}P$$

这里$c_x$一般近似为$W/2$，$c_y$一般近似为$H/2$。所以整个的这个变换过程可以整理成：

$$\begin{array}{rl}{z}_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]& =\left[\begin{array}{ccc}\frac{1}{dx}& 0& c_x\\ 0& \frac{1}{dy}& c_y\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{f}_c& 0& 0& 0\\ 0& f_c& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_{3\times 3}& T_{3\times 1}\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]\\ & =\left[\begin{array}{cccc}{f}_x& 0& c_x& 0\\ 0& f_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}{R}_{3\times 3}& T_{3\times 1}\\ 0& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]\\ & =\left[\begin{array}{cccc}{f}_x& 0& c_x& 0\\ 0& f_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]\\ & =\left[\begin{array}{cccc}{f}_x& 0& c_x& 0\\ 0& f_y& c_y& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]\end{array}$$

其中，$f_x=\frac{f_c}{\mathrm{d}x},f_y=\frac{f_c}{\mathrm{d}y}$。表示将物理坐标上的焦距映射进像素尺寸$(dx,dy)$中的缩放，然而其实大多数情况下其实都有$dx=dy$，即像素是一个正方形。得到的第一个矩阵简记为$K$，也叫相机内参。获取相机内参和外参的方法即相机标定。