双目摄像头测距算法

双目摄像头测距算法

输入输出接口

Input：

（1）左右两个摄像头采集的实时图像视频分辨率（整型int）

（2）左右两个摄像头采集的实时图像视频格式 （RGB，YUV，MP4等）

（3）摄像头标定参数（中心位置（x,y）和5个畸变

系数（2径向，2切向，1棱向），浮点型float）

（4）摄像头初始化参数（摄像头初始位置和三个坐标方向

的旋转角度，车辆宽度高度车速等等，浮点型float）

Output：

（1）左右两帧图像匹配的图像视频分辨率（整型int）

（2）左右两帧图像匹配的图像视频格式（RGB，YUV，MP4等）

（3）左右两帧图像image/video 匹配后的深度信息（浮点型float）

（4）目标物与摄像头的距离  （浮点型float）

1.  功能定义

双目测距实际操作分4个步骤：相机标定——双目校正——双目匹配——计算深度信息。

相机标定：摄像头由于光学透镜的特性使得成像存在着径向畸变，可由三个参数k1,k2,k3确定；由于装配方面的误差，传感器与光学镜头之间并非完全平行，因此成像存在切向畸变，可由两个参数p1,p2确定。单个摄像头的定标主要是计算出摄像头的内参（焦距f和成像原点cx,cy、五个畸变参数（一般只需要计算出k1,k2,p1,p2，对于鱼眼镜头等径向畸变特别大的才需要计算k3））以及外参（标定物的世界坐标）。而双目摄像头定标不仅要得出每个摄像头的内部参数，还需要通过标定来测量两个摄像头之间的相对位置（即右摄像头相对于左摄像头的旋转矩阵R、平移向量t）。

双目校正：双目校正是根据摄像头定标后获得的单目内参数据（焦距、成像原点、畸变系数）和双目相对位置关系（旋转矩阵和平移向量），分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致（CV_CALIB_ZERO_DISPARITY标志位设置时发生作用）、两摄像头光轴平行、左右成像平面共面、对极线行对齐。这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。
    双目匹配：双目匹配的作用是把同一场景在左右视图上对应的像点匹配起来，这样做的目的是为了得到视差图。双目匹配被普遍认为是立体视觉中最困难也是最关键的问题。得到视差数据，通过上述原理中的公式就可以很容易的计算出深度信息。

2. 技术路线方案

双目视觉广泛应用在机器人导航，精密工业测量、物体识别、虚拟现实、场景重建，勘测领域。

双目视觉是模拟人类视觉原理，使用计算机被动感知距离的方法。从两个或者多个点观察一个物体，获取在不同视角下的图像，根据图像之间像素的匹配关系，通过三角测量原理计算出像素之间的偏移来获取物体的三维信息。

它的物理原理是这样的，首先请看下图：

 

 

图1. 双目测距

如图1，P是待测物体上的某一点，OR与OT分别是两个相机的光心，点P在两个相机感光器上的成像点分别为P和P’（相机的成像平面经过旋转后放在了镜头前方），f为相机焦距，B为两相机中心距，Z为我们想求得的深度信息，设点P到点P’的距离为dis，则：

 

 

根据相似三角形原理：

 

 

可得：

 

 

公式中，焦距f和摄像头中心距B可通过标定得到，因此，只要获得了（即视差d）的值即可求得深度信息，即：

假设目标点在左视图中的坐标为（x，y），在左右视图上形成的视差为d，目标点在以左摄像头光心为原点的世界坐标系中的坐标为（X，Y，Z），则存在所示的变换矩阵Q，使得。

 

 

 

 为了精确地求得某个点在三维空间里的距离Z，我们需要获得的参数有焦距f、视差d、摄像头中心距B。如果还需要获得X坐标和Y坐标的话，那么还需要额外知道左右像平面的坐标系与立体坐标系中原点的偏移c_x和c_y。其中f，d，c_x和c_y可以通过立体标定获得初始值，并通过立体校准优化，使得两个摄像头在数学上完全平行放置，并且左右摄像头的c_x，c_y和f相同。而立体匹配所做的工作，就是在之前的基础上，求取最后一个变量：视差d。从而最终完成求一个点三维坐标所需要的准备工作。在清楚了上述原理之后，我们也就知道了，所有的这几步：标定、校准和匹配，都是围绕着如何更精确地获得 f，d，B，c_x 和c_y 而设计的。

标定：摄像头标定一般都需要一个放在摄像头前的特制的标定参照物（棋盘纸），摄像头获取该物体的图像，并由此计算摄像头的内外参数。标定参照物上的每一个特征点相对于世界坐标系的位置在制作时应精确测定，世界坐标系可选为参照物的物体坐标系。在得到这些已知点在图像上的投影位置后，可计算出摄像头的内外参数。

校准与匹配：双目摄像头标定不仅要得出每个摄像头的内部参数，还需要通过标定来测量两个摄像头之间的相对位置。要计算目标点在左右两个视图上形成的视差，首先要把该点在左右视图上两个对应的像点匹配起来。然而，在二维空间上匹配对应点是非常耗时的，为了减少匹配搜索范围，我们可以利用极线约束使得对应点的匹配由二维搜索降为一维搜索。而双目校正的作用就是要把消除畸变后的两幅图像严格地行对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。

 

 

 

图2. 双目校正与匹配

3. 关键技术参数和性能指标

利用双目摄像头的数据估计车辆和车辆距离。假设摄像头分辨率1280´720像素，焦距1458像素，角度误差小于0.5度。下表描述精度指标：

 

 

 

 

表1. 指标