内视图和跨视图几何知识进行立体匹配

内视图和跨视图几何知识进行立体匹配

几何知识已被证明对立体匹配任务有益。然而，之前将几何见解整合到立体匹配算法中的尝试，主要集中在单个图像的几何知识上，而忽略了遮挡和匹配唯一性等关键的交叉视图因素。为了解决这一差距，提出了一种新的内视图和跨视图几何知识学习网络（ICGNet），专门用于吸收内视图和交叉视图几何知识。ICGNet利用兴趣点的力量作为视图内几何理解的渠道。同时，它利用这些点之间的对应关系来捕捉交叉视图的几何关系。这种双重结合使所提出的ICGNet，能够在其学习过程中利用视图内和视图间的几何知识，从而大大提高了其估计差异的能力。广泛的实验证明了ICGNet相对于当代领先模型的优越性。

改进方法框架的总体结构，如图3-16所示。

  

图3-16 改进方法框架的总体结构

在图3-16中，模型架构包括3个部分：立体匹配网络、跨视图知识学习网络和视图内知识学习网络。跨视图知识知识学习网络通过使用

 硬体和

 软体，对齐兴趣点对应关系

 、

 和

 来引入跨视图几何知识。视点内知识学习网络通过使用

 对齐兴趣点图

 和

 来引入视点内几何知识。虚线仅用于清晰说明，在工作中不使用。