Computer Vision_33_SIFT：An Improved RANSAC based on the Scale Variation Homogeneity——2016

此部分是计算机视觉部分，主要侧重在底层特征提取，视频分析，跟踪，目标检测和识别方面等方面。对于自己不太熟悉的领域比如摄像机标定和立体视觉，仅仅列出上google上引用次数比较多的文献。有一些刚刚出版的文章，个人非常喜欢，也列出来了。

33. SIFT
关于SIFT，实在不需要介绍太多，一万多次的引用已经说明问题了。SURF和PCA-SIFT也是属于这个系列。后面列出了几篇跟SIFT有关的问题。
[1999 ICCV] Object recognition from local scale-invariant features
[2000 IJCV] Evaluation of Interest Point Detectors
[2006 CVIU] Speeded-Up Robust Features (SURF)
[2004 CVPR] PCA-SIFT A More Distinctive Representation for Local Image Descriptors
[2004 IJCV] Distinctive Image Features from Scale-Invariant Keypoints

[2009 GRSL] Robust scale-invariant feature matching for remote sensing image registration
[2010 IJCV] Improving Bag-of-Features for Large Scale Image Search
[2011 PAMI] SIFTflow Dense Correspondence across Scenes and its Applications

[2012 ECCV] KAZE Features

[2012 ICCV] ORB_An efficient alternative to SIFT or SURF

[2014 CVPR] TILDE: A Temporally Invariant Learned DEtector

[2014 TGRS] A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information

[2015 GRSL] An efficient SIFT-based mode-seeking algorithm for sub-pixel registration of remotely sensed images

[2015 TGRS] SAR-SIFT: A SIFT-LIKE ALGORITHM FOR SAR IMAGES

[2016 ECCV] LIFT Learned Invariant Feature Transform

[2016 JVCIR] An Improved RANSAC based on the Scale Variation Homogeneity

[2017 GRSL] Remote Sensing Image Registration With Modified SIFT and Enhanced Feature Matching

[2017 CVPR] GMS :Grid-based Motion Statistics for Fast, Ultra-robust Feature Correspondence

 

翻译

基于尺度变化同质性的改进RANSAC

作者：Yue Wang, Jin Zheng, Qi-Zhi Xu, Bo Li, Hai-Miao Hu

 

摘要 -对于随机样本共识（RANSAC）方法，高水平的污染可能会减慢其收敛速度并阻碍最佳模型的获取。本文提出了一种改进的基于SIFT匹配的RANSAC算法，该算法可以在高污染水平和低计算复杂度下提供鲁棒的性能。通过适当地探索特征尺度，改进的RANSAC算法特别适合于平面单应性。首先，通过利用正确匹配的特征比例比近似于两个匹配图像的实际比例变化这一事实，提出了一种新的特征比例约束，即比例变化均匀性（SVH）。结果，SVH可以有效地确定潜在的正确和错误匹配。其次，通过部分识别的错误匹配而不是所有正确匹配的数量对每个模型评分，这将加快评估过程。最后，通过自适应选择测试集可以快速收敛，以根据污染水平确定终止标准。实验结果表明，所提出的SVH-RANSAC算法即使在90％污染水平的情况下也能很好地执行。与LO + -RANSAC相比，迭代次数可以减少至少35％，评估过程的计算复杂度可以减少至少2.5％。

关键词：尺度变化；同质性；比例系数; RANSAC; SIFT比赛

1.简介

同一平面的任何两个图像都可以通过单应性进行关联，其中可以构建一个二维模型。单应估计是一种基于输入匹配估计最佳模型参数的算法。实际上，由于噪声，相似的纹理，视差和低对比度，输入匹配不可避免地会受到错误匹配的污染。因此，正确去除错误匹配是单应性估计的重要过程。最终，可以估算出最佳模型。

尺度不变特征变换（SIFT）[1]和随机样本共识（RANSAC）[2]已广泛应用于各种计算机视觉任务，例如图像配准，镶嵌，对象识别等。在这些以及许多其他应用中，对高污染水平的鲁棒性和快速的计算速度提出了要求。因此，一直致力于基于SIFT匹配来改进RANSAC。实际上，RANSAC是一种消除错误匹配并利用正确匹配来计算数学模型的最佳参数的迭代方法。在每次迭代中，执行三个步骤，即假设生成，假设评估和终止标准检验。取决于模型的复杂性，例如从随机样本的大小来看，常规的RANSAC可以在50％的污染水平下提供合理的性能，就稳健的统计意义而言，通常认为这是RANSAC的实际限制[3]。但是，大量的实验结果表明，当污染水平达到50％或更高时，RANSAC不稳定。因此，在上述步骤中应加倍努力，以尽量减少高污染水平的影响。

假设产生。对于此步骤，选择一个表示匹配子集并包含必要的非共线匹配的样本；并计算出最佳模型。为了进行单应性估计，需要四个匹配项来保留视点的变化，而为了进行旋转，平移和缩放参数估计，则需要三个匹配项。通常，可以采用两种采样策略。一种是随机选择策略[2，4-6]，由于其计算复杂性不被提倡，另一种是避免选择错误匹配的策略。在后一种策略中，采用辅助措施来识别潜在的错误匹配。例如，在渐进样本共识（PROSAC）[7]中，具有较低纹理相似度的匹配更有可能是错误的。但是，SIFT特征的纹理易受视点和照明变化的影响。在BaySAC和SimSAC [8]和BetaSAC [9]中，根据历史样本的验证来识别错误匹配。但是，不正确的历史样本将导致错误的识别结果。最近，研究人员致力于施加各种尺度限制，并且可以识别出具有异常尺度差异的潜在错误匹配[10-14]。但是，该断言仅适用于那些具有相似比例的比赛。从这个意义上讲，只有在所有匹配的特征都包含相似的比例尺的情况下才有效，如果比例尺急剧变化或出现较大的视差，则它变得无效。总而言之，这些现有方法对于识别潜在的错误匹配并不可靠。

假设评估。对于此步骤，在位置误差阈值内具有最大数量正确匹配的模型将获得最高评分，而那些得分较低的模型将被拒绝。
对于原始评估策略，所有匹配项都参与评估[2]。在最近报道的工作中，为了计算方便，仅对匹配项的子集[3，15]进行评估程序。但是，如果子集的污染水平很高，则评估结果将不可靠。因此，低污染子集的获取对于获得可靠的评估性能至关重要。此外，可以以自适应的方式设置位置误差的阈值[16-18]，而不是使用预先定义的阈值。

终止标准。在实践中，为了计算方便，更希望有较少的迭代次数。但是，这将阻止该方法获得最佳模型。为了在迭代次数和模型的最优性之间取得理想的折衷，在[7]中提出了最大值，其中在多次迭代后找到更好模型的概率被限制为小于预迭代。定义值。但是，如果污染程度变高，则会存在许多不必要的迭代。非随机性是另一种方法[7]，它描述了正确匹配的最小数量。只要获取的正确匹配数小于预定义的阈值，即使模型正确也将被拒绝。此外，为了处理高水平的污染，GroupSAC [19]仅在位于两个图像重叠部分的匹配项上测试终止标准，但是准确地预测重叠部分仍然是一项艰巨的任务。尽管上述工作有实际的局限性，但它们为我们的工作提供了深刻的启发，例如最大迭代次数和最小正确匹配数的约束。

本文考虑了尺度变化的同质性，在RANSAC中进行了改进，以提高其在高污染水平和快速计算速度下的鲁棒性。更具体地，鲁棒性度量被定义为与污染物水平无关地快速返回正确匹配的能力。为了达到鲁棒性，通过施加新的比例约束，提出了比例变化同质性（SVH），其中正确匹配应该近似于两个匹配图像的实际比例变化。 SVH对视点和照明，放大，缩小和旋转的变化不敏感，这已被证明优于其他采样约束。基于SVH，即使污染程度变高，也可以区分潜在的正确匹配和错误匹配。值得注意的是，RANSAC可以在以下三个方面提供优势。首先，优选地从潜在的正确匹配的集合中选择样本，这可以保证未污染的样本尽可能早地被正确地选择。其次，部分识别的错误匹配的数量用于对每个模型评分，而不是所有正确匹配的数量。由于这种特殊的策略，希望减少评估工作量，同时仍然可以保留可靠的评估结果。第三，由于收敛速度的影响因素可以看作是测试集的污染等级，因此可以根据污染等级来自适应选择终止准则的测试集。结果，该算法可以及时终止。

本文的其余部分安排如下。在第二部分中，介绍了尺度变化同质性的概念，以及分离潜在正确和错误匹配的方法。在第三节中，我们详细描述了拟议的SVH_RANSAC。第四部分给出了SVH_RANSAC与最新技术的性能比较。最后，第五节介绍了结论和未来的工作。

2.尺度变化的同质性

现有的比例约束是通过假设两个匹配特征的比例相似来实现的。但是，这种假设并不总是成立，因为缩放或视差会使两个相应特征的比例不同。在本文中，提出了尺度变化均匀性，一种新的尺度约束。该方法利用了正确匹配的比例比接近两个匹配图像的实际比例变化的特性。换句话说，比例比例与实际比例变化相差甚远的匹配项将指示错误。基于SVH，无论两个匹配特征的尺度之间是否相似，都可以很好地分离潜在的正确和错误匹配。

A.比例比例限制的观察

SIFT特征的规模取决于斑点状结构的大小[14]。此后，一旦在重叠的图像中出现缩放或视差，则两个图像中相同斑点的比例将变得不同。更具体地说，视差效应是从两条不同的视线看到的物体位置的差异，可以通过倾斜角度来测量[10]。但是，正确匹配的缩放比例应与两个匹配图像的实际缩放比例一致。此比例约束表示为比例变化均匀性（SVH），其定义为