Computer Vision_33_SIFT：ORB_An efficient alternative to SIFT or SURF——2012

此部分是计算机视觉部分，主要侧重在底层特征提取，视频分析，跟踪，目标检测和识别方面等方面。对于自己不太熟悉的领域比如摄像机标定和立体视觉，仅仅列出上google上引用次数比较多的文献。有一些刚刚出版的文章，个人非常喜欢，也列出来了。

33. SIFT
关于SIFT，实在不需要介绍太多，一万多次的引用已经说明问题了。SURF和PCA-SIFT也是属于这个系列。后面列出了几篇跟SIFT有关的问题。
[1999 ICCV] Object recognition from local scale-invariant features
[2000 IJCV] Evaluation of Interest Point Detectors
[2006 CVIU] Speeded-Up Robust Features (SURF)
[2004 CVPR] PCA-SIFT A More Distinctive Representation for Local Image Descriptors
[2004 IJCV] Distinctive Image Features from Scale-Invariant Keypoints

[2009 GRSL] Robust scale-invariant feature matching for remote sensing image registration
[2010 IJCV] Improving Bag-of-Features for Large Scale Image Search
[2011 PAMI] SIFTflow Dense Correspondence across Scenes and its Applications

[2012 ECCV] KAZE Features

[2012 ICCV] ORB_An efficient alternative to SIFT or SURF

[2014 CVPR] TILDE: A Temporally Invariant Learned DEtector

[2014 TGRS] A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information

[2015 GRSL] An efficient SIFT-based mode-seeking algorithm for sub-pixel registration of remotely sensed images

[2015 TGRS] SAR-SIFT: A SIFT-LIKE ALGORITHM FOR SAR IMAGES

[2016 ECCV] LIFT Learned Invariant Feature Transform

[2016 JVCIR] An Improved RANSAC based on the Scale Variation Homogeneity

[2017 GRSL] Remote Sensing Image Registration With Modified SIFT and Enhanced Feature Matching

[2017 CVPR] GMS :Grid-based Motion Statistics for Fast, Ultra-robust Feature Correspondence

 

翻译

ORB：SIFT或SURF的有效替代方案

作者：Ethan Rublee,Vincent Rabaud,Kurt Konolige,Gary Bradski

 

摘要 -特征匹配是许多计算机视觉问题的基础，例如对象识别或运动结构。当前的方法依赖于昂贵的描述符来进行检测和匹配。在本文中，我们提出了一种基于Brief的非常快速的二进制描述符，称为ORB，它具有旋转不变性和抗噪性。通过实验，我们证明了ORB如何比SIFT快两个数量级，同时在许多情况下也表现出色。该效率已在多个实际应用程序上进行了测试，包括智能手机上的对象检测和补丁跟踪。

1.简介

SIFT关键点检测器和描述符[17]尽管已有十多年的历史，但已在许多使用视觉功能的应用中被证明非常成功，包括对象识别[17]，图像拼接[28]，视觉映射[25]等。但是，这会带来很大的计算负担，尤其是对于实时系统（如视觉里程计）或低功耗设备（如手机）而言。这导致以较低的计算成本进行大量的替代品搜索；可以说，最好的就是SURF [2]。也有研究旨在加快SIFT的计算速度，特别是在GPU设备上[26]。

在本文中，我们提出了一种计算效率高的SIFT替代方案，该替代方案具有类似的匹配性能，受图像噪声的影响较小，并且能够用于实时性能。我们的主要动机是增强许多常见的图像匹配应用程序，例如，使没有GPU加速的低功耗设备能够执行全景拼接和补丁跟踪，并减少标准PC上基于特征的对象检测的时间。我们的描述符在这些任务上的表现和SIFT一样好（并且比SURF更好），而速度却快了两个数量级。

我们提出的功能建立在著名的FAST关键点检测器[23]和最近开发的Brief描述符[6]的基础上；因此，我们将其称为ORB（定向FAST和旋转简报）。这两种技术由于其良好的性能和低成本而具有吸引力。在本文中，我们针对SIFT解决了这些技术的一些局限性，最显着的是在Brief中缺乏旋转不变性。我们的主要贡献是：

•在FAST中增加了快速准确的定位组件。
•定向的简要特征的高效计算。
•分析定向的简短特征的方差和相关性。
•一种用于在旋转不变性下使BRIEF特征去相关的学习方法，从而在最近邻应用中获得更好的性能。

为了验证ORB，我们进行了实验，以测试ORB相对于SIFT和SURF的属性，包括原始匹配能力和图像匹配应用程序的性能。我们还通过在智能手机上实现补丁跟踪应用程序来说明ORB的效率。 ORB的另一个好处是它不受SIFT和SURF的许可限制。

2.相关工作

关键点FAST及其变体[23、24]是在与视觉功能相匹配的实时系统中（例如，并行跟踪和映射[13]）找到关键点的选择方法。它是有效的，并找到了合理的拐角关键点，尽管必须通过金字塔方案来扩大比例尺[14]，而在我们的案例中，使用哈里斯拐角过滤器[11]以拒绝边缘并提供合理的分数。

许多关键点检测器都包括方向运算符（SIFT和SURF是两个突出的示例），而FAST则没有。有多种方法可以描述关键点的方向。其中许多涉及梯度计算的直方图，例如在SIFT [17]中和在SURF [2]中通过块模式进行近似。这些方法在计算上要求很高，或者在SURF的情况下，得出的近似值很差。 Rosin [22]的参考论文分析了各种测量拐角方向的方法，我们借鉴了他的质心技术。与SIFT中的方向运算符可以在单个关键点上具有多个值不同，质心运算符给出单个主导结果。

描述符Brief [6]是最近的特征描述符，它在平滑图像补丁中的像素之间使用简单的二进制测试。它的性能在很多方面与SIFT相似，包括对照明的鲁棒性，模糊和透视失真。但是，它对平面内旋转非常敏感。简报源自于使用二进制测试来训练一组分类树的研究[4]。一旦在一组500个左右的典型关键点上进行了训练，这些树就可以用于返回任意关键点的签名[5]。以类似的方式，我们寻找对方向最不敏感的测试。查找不相关测试的经典方法是主成分分析。例如，已经表明，用于SIFT的PCA可以帮助删除大量的冗余信息[12]。但是，可能的二进制测试的空间太大，无法执行PCA，而是使用穷举搜索。

视觉词汇方法[21，27]使用精细聚类法找到不相关且可用于匹配的样本。这些技术在查找不相关的二进制测试中也可能有用。

最接近ORB的系统是[3]，它提出了多尺度的Harris关键点和定向补丁描述符。该描述符用于图像拼接，显示出良好的旋转和缩放不变性。但是，计算的效率不如我们的方法。

3. oFAST：FAST关键点定位

FAST功能由于其计算特性而被广泛使用。但是，FAST功能没有方向分量。在本节中，我们将添加有效计算的方向。

3.1 快速检测器

我们首先检测图像中的FAST点。 FAST采用一个参数，即中心像素和围绕中心的圆环中的像素之间的强度阈值。我们使用FAST-9（圆半径为9），具有良好的性能。

FAST不能测量拐角度，并且我们发现它对边缘的响应很大。我们采用哈里斯角测度[11]来排序FAST关键点。对于目标数量为N的关键点，我们首先将阈值设置得足够低，以获取多于N的关键点，然后根据哈里斯测度对它们进行排序，然后选择最上面的N个点。

FAST不会产生多尺度特征。我们使用图像的比例金字塔，并在金字塔的每个级别上生成FAST特征（由Harris过滤）。