基于局部表面特征在杂乱场景中的三维物体识别
作者：仲夏夜之星
来源：微信公众号|3D视觉工坊（系投稿）
3D视觉精品文章汇总：https://github.com/qxiaofan/awesome-3D-Vision-Papers/
论文标题：3D Object Recognition in Cluttered Scenes with Local Surface Features: A Survey
作者：Yulan Guo, Mohammed Bennamoun, Ferdous Sohel, Min Lu, and Jianwei Wan
论文地址：在公众号「3D视觉工坊」，后台回复「三维物体」，即可直接下载。
摘要：在杂乱场景中进行三维目标识别是一个迅速发展的研究领域。根据使用的特征类型，三维物体识别方法大致可分为两类:基于全局特征的方法和基于局部特征的方法。密集的基于局部地物特征的方法对遮挡和杂波有较强的鲁棒性经常出现在现实世界的场景中。本文对现有的局部地物进行了综合研究三维物体识别方法。这些方法一般包括三个阶段:三维关键点检测、局部表面特征描述和表面匹配。
一 引言
在杂乱的场景中，物体识别是在计算机视觉研究领域的一个基础。它有很多应用，比如智能监控，自动装配，遥感，移动操作，机器人，生物特征分析和医学治疗。在过去的几十年中，二维物体识别得到了广泛的应用，目前比较成熟的研究区域[1]。与二维图像相比，距离图像都显示出了对象识别的几个优点。例如，(i)和2D图像相比，距离图像提供更多的几何信息。距离图像也编码表面度量尺寸比较明确。(ii)距离图像通常不受尺度的影响，旋转和照明。(iii) 与二维图像估计的姿势相比，估计3D距离图像中的物体姿态更准确。因此，距离图像有可能被克服二维图像所面临的许多困难在于对象识别[2]。这些优势使三维物体识别成为一个活跃的研究课题。而且，技术迅速发展并且成本较低的3D采集系统(如微软Kinect)使得距离图像更容易获取。此外，设备的进步使之成为任何计算密集型的处理三维物体识别算法在一个比较公平的并可接受的方式。所有这些因素的共同作用，促成了研究的三维物体识别系统的发展。
现有的三维物体识别方法可以进行划分为两大类:基于全局特征的方法和基于局部特征的方法。基于全局特征的方法处理对象作为一个整体来获得认可。它们定义了一组全局的特征，有效和简洁地描述完整的3D对象(或模型)。这些方法在三维形状检索中得到了广泛的应用分类。这个类别的例子包括几何三维矩形，形状分布、点特征直方图[3]、空间嵌入。然而,它们忽视形状细节，需要先从场景中分割对象。因此不适合识别部分可见的从混乱的场景中对象。另一方面，基于局部特征的方法只提取局部特征特定关键点周围的表面。它们通常用基于全局特征的方法来处理遮挡和杂波较好，这种类型也有在2D领域的表现明显更好进行对象识别。这一结论也是扩展到3D物体识别领域。在此基础上，本文重点研究了三维物体识别在有局部地表特征的杂乱场景中。
二 相关工作
范围图像可以表示为三种类型，即深度图像、点云或多边形网。给定一幅距离图像，即三维对象的目标识别就是正确地识别事物中存在的物体范围成像，并确定他们的姿势，在概念层次上，基于典型的局部特征三维物体识别系统主要由三个部分组成阶段:三维关键点检测，局部表面特征描述和表面匹配。在3D关键点检测阶段，三维点具有丰富的信息内容被确定为关键点。固有的规模对每个关键点也进行检测。这两个位置和一个关键点的尺度(即邻里大小)定义后续使用的局部表面，在局部表面特征描述阶段，对关键点的邻域曲面的几何信息进行编码变成一个代表性的特征描述符。在表面匹配相位，对场景特征进行匹配针对库中的所有模型特性，导致一组特征对应和假设。这些假设最终被验证以推断身份和物体的姿态。
三 3D关键点检测
关键点检测是基于局部坐标的三维目标识别系统的第一个主要阶段。最简单的关键点检测方法是表面稀疏采样和网格抽取。然而，这些方法在可重复性和信息性方面并没有产生合格的关键点。这是因为它们没有或很少考虑到这些检测到的关键的判别信息的丰富性。因此，有必要根据关键点的特殊性对其进行检测。根据尺度来判断是否自适应检测，关键点检测方法可以分为固定尺度关键点检测方法和自适应尺度关键点检测方法。
3.1 固定尺寸关键点的检测
固定尺度关键点检测方法定义一个在预定邻域内具有特征的点作为关键点。邻域大小由尺度决定，尺度是算法的输入参数。
3.1.1 基于曲率的方法
Mokhtarian等人使用高斯和平均曲率检测关键点。如果一个点p的曲率值大于它的内环邻域的曲率值，那么这个点p就是一个关键点。Yamany和Farag使用单纯形角来检测关键点。单形角φ与平均曲率有关。在单形角满足约束|sin(φ)|τ的位置检测到关键点。它们的阈值τ对于关键点检测的性能是至关重要的，选择一个合适的阈值仍然是一个未解决的问题。Gal和Cohen-Or提出了关键点检测的显著性等级。p点的显著性等级是两项的线性组合，项是相邻点曲率的和，第二项是相邻点曲率值的方差。选取显著性等级高的点作为重点。Chen和Bhanu基于形状指标值检测关键点。也就是说，在一个邻域内，点p只有在其形状索引值为局部最优(最大值/最小值)时才被标记为关键点。实验结果表明，检测到的关键点分布均匀在[33]表面。然而，这种方法对噪声很敏感。
3.1.2 基于 (OSV)方法
Matei等人使用相邻点协方差矩阵的最小特征值λ3来测量点p周围的表面变化。根据点的表面变化对点进行排序。本文使用两个连续特征值的比率来修剪点。Glomb提出了四个命题，将流行的Harris检测器从2D图像扩展到3D网格。他们发现哈里斯探测器利用拟合二次曲面的导数，达到了最好的效果。这一命题,siiran和Busto提出了一种“哈里斯3D”探测器。给定一个点p，相邻的点优先平移到质心，然后旋转以对齐垂直于p和z轴。
3.2 自适应尺度关键点检测
自适应尺度关键点检测方法首先对给定的距离图像建立尺度空间。然后，他们在空间和尺度上选取具有极端特殊性的点作为关键点。结果，检测出了关键点的位置和尺度。根据尺度空间构建技术，这些方法可以分为四类:坐标平滑法、几何属性平滑法、表面变化法和基于变换的方法。
3.2.1 基于坐标平滑的方法
这些方法是通过平滑距离图像的3D坐标连续地构造一个尺度空间，以二维尺度空间理论为基础的。
Uluoy通过构造曲面的高斯金字塔得到了三维曲面的尺度空间。然后他们计算了平均值和所有点在所有尺度上的高斯曲率值，并根据每个点的高斯曲率和平均曲率将其分类为八种曲面类型之一。在分类的尺度空间中，每个具有相同表面类型的连接体都被检测到。连接体的中心被选择为一个关键点的位置。
3.2.2 基于几何属性平滑(GAS)方法
这些方法通过连续平滑距离图像的几何属性来构造尺度空间。由于滤波是应用于几何属性而不是距离图像本身，没有对三维形状的外部几何进行修改。因此，保持了尺度空间的因果关系属性。
3.2.3 基于表面变化(SV)方法
这些方法首先计算一组不同邻域大小的曲面变化。然后，他们通过寻找不同邻域大小的局部邻域表面变化的最大值来检测关键点。它们是基于假设邻域大小可以看作是一个离散尺度参数，增加局部邻域大小类似于应用平滑滤波器。这些方法避免了对3D表面的直接更改，而且它们很容易实现。
图1 在龙模型上检测到关键点
(a)通过[4]检测到的关键点。不同大小的球体对应着不同尺度的关键点。
(b)(c)(d)通过[5]在3个尺度上检测到的关键点及其邻域。每个彩色的小块对应着一个关键点的附近，蓝色球体的大小对应着尺度。
Ho和Gibbins[4]使用的是标准偏差邻点的形状索引值来测量地表变化。检测到的要点在图中对龙模型进行了说明。图1（a）表明了该方法的有效性对小噪声有效且鲁棒。它实现了高重复性的结果，即使有噪声表面。后来，Ho和Gibbin估算了曲线度在不同的尺度上，选择极端的点尺度空间中的值作为关键点。同样的,Ioanou等提出了对较大的字符进行分割的DoN (Normals)操作符无组织的3D点云。DoN操作员提供点数的大幅减少，从而减少任何后续处理的计算成本场景的阶段(当处理在分割的部分)。犰狳上发现的关键点的插图模型如图2所示。实验结果显示这些关键点对于刚性变换，等距变形和不同的网格三角法。如图3所示，它能够检测出高度可重复的关键点，并且对噪声具有鲁棒性。然而，该方法对不同的网格分辨率非常敏感，并且检测到的关键点非常少。此外，它还需要一个大的计算机内存。
图2 在不同姿态的犰狳模型上检测到的关键点
图3 在犰狳模型上检测到关键点
结论
本文对基于局部表面特征的三维物体识别方法的研究现状进行了综述。对全面的3D对象识别方法进行了分类并分析了各种特征类型及其提取方法的优缺点。
参考文献
[1] K. Mikolajczyk and C. Schmid, “A performance evaluation f local descriptors,” IEEE Transactions on Pattern Analysis and achine Intelligence, vol. 27, no. 10, pp. 1615–1630, 2005.
[2] K. Lai, L. Bo, X. Ren, and D. Fox, “A large-scale hierarchicalmulti-view RGB-D object dataset,” in IEEE International onference on Robotics and Automation, 2011, pp. 1817–1824.
[3] R. Rusu, G. Bradski, R. Thibaux, and J. Hsu, “Fast 3D ecognition and pose using the viewpoint feature histogram,”in 2010 IEEE/RSJ International Conference on Intelligent Robots nd Systems, 2010, pp. 2155–2162.
[4] H. Ho and D. Gibbins, “Multi-scale feature extraction for3D surface registration using local shape variation,” in 23rd International Conference on Image and Vision Computing New Zealand, 2008, pp. 1–6.
[5] R. Unnikrishnan and M. Hebert, “Multi-scale interest regions from unorganized point clouds,” in IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2008, pp. 1–8.
本文仅做学术分享，如有侵权，请联系删文。
论文标题：3D Object Recognition in Cluttered Scenes with Local Surface Features: A Survey
作者：Yulan Guo, Mohammed Bennamoun, Ferdous Sohel, Min Lu, and Jianwei Wan
论文地址：在公众号「3D视觉工坊」，后台回复「三维物体」，即可直接下载。
摘要：在杂乱场景中进行三维目标识别是一个迅速发展的研究领域。根据使用的特征类型，三维物体识别方法大致可分为两类:基于全局特征的方法和基于局部特征的方法。密集的基于局部地物特征的方法对遮挡和杂波有较强的鲁棒性经常出现在现实世界的场景中。本文对现有的局部地物进行了综合研究三维物体识别方法。这些方法一般包括三个阶段:三维关键点检测、局部表面特征描述和表面匹配。
一 引言
在杂乱的场景中，物体识别是在计算机视觉研究领域的一个基础。它有很多应用，比如智能监控，自动装配，遥感，移动操作，机器人，生物特征分析和医学治疗。在过去的几十年中，二维物体识别得到了广泛的应用，目前比较成熟的研究区域[1]。与二维图像相比，距离图像都显示出了对象识别的几个优点。例如，(i)和2D图像相比，距离图像提供更多的几何信息。距离图像也编码表面度量尺寸比较明确。(ii)距离图像通常不受尺度的影响，旋转和照明。(iii) 与二维图像估计的姿势相比，估计3D距离图像中的物体姿态更准确。因此，距离图像有可能被克服二维图像所面临的许多困难在于对象识别[2]。这些优势使三维物体识别成为一个活跃的研究课题。而且，技术迅速发展并且成本较低的3D采集系统(如微软Kinect)使得距离图像更容易获取。此外，设备的进步使之成为任何计算密集型的处理三维物体识别算法在一个比较公平的并可接受的方式。所有这些因素的共同作用，促成了研究的三维物体识别系统的发展。
现有的三维物体识别方法可以进行划分为两大类:基于全局特征的方法和基于局部特征的方法。基于全局特征的方法处理对象作为一个整体来获得认可。它们定义了一组全局的特征，有效和简洁地描述完整的3D对象(或模型)。这些方法在三维形状检索中得到了广泛的应用分类。这个类别的例子包括几何三维矩形，形状分布、点特征直方图[3]、空间嵌入。然而,它们忽视形状细节，需要先从场景中分割对象。因此不适合识别部分可见的从混乱的场景中对象。另一方面，基于局部特征的方法只提取局部特征特定关键点周围的表面。它们通常用基于全局特征的方法来处理遮挡和杂波较好，这种类型也有在2D领域的表现明显更好进行对象识别。这一结论也是扩展到3D物体识别领域。在此基础上，本文重点研究了三维物体识别在有局部地表特征的杂乱场景中。
二 相关工作
范围图像可以表示为三种类型，即深度图像、点云或多边形网。给定一幅距离图像，即三维对象的目标识别就是正确地识别事物中存在的物体范围成像，并确定他们的姿势，在概念层次上，基于典型的局部特征三维物体识别系统主要由三个部分组成阶段:三维关键点检测，局部表面特征描述和表面匹配。在3D关键点检测阶段，三维点具有丰富的信息内容被确定为关键点。固有的规模对每个关键点也进行检测。这两个位置和一个关键点的尺度(即邻里大小)定义后续使用的局部表面，在局部表面特征描述阶段，对关键点的邻域曲面的几何信息进行编码变成一个代表性的特征描述符。在表面匹配相位，对场景特征进行匹配针对库中的所有模型特性，导致一组特征对应和假设。这些假设最终被验证以推断身份和物体的姿态。
三 3D关键点检测
关键点检测是基于局部坐标的三维目标识别系统的第一个主要阶段。最简单的关键点检测方法是表面稀疏采样和网格抽取。然而，这些方法在可重复性和信息性方面并没有产生合格的关键点。这是因为它们没有或很少考虑到这些检测到的关键的判别信息的丰富性。因此，有必要根据关键点的特殊性对其进行检测。根据尺度来判断是否自适应检测，关键点检测方法可以分为固定尺度关键点检测方法和自适应尺度关键点检测方法。
3.1 固定尺寸关键点的检测
固定尺度关键点检测方法定义一个在预定邻域内具有特征的点作为关键点。邻域大小由尺度决定，尺度是算法的输入参数。
3.1.1 基于曲率的方法
Mokhtarian等人使用高斯和平均曲率检测关键点。如果一个点p的曲率值大于它的内环邻域的曲率值，那么这个点p就是一个关键点。Yamany和Farag使用单纯形角来检测关键点。单形角φ与平均曲率有关。在单形角满足约束|sin(φ)|τ的位置检测到关键点。它们的阈值τ对于关键点检测的性能是至关重要的，选择一个合适的阈值仍然是一个未解决的问题。Gal和Cohen-Or提出了关键点检测的显著性等级。p点的显著性等级是两项的线性组合，项是相邻点曲率的和，第二项是相邻点曲率值的方差。选取显著性等级高的点作为重点。Chen和Bhanu基于形状指标值检测关键点。也就是说，在一个邻域内，点p只有在其形状索引值为局部最优(最大值/最小值)时才被标记为关键点。实验结果表明，检测到的关键点分布均匀在[33]表面。然而，这种方法对噪声很敏感。
3.1.2 基于 (OSV)方法
Matei等人使用相邻点协方差矩阵的最小特征值λ3来测量点p周围的表面变化。根据点的表面变化对点进行排序。本文使用两个连续特征值的比率来修剪点。Glomb提出了四个命题，将流行的Harris检测器从2D图像扩展到3D网格。他们发现哈里斯探测器利用拟合二次曲面的导数，达到了最好的效果。这一命题,siiran和Busto提出了一种“哈里斯3D”探测器。给定一个点p，相邻的点优先平移到质心，然后旋转以对齐垂直于p和z轴。
3.2 自适应尺度关键点检测
自适应尺度关键点检测方法首先对给定的距离图像建立尺度空间。然后，他们在空间和尺度上选取具有极端特殊性的点作为关键点。结果，检测出了关键点的位置和尺度。根据尺度空间构建技术，这些方法可以分为四类:坐标平滑法、几何属性平滑法、表面变化法和基于变换的方法。
3.2.1 基于坐标平滑的方法
这些方法是通过平滑距离图像的3D坐标连续地构造一个尺度空间，以二维尺度空间理论为基础的。
Uluoy通过构造曲面的高斯金字塔得到了三维曲面的尺度空间。然后他们计算了平均值和所有点在所有尺度上的高斯曲率值，并根据每个点的高斯曲率和平均曲率将其分类为八种曲面类型之一。在分类的尺度空间中，每个具有相同表面类型的连接体都被检测到。连接体的中心被选择为一个关键点的位置。
3.2.2 基于几何属性平滑(GAS)方法
这些方法通过连续平滑距离图像的几何属性来构造尺度空间。由于滤波是应用于几何属性而不是距离图像本身，没有对三维形状的外部几何进行修改。因此，保持了尺度空间的因果关系属性。
3.2.3 基于表面变化(SV)方法
这些方法首先计算一组不同邻域大小的曲面变化。然后，他们通过寻找不同邻域大小的局部邻域表面变化的最大值来检测关键点。它们是基于假设邻域大小可以看作是一个离散尺度参数，增加局部邻域大小类似于应用平滑滤波器。这些方法避免了对3D表面的直接更改，而且它们很容易实现。
图1 在龙模型上检测到关键点
(a)通过[4]检测到的关键点。不同大小的球体对应着不同尺度的关键点。
(b)(c)(d)通过[5]在3个尺度上检测到的关键点及其邻域。每个彩色的小块对应着一个关键点的附近，蓝色球体的大小对应着尺度。
Ho和Gibbins[4]使用的是标准偏差邻点的形状索引值来测量地表变化。检测到的要点在图中对龙模型进行了说明。图1（a）表明了该方法的有效性对小噪声有效且鲁棒。它实现了高重复性的结果，即使有噪声表面。后来，Ho和Gibbin估算了曲线度在不同的尺度上，选择极端的点尺度空间中的值作为关键点。同样的,Ioanou等提出了对较大的字符进行分割的DoN (Normals)操作符无组织的3D点云。DoN操作员提供点数的大幅减少，从而减少任何后续处理的计算成本场景的阶段(当处理在分割的部分)。犰狳上发现的关键点的插图模型如图2所示。实验结果显示这些关键点对于刚性变换，等距变形和不同的网格三角法。如图3所示，它能够检测出高度可重复的关键点，并且对噪声具有鲁棒性。然而，该方法对不同的网格分辨率非常敏感，并且检测到的关键点非常少。此外，它还需要一个大的计算机内存。
图2 在不同姿态的犰狳模型上检测到的关键点
图3 在犰狳模型上检测到关键点
结论
本文对基于局部表面特征的三维物体识别方法的研究现状进行了综述。对全面的3D对象识别方法进行了分类并分析了各种特征类型及其提取方法的优缺点。
参考文献
[1] K. Mikolajczyk and C. Schmid, “A performance evaluation f local descriptors,” IEEE Transactions on Pattern Analysis and achine Intelligence, vol. 27, no. 10, pp. 1615–1630, 2005.
[2] K. Lai, L. Bo, X. Ren, and D. Fox, “A large-scale hierarchicalmulti-view RGB-D object dataset,” in IEEE International onference on Robotics and Automation, 2011, pp. 1817–1824.
[3] R. Rusu, G. Bradski, R. Thibaux, and J. Hsu, “Fast 3D ecognition and pose using the viewpoint feature histogram,”in 2010 IEEE/RSJ International Conference on Intelligent Robots nd Systems, 2010, pp. 2155–2162.
[4] H. Ho and D. Gibbins, “Multi-scale feature extraction for3D surface registration using local shape variation,” in 23rd International Conference on Image and Vision Computing New Zealand, 2008, pp. 1–6.
[5] R. Unnikrishnan and M. Hebert, “Multi-scale interest regions from unorganized point clouds,” in IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2008, pp. 1–8.
本文仅做学术分享，如有侵权，请联系删文。
