3D特征描述子SHOT详解

在3D点云目标识别中，除了传统的利用二维图像来辅助识别，然后映射到3D的方式；学术界在十几年前就开始研究3D点云的特征描述子。

本文主要详解意大利博洛尼亚大学教授提出的SHOT（Signature of Histogram of  Orientation）http://www.vision.deis.unibo.it/SHOT。

1、3D特征描述子

图1.1 3D描述子编码通用规则

　　描述子的构建一般分为两个过程特征编码（Signature）和直方图统计（Histogram），特征编码是关键，直方图是表述特征的分布情况，增强特征的鲁棒性（概率的角度）。

　　Signature：类似于2D图像的特征描述子，对特征点附近的信息进行编码，图像是圆形或矩形Patch中的灰度、梯度变化信息。相似的，点云特征描述子就是对点领域附近的几何信息和颜色、纹理信息进行编码；几何信息主要有K-近邻点（或者support）的法线方向、夹角、曲率等；

　　Histogram：有了K-邻域内（支撑区域）点的一系列特征描述子，采用对每个子区域进行特征统计的思路，可以构建出整个支撑区域的直方图特征。

2、局部坐标系（Local Reference Frame）

　　有了K-近邻点后，怎么去提取特征点的几何信息呢？？文献中一般是采用局部坐标系（Local Reference Frame）来作为几何信息的参考原点。

　　

　　图1.2 Local Reference Frame

　　局部坐标系的Z轴确定方式：对K-近邻点拟合平面，平面法向量作为局部坐标系的Z轴，Z轴的方向由法向量n和K-近邻法向量均值的方向相同。法向量计算理论参考

　　SHOT在计算Z轴的时候，加了距离权重，

　　局部坐标系的X轴确定方式：计算法向量n与每个近邻的点乘，找夹角最大的的P（即cos最小），然后计算P到过特征点F点平面的投影P′。特征点F与投影P′组成的方向为X轴方向。

　　局部坐标系的Y轴确定方式：x轴和Z轴叉乘得到。

　　需要注意，局部坐标系中的重心一般和特征点不是同一个点。

3、SHOT直方图编码

图1.3 SHOT特征

　　借鉴2D图像的SIFT特征，邻域内法向量整体的直方图特征鲁棒性较低，采用局部直方图形式进行编码。SHOT将整个邻域划分为32小块，纬度2分，半径2分，经度8分。

　　计算每个近邻点相对于法向量的夹角（特征值），对每个小块内的特征值构建直方图（11级），累积直方图采用插值的形式（这里理解起来相对困难，编码也很复杂，看了PCL的源码，费心），角度差值，纬度方向插值、经度方向插值和半径方向插值。

　　起始就是定义一个规则，判断当前特征值落在哪个区间里面，每个曲面的特征值按照下图方式计算。最后得到的特征向量为32x11 = 352维。

图1.4 插值方式

4、SHOT描述在纹理上的扩展

　　由于最初提出的SHOT描述子是不针对纹理和颜色信息的，单纯的几何信息编码影响识别的准确率，因此后来SHOT加入了颜色信息。SHOT中的颜色编码主要是LAB空间(CIELAB计算)中的颜色；直方图31级，因此颜色描述子长度32x31 = 992;添加颜色信息的SHOT描述子共1344维。

　　一般颜色域都是RGB或者HSV（色度、饱和度、亮度），lab空间是开发出来近似人眼视觉系统的，色域比RGB大得多。感觉Lab只有在做为颜色标定或者参考时才用的上，没想到这里用了，应该是为表达颜色更准确。

　　RGB需要先转换到XYZ，然后XYZ转LAB。颜色空间转换代码

 

图1.5 LAB转XYZ（逆变换见这里）