『笔记』Part-^2

『笔记』Part-^2

https://arxiv.org/abs/1907.03670

论文阅读：3D点云目标检测 Part-A^2 Net

2020TPAMI—Part A2: 3D Object Detection from Point Cloud with Part-aware and Part-aggregation Network

总的来说，本文是对PointRCNN的拓展工作，经常被addreass为From points to parts或者Part-A^2，即part aware和part aggregation. 在PointRCNN里，作者探索了把bounding box中的点作为foreground points, 建立了新的segmentation label。在本篇文章里，不光使用了foreground segmentation 信息，还使用了intra-object part location 信息作为新的label。

Motivation在于之前点云池化（如PointRCNN）只是汇集了3D proposals中point-wise特征，然而这可能会损失3D 几何信息，如下图所示，不同的proposals（蓝色框）中的点云是相同的，会产生相同的特征，但这2个proposals是完全不同的，会引起模糊。

the previous point cloud pooling strategy (as used in our preliminary PointRCNN ) result in ambiguous representations, since different proposals might end up pooling the same group of points, which lose the abilities to encode the geometric information of the proposals. To tackle this problem, we propose a novel differentiable RoI-aware point cloud pooling operation, which keeps all information from both non-empty and empty voxels within the proposals, to eliminate the ambiguity of previous point cloud pooling strategy.

Stage-1：part-aware stage

不同于PointRCNN，本文用稀疏卷积和反卷积的encoder-decoder网络学习特征。此外，对于3D 空间本文进行了体素化处理，但是考虑到每个体素大小（5cm5cm10cm）远比3D空间（~70m80m4m）小，因此作者近似将voxel-wise feature当做point-wise feature，对于非空的体素，取其中心点作为新的点，用于特征提取（这里不可避免出现量化损失）

1. 利用3D GT bbox提供的信息，生成3D 分割的标注信息，分割前景点和背景点；
2. 从原始点云生成3D proposals（包括anchor-free和anchor-based两种方法）
3. 对于所有的前景点，估计每一个前景点的相对位置（intra-object part location，认为该信息隐式编码3D目标的形状）。很显然，这就是这篇文章主要的idea所在

Stage-2：part-aggregation stage

1. 对于不同的proposals可能具有相同的点云信息，产生相同的特征带来的模糊性的问题，本文提出ROI-aware point cloud pooling，它保留非空和空体素的所有信息，以消除点云池化方案的模糊性。利用空体素对bbox的几何图形信息进行编码，提升bbox的re-score和位置refine的性能
2. 进一步利用稀疏卷积和稀疏池化操作，逐步聚合每个3D proposals的池化后的part feature，实现准确预测

对于RoI-aware point cloud feature pooling模块，先将所有的proposals进行正则变换到canonical坐标系（具体可参考PointRCNN），以(Lx, Ly, Lz)均等将3D proposals分成规则体素，fi表示3D proposal中point-wise特征，根据其局部坐标系分散在不同的体素中；再进行voxel-wise max-pooling和average pooling操作。

RoI-aware point cloud pooling模块能够编码同一局部空间坐标系下不同的3D proposal，每个体素编码3D proposal中相应的固定网格的特征。这种position-specific的特征池化可以更好的捕捉3D proposals的几何特征，且是可微分计算，便于后续box scoring和refine，消除了以前的点云池化操作的模糊性。