From Points to Parts: 3D Object Detection from Point Cloud with Part-aware and Part-aggregation Network

Part-A2是一个两阶段,基于点的3D目标检测器,由part-aware和part-aggregation模块组成.类似于两阶段的2D检测器,第一阶段提出Proposals,第二阶段进行Refine.

1. Part-aware模块

负责生成3D Proposals.先将3D空间体素化,每个体素大小为5cm*5cm*10cm,其初始特征为内部的点坐标的平均值,将非空体素的中心点作为一个新的点,这样就将point-wise变成了voxel-wise,然后学习每个voxel的intra-object part locations,以及提出3D Proposals.

3D Proposals的提出有两种方法：anchor-free和anchor-based.

anchor-free不需要anchor,直接提出3D Proposals.具体方法是沿着X轴和Y轴等距离的划分很多个bin,将回归问题转化为bin的分类问题.

anchor-based根据目标种类的不同,预先设置很多anchors,然后再进行回归.

2. Part-aggregation模块

首先进行正则变换：(1)将3D Proposals的中心点作为坐标原点；(2)局部X轴指向Proposals的head方向,局部Y轴和局部X轴垂直;(3)Z轴和全局Z轴保持一致.

然后将3D Proposals分成规则体素,并稀疏卷积聚合特征,进行Refine.