『论文』VoxelNet

2. VoxelNet#

2.1. VoxelNet Architecture#

2.1.1 Feature Learning Network#

Voxel Partition + Grouping + Random Sampling
Stacked Voxel Feature Encoding

Sparse Tensor Representation

2.1.2 Convolutional Middle Layers#

Each convolutional middle layer applies 3D convolution, BN layer, and ReLU layer sequentially.

2.1.3 Region Proposal Network#

总结而言，VoxelNet和SECOND，乃至PointPillars其实是一个方法，它们都是 - 先voxelization，然后VFE（多层FCN三件套得到point-wise features + max pooling along channels得到voxel-wise channels；或者说类PointNet）。
到这里，PointPillars直接scatter回bev了，这和它pillar的设计有一定关系，因为不存在z方向的voxel划分，前面一直在学的就是bev下竖直pillar的feature。
对于VoxelNet和SECOND，现在就往下接了3D convolution，去对目前组织好的voxel-wise features继续学，伴随着voxel feature channel的升高和voxel fmp尺寸的减小。在学完之后，还是要到bev，SECOND里通过接一个view把z方向上的channels放到了一起来做的(height compression)。

一点思考：所以其实个人感觉，对于VoxelNet和SECOND，从传播上来说，也是完全不用3D convolution的，毕竟这部分从维度上来说是没有变化的，都是voxel-wise features，但，通过学这样的过程，也是随着随着voxel feature channel的升高和voxel fmp尺寸的减小，把数据整体和局部的一些特征泛化了，感受了，使得最后的bev height compression也合理了（实际上，SECOND的3D convolution结束后的fmp的z方向只有两个bins，这样的compression无伤大雅），而如果真的直接不做3D convolution来压缩维度，直接生成bev下的features，由于其使用的是一个一个小的voxel，这样的特征肯定是很weak的。而PointPillars不用做的可能的一点就是，其一开始就认准了搞bev，voxel都不在竖直方向上切了直接pillar，使一步scatter到bev变得合理了。