[Paper Reading] DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries

名称

DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
时间：21.10
机构：mit/CMU/Stanford

TL;DR

一种利用Transformer做E2E的3D目标检测方法，在nuScenes自动驾驶数据集上取得很好效果。

Method

主要创新点在于2D-to-3D Feature Transforms模块，细节如图描述，整个过程多层迭代Refine结果，并且每层输出的box都有Loss监督：

Q: 如果只有2D-to-3D过程从image feature的稀疏sample与concat预测3D监督，那么如何使稠密的image feature学出有利于目标检测的2D视觉特征？
A：文章中没有说明这里的细节。猜测：1) 实际训练过程也使用了focal loss之类的特征监督2D feature每个位置点的类别信息。2) 文章说到DETR3D是使用DD3D作为预训练模型的，这时2D特征可能已经具有2D目标检测的表征能力，不需要再专门学习2D特征了。
Code链接：https://github.com/WangYueFt/detr3d
基于mmdetection3d构建

Experiment

总结与发散

无

相关链接

DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
https://github.com/WangYueFt/detr3d