[基础] DETR：End-to-End Object Detection with Transformers
名称
End-to-End Object Detection with Transformers
时间：20.05
机构：Facebook AI
TL;DR
文章提出一种称为DETR(Detection Transformer)的基于Transformer的检测器，相比于传统检测器不需要NMS以及anchor，仅需要少量object queries就可以同时推理出所有预测结果。
Method
Inference
参考下图，其中class预测(C + 1)个类别，多出来那个表示no object。box分量是直接预测框norm之后的中心点与宽高，没有anchor作为初始值。
Training Loss
类似于常规Detection任务训练，求N个Set Prediction的分类与box回归的Loss之和，其中匹配到no class的prediction loss权重设置的比较低。
关键在于如何知道每个prediction对应的GT，即如何求公式中的\(\sigma(i)\)。这里用的方法比较暴力，直接针对每一次forward出的N个set prediction使用匈牙利匹配来计算与每个prediction对应的GT。而匈牙利匹配建立cost matrix时，每个位置的权值是参考class score以及与gt box iou共同决定。
Experiment
sine at attn表示输入一个预设的positional encoding map，learned at attn表示输入一个可学习的attention map。
总结与发散
首个使用Transformer将detection做到E2E的工作，整体思路比较简单，Loss部分设计比较暴力。
相关链接
官方代码：https://github.com/facebookresearch/detr
