End-to-End Object Detection with Transformers论文阅读笔记

摘要

作者提出了一种新的基于Transformer的目标检测模型DETR，将检测视为集合预测问题，无需进行nms以及anchor generation等操作。同时，对模型进行简单的修改就可以应用到全景分割任务中。

方法

Object detection set prediction loss

DETR给出的是N个预测，N为预先设定的远大于GT目标框数量的一个值，难点在于根据GT对这些预测框进行评分。作者在这里对预测框与GT进行二分图匹配，从而计算损失。具体来说，设 $y$ 为GT集合， $\hat{y}=\{\hat{y_i}\}_{i=1}^N$ 为N个预测结果，为了满足二分图完美匹配的条件，作者将GT集合的大小同样扩充为N，多出来的部分用no object来补足。之后，使用匈牙利算法找到一组完美匹配（完美匹配一定是最大匹配），用这一组匹配计算损失（这里的目的实际上是找到一组最小的损失，进行取负之类的操作就可以转换成求最大匹配了）。

匹配的损失需要同时考虑类别分数以及预测框和GT的相似度。对于GT集合中的每个边界框，可以将其看作 $y_i=(c_i,b_i)$ ， $c_i$ 表示类别标签， $b_i\in [0,1]^4$ 表示边界框的相对图像的中心坐标和长宽。对于下标为 $\sigma(i)$ 的预测结果，设其预测为 $c_i$ 类别的概率为 $\hat{p}_{\sigma(i)}(c_i)$ ，预测框为 $\hat{b}_{\sigma(i)}$ ， $\mathcal{L}_{match}(y_i,\hat{y}_{\sigma(i)})$ 可以表示为 $-\mathbb{1}_{c_i\neq ∅}\hat{p}_{\sigma (i)}(c_i)+\mathbb{1}_{c_i\neq ∅}\mathcal{L}_{box}(b_i,\hat{b}_{\sigma(i)})$ ，最终的匈牙利损失可以表示为：
$\mathcal{L}_{Hungarian}(y,\hat{y})=\sum_{i=1}^N[-\log\hat{p}_{\sigma (i)}(c_i)+\mathbb{1}_{c_i\neq ∅}\mathcal{L}_{box}(b_i,\hat{b}_{\sigma(i)})]$ 。在实际训练时，对于 $c_i=$ no object的对数概率的权重设置为原来的1/10，从而避免类别不平衡的问题。需要注意的是，如果一个预测框匹配到no object，这个匹配的损失是常数0。对于bounding box的损失 $\mathcal{L}_{box}(b_i,\hat{b}_{\sigma(i)})$ 定义为 $\lambda_{iou}\mathcal{L}_{iou}(b_i,\hat{b}_{\sigma(i)})+\lambda_{L1}||b_i-\hat{b}_{\sigma(i)}||$ ，这是因为直接计算两个框中心的L1 loss的话，两个框即便中心相近，大小很有可能存在较大差异，因此作者选择使用IoU loss与L1 loss的线性组合。