Mask Scoring RCNN

论文：https://openaccess.thecvf.com/content_CVPR_2019/papers/Huang_Mask_Scoring_R-CNN_CVPR_2019_paper.pdf

论文翻译和解读：https://zhuanlan.zhihu.com/p/111722103?utm_id=0

这篇文章的motivation在于质疑了mask rcnn中利用mask分类的confidence来作为mask完整性指标的标准。本文认为mask分类的confidence只能用于评估分类效果，因此本文为了让模型更好地观察到mask的完整性而提出了一个新的概念Mask IoU和新的网络块Mask IoU head。

1. Mask Scoring的定义

对于传统的mask rcnn，有：

$$S_{mask} = S_{cls}$$

然而本文中，作者提出cls的置信度与mask的完整度之间关联性不大，因此引入了mask IoU，来让网络察觉到生成mask的完整度：

$$S_{mask} = S_{cls} \cdot S_{maskIoU}$$

2. 总体网络结构

mask scoring的总体网络结构如下图所示：

从图中可以看出，mask scoring rcnn和mask rcnn的主要区别在于，本文多添加了一个mask IoU Head，其中的做法是将RoI Align后得到的归一化的Region proposal和经过Mask head得到的mask进行concat（不同的合并形式在后文中有讨论），并用得到的结果计算得到预测mask和ground truth之间的MaskIoU，并作为回归任务来引导网络的训练。

3. Concat的几种形式

本文中，作者提出了几种concat方式的设想，如下图所示：

最终，作者通过实验得出，(a) 方法在几种评估指标上的表现最好，如下图所示：

4. 可视化

可视化结果表明，本文提出的mask scoring rcnn，相比于mask rcnn，能够更好地反映出mask score与mask IoU之间的关系：