Everything in its right |

PaB式乌龙茶

园龄:4年1个月粉丝:1关注:0

Mask Scoring RCNN

论文:https://openaccess.thecvf.com/content_CVPR_2019/papers/Huang_Mask_Scoring_R-CNN_CVPR_2019_paper.pdf

论文翻译和解读:https://zhuanlan.zhihu.com/p/111722103?utm_id=0

这篇文章的motivation在于质疑了mask rcnn中利用mask分类的confidence来作为mask完整性指标的标准。本文认为mask分类的confidence只能用于评估分类效果,因此本文为了让模型更好地观察到mask的完整性而提出了一个新的概念Mask IoU和新的网络块Mask IoU head。

1. Mask Scoring的定义

对于传统的mask rcnn,有:

Smask=Scls

然而本文中,作者提出cls的置信度与mask的完整度之间关联性不大,因此引入了mask IoU,来让网络察觉到生成mask的完整度:

Smask=SclsSmaskIoU

2. 总体网络结构

mask scoring的总体网络结构如下图所示:

从图中可以看出,mask scoring rcnn和mask rcnn的主要区别在于,本文多添加了一个mask IoU Head,其中的做法是将RoI Align后得到的归一化的Region proposal和经过Mask head得到的mask进行concat(不同的合并形式在后文中有讨论),并用得到的结果计算得到预测mask和ground truth之间的MaskIoU,并作为回归任务来引导网络的训练。

3. Concat的几种形式

本文中,作者提出了几种concat方式的设想,如下图所示:

最终,作者通过实验得出,(a) 方法在几种评估指标上的表现最好,如下图所示:

4. 可视化

可视化结果表明,本文提出的mask scoring rcnn,相比于mask rcnn,能够更好地反映出mask score与mask IoU之间的关系:

本文作者:PaB式乌龙茶

本文链接:https://www.cnblogs.com/pab-oolongtea/p/17999698

版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。

posted @   PaB式乌龙茶  阅读(39)  评论(0编辑  收藏  举报
点击右上角即可分享
微信分享提示
评论
收藏
关注
推荐
深色
回顶
收起