YOLACT++ : 实时实例分割，从29.8mAP/33.5fps到34.1mAP/33.5fps
YOLACT是首个实时实例分割算法，但是准确率较SOTA差得有点多，YOLACT++从主干网络、分支和anchor的3个角度出发对YOLACT进行优化，在保持实时性的前提下提升了5map，论文改进的角度值得参考
来源：晓飞的算法工程笔记 公众号
论文: YOLACT++ Better Real-time Instance Segmentation
Introduction
此前的YOLACT尽管能实时推理，但其精度相对于SOTA还是有一些差距，因此，论文提出YOLACT++，在保持实时性的同时大幅增加性能。论文的主要贡献如下：
- 主干网络加入可变形卷积，提升主干网络对不同形状实例的特征采样能力。
- 优化prediciton head，使用更好的anchor尺寸和长宽比以提高大目标的召回。
- 加入fast mask re-scoring分支，优化结果的评估，仅消耗少量的计算量就能带来大幅的性能提升。
YOLACT
YOLACT的主要想法是直接在one-stage目标检测算法中加入Mask分支，而不添加任何的RoI池化的操作，将实例分割分成两个并行的分支：
- 使用FCN来生成分辨率较大的原型mask，原型mask不针对任何的实例。
- 目标检测分支添加额外的head来预测mask因子向量，用于对原型mask进行特定实例的加权编码。
最后取目标检测分支经过NMS后的实例，逐个将原型mask和mask因子向量相乘，再将相乘后的结果合并输出，具体细节可以看公众号之前发的YOLACT文章。
YOLACT++
Fast Mask Re-Scoring Network
参考Mask Scoring R-CNN，为了缩小分类预测和mask质量间的差距，加入re-scoring分支预测mask与GT间的IoU。以YOLACT截取的mask预测结果(二值化前)为输入，使用6层带ReLU激活的卷积层提取特征，最后进行全局池化输出预测的IoU，将预测的IoU和分类分数相乘作为最终的分数。与Mask Scoring R-CNN的不同点在于：
- YOLACT++是基于整图的mask截取进行预测，大小不足的使用零填充，而Mask Scoring R-CNN则是使用RoI池化后的特征叠加mask分支的结果进行预测。
- YOLACT++没有使用全连接层，这是速度保持的关键，仅增加1.2ms的计算耗时，而Mask Scoring R-CNN的模块需要28ms。
Deformable Convolution with Intervals
可变形卷积由于其卷积的可变形性，对目标定位相关的任务均有提升，因此，YOLACT++将主干网络\(C_3\)到\(C_5\)的\(3\times 3\)卷积替换成\(3\times 3\)的可变形卷积，由于可调制变形卷积开销较大，这里只使用DCNv1，全替换能带来1.8的mask mAP提升，主要原因如下：
- DCN能够通过偏移提升网络处理不同尺寸、角度和长宽比目标的能力。
- YOLACT是one-stage网络，没有类似Mask R-CNN等two-stage网络的二次处理来进行结果的优化，所以更灵活的首次预测是极为重要的。
由于ResNet-101有30个\(3\times 3\)卷积层，为了达到性能和准确率之间的trade-off，有以下几种实施的方案：
- 替换最后10个ResNet blocks
- 替换最后13个ResNet blocks
- 替换最后3个ResNet stage，block的间隔为3(每3个block替换1个)
- 替换最后3个ResNet stage，block的间隔为4(每4个block替换1个)
DCN (interval=3)的效果最好，耗时增加2.8ms，mAP提升1.6。
Optimized Prediction Head
YOLACT是anchor-based检测算法，选择合适的anchor十分重要，论文尝试了两种选择：
- 保持尺寸不变，长宽比从\([1, 1/2, 2]\)变为\([1, 1/2, 2, 1/3, 3]\)
- 保持长宽比不变，原本每个level一种尺寸，现在每层的尺寸改为原尺寸的三种比例\([1x, 2^{\frac{1}{3}}x, 2^{\frac{2}{3}}x]\)
RESULTS
Mask Results
YOLACT++ Improvements
CONCLUSION
YOLACT是首个实时实例分割算法，但是准确率较SOTA差得有点多，YOLACT++从主干网络、分支和anchor的3个角度出发对YOLACT进行优化，在保持实时性的前提下提升了5map，论文改进的角度值得参考。
如果本文对你有帮助，麻烦点个赞或在看呗～
更多内容请关注 微信公众号【晓飞的算法工程笔记】
