「HTC」基于Mask rcnn 的改进

gongzhonghao更名为“CV模型架构”

知识面的盲点那么多，为什么不看看

星标/置顶 深度学习干货分享❤

————

论文题目：Hybrid Task Cascade for Instance Segmentation

论文地址：https://arxiv.org/pdf/1901.07518.pdf

(写在前面，挺长时间没有更新了，本以为大家会取关，没想到不仅没有一个人取消，人数还在慢慢增加，感谢你们🙏。

因为网课，期末作业要交一篇综述论文，再加上自己需要撸代码以及其他杂七杂八的事，之前一段时间实在没时间去看论文……)

解读

论文在2018年coco目标检测挑战赛中获得第一名，基于Mask Rcnn和Casecade Rcnn的改进，是一种多阶段模型。主要针对实例分割任务，作者通过对Mask和Casecade一步步有针对的改进，主要改进是在RPN之后不断加入级连且复用backbone特征，提升了bbox AP 及Mask AP值。

创新点

多任务多阶段混合级连结构
加入backbone语义信息，增强空间信息

HTC演变史

Cascade的级连思想，证明了串联的有效性。作者先将Cascade与Mask rcnn直接结合得到图a，如下图。

F是特征图，M代表Mask,B代表bbox。之前在mask解读中说过，特征图会产生5个stage，这里也一样，3个stage，每个stage都会有mask和bbox分支。stage的输入最开始是RPN，RPN池化后得到M1,B1，B1(回归框)再次作为输入，预测新的mask和bbox。

这种框架经试验已经验证比mask rcnn效果好，box AP提高3.5%，mask AP只提高1.2%。mask提升效果低，很明显，级连的只有box，mask与box没有信息交互导致。

这也是Interleaved Execution由来——交互

在stage中，先执行box，之后在产生mask。这样做不仅有了交互，还消除了训练和测试流程的不统一。

在此基础上，作者再次向前推进，不在仅仅通过box分支来交互信息，而是把每个stage的mask分支串联起来进行更进一步的直接交互，如下图。

在图b基础上，添加了mask层的信息融合。那么mask的信息是如何交互呢？

图中可以看到，Mi与Mi+1之间是在3*3的卷积之后做一次1*1的卷积(feature embedding)输入到Mi+1中，如此Mi+1就得到了Mi的特征，过程还是比较简单的。

因为maks分支要做语义分割，语义分割需要精细****的像素级分类，较强的空间信息，分出前景还是背景。为了得到更好的细节，获得更好的空间位置信息，作者引入语义分割信息，如下图。

对backbone中每个stage得到的特征图通过1*1卷积(全卷积网络)进行resize得到相同大小特征图并相加。之后再次经过一系列卷积操作预测语义分割结果和语义分割特征，得到论文最终的网络结构，如下图。

实验

数据集使用的是coco2017，GPU16个(每张图片使用一个GPU)，学习率设为0.02，共20个epoch，在15个epoch后学习率lr衰减为0.002，图片尺寸resize长宽为1333*800。

表一是coco数据集上各个模型测试所得。backbone越复杂，相同模型下精度自然会有所提高。主要看评价指标，AP是平均精度，AP50，AP75代表设定不同的阈值，例如阈值50意思是IOU＞0.5时判断此刻像素点为某一类别，阈值越大，判定难度越高，AP值越低(通常实验使用AP50结果作为评价模型的好坏)。APs,APm,APl代表原图片尺寸在某一范围内为小中大(可根据代码修改范围)。fps每张图片运行时间。