PANet

PANet论文解读：https://zhuanlan.zhihu.com/p/392913269

实例分割网络发展：https://zhuanlan.zhihu.com/p/141685352

论文原地址：https://openaccess.thecvf.com/content_cvpr_2018/papers/Liu_Path_Aggregation_Network_CVPR_2018_paper.pdf

PANet可以看做在maskRCNN上面做了三处改进。

PANet的整体结构如下所示：

1. Bottom-up path augmentation

基于观点：深层特征侧重于语义信息，而浅层特征侧重于图像的细节（如边缘、形状、纹理等）。

作者认为，找到了一种比fpn更能保留图像浅层特征的方法，那就是增加一个Bottom-up path augmentation结构。浅层特征通过FPN的lateral connection连接到P2，N2和P2是相同的，再经过 block of bottom-up path augmentation进行降采样，最后得到的N5中会较好地保存浅层特征。

如图所示，block of bottom-up path augmentation中主要是对N_i进行下采样，再加上P_i+1，得到N_i+1。

2. Adaptive Feature Pooling

maskRCNN在通过RPN输出ROI后，回进行ROI pooling或align提取ROI feature，这个过程中只对单层的ROI进行提取。而PANet中，在Bottom-up path augmentation得到N2~N5后，分别从中取出对应的ROI做ROI align，最后得到四个fc融合后通过一个fc layer输出来进行分类和bbox回归。

3. Fully-connected Fusion

maskRCNN的FCN结构如下：

ROI -> 14*14*256 -> 14*14*256 -(up)-> 28*28*256（输出mask） -> 28*28*80 （对80个类别分别输出为每一个类别的概率）

而PANet中，可以看到除了上面的和maskRCNN相似的支路，下面额外添加了一条支路，用于预测与类别无关的前景和背景mask。conv5_fc中将通道数减小了一半来缩减开销，然后通过全连接层得到fc，再reshape成mask的大小，与上面支路得到的mask进行融合后输出最终的mask。