Look Closer to Segment Better: Boundary Patch Refinement for Instance Segmentation

摘要：尽管在实例分割方面已经付出了巨大的努力，但分割结果的质量仍然不令人满意。由于特征映射的空间分辨率较低和边界像素的比例极低所导致的不平衡问题，预测结果的边界往往不精确。了解决这些问题，我们提出了一个概念上简单但有效的后处理细化框架，该方法能基于任何实例分割模型的结果来提高边界质量，称为BPR。根据看的近边缘分割效果好的想法，我们沿着预测实例的边界提取和细化一系列小的边界块（patch）。我们通过一个更高分辨率的边界补丁细化网络来完成边缘的重新细化。在Cityscapes 数据集上，所提出的BPR框架比MaskR-CNN方法产生了显著的改进，特别是在边界感知度量上。此外，通过将BPR框架应用于“PolyTransfor+SegFix”基准，我们在Cityscapes排行榜上获得了第一名。代码见https://github.com/tinyalpha/BPR。

创新点：

（1）一个边缘细化网络进行边缘的增强（借鉴的是看的近，边缘识别的越准的思维），边缘增强网络是0-1分类。

（2） 利用NMS的策略来降低slide-windows 采用引起的弊端。

借鉴的点：

个人觉得论文的整体写作很有借鉴性，从一个小点介入（Looking Closer to Segment Better) 然后对其中的细节进行深入的探究，思维特别严密，问题的考虑很全面。

文件链接：（原文、笔记、和整理的思维导图）

链接：https://pan.baidu.com/s/1LtdcGXEhz5nX6BWtdXPkPQ  提取码：usi1

实验布局：

1、Ablation Study

1.1、上限分析，说明边缘提升的作用

1.2、Effects of Mask Patch

 

1.3、Patch Size（重点）

 

1.4、Different Patch Extraction Schemes (重点)

探究如何采样

 

1.5、Input Size of the Refifinement Network

边界可以用更高的分辨率和更大的输入尺寸进行处理，因此可以保留更多的细节。

 

1.6、Alternatives of refifinement network.

探究了不同网络，肯定了网络的重要性

1.7、NMS Eliminating Threshold.

不同的阈值反应patch 的取样的多少

 

2、Transferability

探究的是模型的泛化性，结果的可迁移性。

2.1 依据Mask-RCNN结果进行的采样处理后的边缘增强结果用到其他网络的结果上仍然有用，证明方法的通用性，是一种泛化性的方法。

2.2 将提出的方法应用到其他边缘增强的网络中，仍旧可以提升这些方法的分割效果，说明方法具有兼容性

 3 方法的优越于性