[实例分割/多边形]PolyTransform: Deep Polygon Transformer for Instance Segmentation

前言

0. 核心

• 问题
  当前实例分割模型和基于多边形的交互式对象标注各有好处。
• 方案
  使用实例分割生成Mask，作为多边形初始化，再通过形变网络微调控制点。
• 结果
  效果更好。

1. state-of-the-are performance:最新的性能
   achieve state-of-the-art performance on multiple benchmarks(COCO,Cityscapes)

Abstract

1.提出了一种新的实例分割算法PolyTransform，该算法结合了当前分割方法和现代基于多边形的方法的优点，可以产生精确的、几何保持的掩模。
2.首先利用分割网络来生成实例掩码。然后，将遮罩转换为一组多边形，然后将这些多边形输入变形网络，变形网络将这些多边形转换为更适合物体边界的形状。

Introduction

1. 实例分割
   实例分割就是标记场景中所有可计数的对象，然后提供对象的掩膜(mask)。
   实例分割可以帮助我们对场景有一个更好的理解，同时能够帮助具有复杂操作任务的机器人系统和改善自动驾驶的感知系统。
   实例分割非常具有挑战性，相比于传统语义分割，实例分割对每一个对象都要有一个额外的注释。
   困难点: 物体的尺度形状变化，运动模糊等
2. modern instance segmentation methods(现有方案)

• 分两个阶段完成: 先使用矩形框表记出对象，然后对矩形框内对象进行前景背景分割
• 性能已经很好，但是在输出上过于平滑，无法处理细粒度的细节。

3. 基于多边形的方法

• 使用多边形能够快速交互注释，同时更加贴近物体几何形状。
• 但是对于具有不相邻的多个部分的对象来说，无法分割。
• 通过一个变型网络来进行多边形顶点的偏移预测。

4. PolyTransform

• 同时处理instance segmentation和interactive annotation problem
• 用常用图像分割方法来生成掩膜，掩膜转换为多边形, 然后对多边形集进行细化。

PolyTransform

1. Deforming Network
   注意力机制
2. Learning
   端到端的训练形变网络和特征提取网络

参考

• CVPR2020SegmentationExcel
• PolyTransform: Deep Polygon Transformer for Instance Segmentation