[交互式分割]Interactive Object Segmentation with Inside-Outside Guidance

1|0前言

0. 核心

• 问题：探索简单的交互方式
• 方法：提供一个内部点和两个边界点(点击交互)
• 结论：模型性能好，泛化效果好
  有代码,

1. DEXTR方法

2|0Abstract

1.提出了一种内部-外部指导（IOG）方法。具体地说，我们利用在对象中心附近单击的一个内部点和包围目标对象的紧密边界框的对称角位置（左上角和右下角或右上角和左下角）处的两个外部点。这将导致总共一次前景点击和四次背景点击进行分割。
2.IOG有四个优点：1）两个外部点可以帮助消除来自其他对象或背景的干扰；2）内部点有助于消除边界框内不相关的区域；3）内部和外部点易于识别，减少了最先进的糊精标记引起的混淆一些极端的例子；4）我们的方法自然支持额外的点击注释，以便进一步修正。

3|0Introduction

1. 背景

• semantic and instance segmentation for different domains:general scenes,autonomous driving,medical diagnosis.
• 成功的分割模型离不开大量的高质量的训练数据
• 创建像素级别的标注数据难度:expensive,laborious,time-consuming
• 交互式分割更有吸引力。

2. 提出问题
   *【DEXTR】Deep Extreme Cut：From Extreme Points to Object Segmentation:
   主页：http://people.ee.ethz.ch/~cvlsegmentation/dextr/
   论文地址：https://arxiv.org/abs/1711.09081
   代码：https://github.com/scaelles/DEXTR-PyTorch/
   基于《Extreme clicking for efficient object annotation》
   extreme points:每个对象边界的四个点,left-most, right-most, top, bottom

• 使用Extreme points(极值点)作为交互方式,极值点法虽然简单，但是交互快速有效。
• 引出问题:Nevertheless, we argue that the clicking paradigm of extreme points also brings some
  issues:
  用户需要仔细关注对象边界进行点击，
  物体内部有物体是会出现混淆

3. 我们提出的方法：To tackle the aforementioned issuesas well as to promote the effectiveness and efficiency of the interactive pro-
   cess,we propose an approach named Inside-Outside Guid-
   ance (IOG):

• three points (an inside point and two outside points)
• 交互方式好:PASCAL,GrabCut,COCO
• 泛化能力好:cross-domain annotation,street scenes,aerial imagery,medical images
• Pixel-ImageNet:a dataset with 0.615M instance masks of ImageNet collected using our IOG

4|0Method

1. 交互方式:一个内部点，两个边界点((either top-left
   and bottom-right or top-right and bottom-left)
2. Segmentation Network
   coarse-to-fine

5|0Experiemnts

1. 范化能力实验
   11 publicly
   available benchmarks, including PASCAL [20], Grab-
   Cut [52], COCO [41], ImageNet [53], Open Images [53],
   Cityscapes [17], Rooftop [57], Agriculture-Vision [16],
   ssTEM [22], Pascal-Context [47], and COCO-Stuff [6],to demonstrate the effectiveness and the generalization capa-
   bilities of our IOG.
2. Comparison with the State-of-the-Arts:IOU标准
3. Ablation Study 消融实验
4. Cross-Domain Evaluation

参考

• 演示视频
• 代码-IOG
• CVPR2020SegmentationExcel
• Interactive Object Segmentation with Inside-Outside Guidance

__EOF__

本文作者：Rocky
本文链接：https://www.cnblogs.com/nrocky/p/13831847.html
关于博主：评论和私信会在第一时间回复。或者直接私信我。
版权声明：本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！