[交互式分割]Interactive Object Segmentation with Inside-Outside Guidance
前言
- 核心
- 问题：探索简单的交互方式
- 方法：提供一个内部点和两个边界点(点击交互)
- 结论：模型性能好，泛化效果好
有代码,
- DEXTR方法
Abstract
1.提出了一种内部-外部指导（IOG）方法。具体地说，我们利用在对象中心附近单击的一个内部点和包围目标对象的紧密边界框的对称角位置（左上角和右下角或右上角和左下角）处的两个外部点。这将导致总共一次前景点击和四次背景点击进行分割。
2.IOG有四个优点：1）两个外部点可以帮助消除来自其他对象或背景的干扰；2）内部点有助于消除边界框内不相关的区域；3）内部和外部点易于识别，减少了最先进的糊精标记引起的混淆一些极端的例子；4）我们的方法自然支持额外的点击注释，以便进一步修正。
Introduction
- 背景
- semantic and instance segmentation for different domains:general scenes,autonomous driving,medical diagnosis.
- 成功的分割模型离不开大量的高质量的训练数据
- 创建像素级别的标注数据难度:expensive,laborious,time-consuming
- 交互式分割更有吸引力。
- 提出问题
*【DEXTR】Deep Extreme Cut：From Extreme Points to Object Segmentation:
主页：http://people.ee.ethz.ch/~cvlsegmentation/dextr/
论文地址：https://arxiv.org/abs/1711.09081
代码：https://github.com/scaelles/DEXTR-PyTorch/
基于《Extreme clicking for efficient object annotation》
extreme points:每个对象边界的四个点,left-most, right-most, top, bottom
- 使用Extreme points(极值点)作为交互方式,极值点法虽然简单，但是交互快速有效。
- 引出问题:Nevertheless, we argue that the clicking paradigm of extreme points also brings some
issues:
用户需要仔细关注对象边界进行点击，
物体内部有物体是会出现混淆
- 我们提出的方法：To tackle the aforementioned issuesas well as to promote the effectiveness and efficiency of the interactive pro-
cess,we propose an approach named Inside-Outside Guid-
ance (IOG):
- three points (an inside point and two outside points)
- 交互方式好:PASCAL,GrabCut,COCO
- 泛化能力好:cross-domain annotation,street scenes,aerial imagery,medical images
- Pixel-ImageNet:a dataset with 0.615M instance masks of ImageNet collected using our IOG
Method
- 交互方式:一个内部点，两个边界点((either top-left
and bottom-right or top-right and bottom-left) - Segmentation Network
coarse-to-fine
Experiemnts
- 范化能力实验
11 publicly
available benchmarks, including PASCAL [20], Grab-
Cut [52], COCO [41], ImageNet [53], Open Images [53],
Cityscapes [17], Rooftop [57], Agriculture-Vision [16],
ssTEM [22], Pascal-Context [47], and COCO-Stuff [6],to demonstrate the effectiveness and the generalization capa-
bilities of our IOG. - Comparison with the State-of-the-Arts:IOU标准
- Ablation Study 消融实验
- Cross-Domain Evaluation
参考
