PaperNotes Instance-Level Salient Object Segmentation

https://arxiv.org/pdf/1704.03604.pdf

摘要

现有的显著性检测算法被DL带了一波节奏,但是好像还没有说哪个方法能在显著性区域中找出object instance。本文就是做这件事的:给定输入图,先产生显著性mask,它包含了独立的目标个体。算法包含三个步骤:1.估计显著性图(saliency map);2.检测显著目标的边界(contour);3.找出所有目标个体。其中前两步是用一个多尺度显著性精调网络算出。。。

Introduction

saliency detection本身仅仅是检测出显著性的区域,而没有精细到目标个体级别。文章认为个体级别是下一步需要关注和解决的问题,把salient instance segmentation问题分解为3个子任务:1)生成pixel-level的saliency mask(用网络来产生). 2)检测出显著性目标实例的contour,也就是边界检测. 3)找出显著性个体实例,通过产生一些object proposal来做到。最后,基于CRF做微调细节。

提出了MSRNet网络,既能做显著性区域检测,也能做显著性目标个体检测。还创建了一个很有挑战性的数据集。

相关工作

传统的显著性检测方法,分成:
1)bottom-up方法系:基于low-level特征
2)top-down方法系:结合high-level知识

DL也被广泛使用在显著性检测中,基于DL的方法,分成:
1)segmentation or patch based,也就是基于分割或者小块区域的方法:把各个patch独立看待,考虑到patch之间的overlap,这种方法计算量大
2)end2end方式的显著性infernce方法:用一个网络来搞定精度和效率的问题,包括使用了基于RNN的网络,缺点是都只考虑了单个尺度(而本文的MSRNet则考虑了多尺度)。

本文提出的算法

------------     -------------     ------------     ----------
|          |     |           |	   |Salient   |    |          |
|Salient   |     |Salient    |     |Instance  |    |Salient   |
|Region    | =>  |Object     |  => |Generation| => |instance  |
|Detection |     |Boundary   |     |(MCG)     |    |refinement|
|          |     |Detection  |     |          |    |(CRF)   |
------------     -------------	   ------------    -----------

其中第一个subtask和第一个subtask,都用MSRNet来做,先train一个显著性区域检测网络,再用所得网络去fine-tune边界检测。这两个子任务的对应网络的loss函数有所不同,错误乘法系数一个是2倍,一个是10倍。具体见文章。

使用了MCG这个object proposal generation方法,其中gPb用MSRNet来替代产生。

posted @ 2017-12-20 17:04  ChrisZZ  阅读(773)  评论(0编辑  收藏  举报