论文笔记:Semantic Segmentation using Adversarial Networks
Semantic Segmentation using Adversarial Networks
2018-04-27 09:36:48
Abstract:
对于产生式图像建模来说,对抗训练已经取得了很好的效果。本文中,我们提出了一种对抗训练的方法来训练语义分割模型。其实这里就是加了一个对抗loss,即:用一个 CNN 来判断给定的图是分割的结果呢?还是 GT?本文方法的动机是:it can detect and correct higher-order inconsistencies between GT segmentation maps and the ones produced by the segmentation net.
本文贡献点是:
1. 首次尝试将 adversarial training 引入到 语义分割领域;
2. 这种方法可以保证:long-range spatial label contiguity, 并且没有在测试的时候增加复杂度;
3. 在两个数据集上都提升了性能;
The Proposed Approach:
Adversarial training :
本文的方法是使用两个混合 loss function,第一项是:a multi-class cross-entropy term,该项估计分割模型来独立的预测每一个像素位置的类别标签。
给定一个 RGB image x,分割模型输出的是类别概率图(the class probability map)s(x);
第二项是:基于额外的对抗卷积网络的。
==============================================
The Network Architecture:
根据上面的流程图可以发现,本文是将分割结果 / GT二值图 和原图进行了相乘,得到的结果,输入到对抗网络中。具体细节如下图所示:
======================
Reference:
1. Chainer Implementation: https://github.com/oyam/Semantic-Segmentation-using-Adversarial-Networks
2. PyTorch Implementation: https://github.com/GZHermit/pytorch-GAN4Segmentation