CIAN: Cross-Image Affinity Net for Weakly Supervised Semantic Segmentation论文阅读

论文简介：

以image-level作为标签的弱监督语义分割往往面临目标区域估计不完整的问题。为了缓解这个问题，本文提出了一种对跨图像间关系进行建模的方法。

该方法在同类别不同图像之间建立像素级的关系矩阵，并据此从不同的图像间取得互相补充的信息，用以增广原特征并获取更加完整和鲁棒的目标估计

 

 图一：可以根据图片像素之间feature的相似度做一个Affinity map（c），然后从Affinity map中取得相关有用的信息加到原图上，得到一个更加完整的原图估计

 

 

 Refined seeds最后作为一个新的伪类标签来来训练网络:一个比较完整的估计反过来训练这个网络（loss左边的网络），通过迭代的过程使得网络最终learn一个完整的目标

Train Loss

 

y^i是从refined seeds中获得的online pesudo-label。Lq是图像q中的image-level标签（论文中是person和cow）。（7）的含义是如果类c的最大概率为l类（l可以是person or cow），并且l属于Lq，则y^i,l=1。反之为0

 

 

（8）其实是Refined seeds最后作为一个新的伪类标签来来训练网络。

 

使用self-affinity的原因：因为在测试阶段我们只测试单张图片，reference image只在训练阶段使用。但是测试的时候仍然要使用CIAN。这时候就用Xq=Xr