Cross Language Image Matching for Weakly Supervised Semantic Segmentation论文阅读笔记

摘要

目前的类激活图通常只激活区分度较高的目标区域，且会包含与目标相关的背景（文章中举例为如果要分割的是火车，轨道对分类也有一定的贡献，而轨道作为背景不应该被分割）。为解决这一问题，作者提出了一种基于CLIP的跨语言图像匹配框架CLIMS，引入自然语言作为监督信号，从而更准确、紧凑地激活目标区域。

方法

上图中，先通过backbone得到CAM，记为P（注意这里没有GAP）：

$$P_k(h,w)=\sigma(W_k^TZ(h,w))$$

为了能够识别其他的物体类别，作者提出了基于CLIP的tex-driven evaluator，其包含一个image encoder $f_i$以及一个text encoder $f_t$，用$P_k$以及$1-P_k$对原图处理得到对于当前类k的前景物体与背景物体，分别送入$f_i$得到$v_k^{io}$与$v_k^{ib}$：

$$v_k^{io}=f_i(X·P_k),v_k^{ib}=f_i(X·(1-P_k))$$

对于文本特征，第k个类的文本prompt表述$t_k^o$为："a photo of {}"，如"a photo of train"，与之相关的背景文本prompt表述$t_{k, l}^b$则是预先定义好的，例如对于boat这个类的背景表述$t_{k,o}^b$为"a photo of a lake"，$t_{k,1}^b$为"a photo of a river"，分别送入text encoder得到$v_{k}^{to}$以及$v_{k,l}^{tb}$：

$$v_{k}^{to}=f_t(t_k^o),v_{k,l}^{tb}=f_t(t_{k,l}^b)$$

其中k,l指的是对于类别k的第l个相关的背景。

得到了这些特征之后，就可以计算损失了。第一个损失是物体区域与文本标签的匹配损失$L_{OTM}$：

$$L_{OTM}=-\Sigma_{k=1}^Ky_k·log(s_k^{oo})$$

如果当前图像的标签中有第k个类的话则$y_k=1$，$s_k^{oo}$为$v_k^{io}$与$v_k^{to}$的余弦相似度。

第二个损失是背景标签与文本区域的匹配损失$L_{BTM}$：

$$L_{BTM}=-\Sigma_{k=1}^Ky_k·log(1-s_k^{bo})\\ s_{k}^{bo}=sim(v_{k}^{ib},v_k^{to})$$

这个损失的目的是尽量减小与背景的相似度。

上述两个损失只能保证P完全覆盖目标对象，没有考虑到对于与当前类别共同出现的背景类别的错误激活。为此，作者提出了共现背景抑制损失$L_{CBS}$：

$$L_{CBS}=-\Sigma_{k=1}^K\Sigma_{l=1}^Ly_k·log(1-s_{k,l}^{ob})\\ s_{k,l}^{ob}=sim(v_k^{io},v_{k,l}^{tb})$$

如果仅有以上损失，当目标物体与不相关的背景一同出现时，CLIP仍然可以正确识别，因此，作者还设计了一个像素级别的区域正则项，限制激活图的大小从而保证不相关的背景被排除在$P_k$以外：

$$L_{REG}=\frac{1}{K}\Sigma_{k=1}^KS_k, S_k=\frac{1}{HW}\Sigma_{h=1}^H\Sigma_{w=1}^WP_k(h,w)$$

总的损失就是这四项损失的和，通过超参数加以调节：

$$L=\alpha L_{OTM}+\beta L_{BTM}+\gamma L_{CBS}+\delta L_{REG}$$

总的来说，就是借助这四项损失去优化分割网络，无需像素级别的gt就能达到很好的性能。推理时直接用训练好的backbone即可。

实验