PiCIE: Unsupervised Semantic Segmentation using Invariance and Equivariance in Clustering

目录

• 概
• 符号说明
• 流程
• 代码

Cho J., Mall U., Bala K. and Hariharan B. PiCIE: unsupervised semantic segmentation using invariance and equivariance in clustering. In IEEE Conference on Computer Vsion and Pattern Recognition (CVPR), 2021.

概

利用聚类和 invariance to photometric transformations and equivariance to geometric transformations 来无监督地语义分割.

符号说明

• $x_i \in \mathbb{R}^{CHW}, i=1,2,\cdots, n$, unlabeled images;
• $f_{\theta}: \mathbb{R}^{CHW} \rightarrow \mathbb{R}^{DHW}$, 将图片 $x$ 映射为后续所用的特征;
• $y_{i}[p]$, 为 $x_{i}[p]$ 所对应的(预测)标签;
• $\mu_k \in \mathbb{R}^D, k=1,2,\cdots, K$, 为 $K$ 个聚类中心;
• $P$, photometric 变换, 满足 $x, P(x)$ 的语义分割是一致的;
• $G$, geometric 变换, 满足 $G(x)$ 的语义分割为 $G(y)$;

流程

1. 采样样本 $x$, photometric 变换 $P^{(1)}, P^{(2)}$, geometric 变换 $G$;

2. 得到特征:

   $$z^{(1)} \leftarrow G (f_{\theta}(P^{(1)}(x))), \\ z^{(2)} \leftarrow f_{\theta}(G(P^{(1)}(x))); \\ $$

3. 通过 K-means 计算类别中心, 并为 $z_i[p]$ 指定标签:

   $$\mu^{(1)}, y^{(1)} \leftarrow \text{KMeans}(\{z_i^{(1)}[p]: i \in [n], p \in [HW] \}), \\ \mu^{(2)}, y^{(2)} \leftarrow \text{KMeans}(\{z_i^{(2)}[p]: i \in [n], p \in [HW] \}); \\ $$

4. 我们希望特征 $z[p]$ 靠近所指定的类别, 即需要关于 $\theta$ 最小化如下损失:

   $$\mathcal{L}_{within} = \sum_{i, p} \mathcal{L}_{clust}(z_{i}^{(1)}[p], y_{i}^{(1)}[p], \mu^{(1)}) + \mathcal{L}_{clust}(z_{i}^{(2)}[p], y_{i}^{(2)}[p], \mu^{(2)}),$$

   其中

   $$\mathcal{L}_{clust}(z_i[p], y_i[p], \mu) := -\log \frac{\exp(-d(z_i[p], \mu_{ip}))}{\sum_{k} \exp(-d(z_i[p], \mu_{k}))},$$

   以及 $d(\cdot, \cdot)$ 为 cosine similarity;

5. 但是注意到, 即便 $z$ 中的各个元素都靠近了各自的聚类中心, 我们没法保证聚类是按照 '语义' 来分割的, 为此, 我们引入 Invariance 和 Equivariance:

   $$\mathcal{L}_{cross} = \sum_{i, p} \mathcal{L}_{clust}(z_{i}^{(1)}[p], y_{i}^{(2)}[p], \mu^{(2)}) + \mathcal{L}_{clust}(z_{i}^{(2)}[p], y_{i}^{(1)}[p], \mu^{(1)}),$$

   即采用了 photometric 和 geometric 变换后的特征保持语义分割上的一致.

代码

[official]