Language-only Efficient Training of Zero-shot Composed Image Retrieval

目录

• 概
• LinCIR
• 代码

Gu G., Chun S., Kim W., Kang Y. and Yun S. Language-only efficient training of zero-shot composed image retrieval. CVPR, 2024.

概

本文提出了一种仅在文本上训练的 Zero-Shot Composed Image Retrieval (ZS-CIR) 方法.

LinCIR

• 上图展示了一种最为常见的 ZS-CIR 方法: 其将 query image 映射到 token embedding 空间, 然后通过 text encoder 得到可用于 text-to-image rtrieval 的表征.

• 注意到, 这种方式需要训练 $\phi$, 其通常依赖一个缺乏多样性的模板 'A photo of [$]' 来实现.

• 然而作者发现, 这种方式限制了其推广到更大的模型中去. 如下图所示, 当 encoder 变得更大的时候, 遵循上图的方法反而会产生更差的性能.

• 本文提出了一种 self-masking projection (SMP) 的任务, 仅仅依赖文本进行训练. 步骤如下:

  1. 给定文本 $x_c \in \mathbb{R}^n$, 通过 tokenizer $t_c \in \mathbb{R}^{n \times d}$.
  2. 给定文本 $x_c$, 通过 text encoder 得到表征:
     $$z_c = \psi_c (t_c).$$

  3. 添加一定噪声, 然后通过 $\phi$ 映射为 token embedding 空间:
     $$\hat{e}_c = \phi(z_c + \epsilon).$$

  4. 将 $t_c$ 中对应 'keywords' 的 token 替换为 $\hat{e}_c$. 这里 'keywords' 为名词和形容词.
  5. 再次通过 text encoder 得到:
     $$z_c' = \psi_c (t_c').$$

  6. 利用 MSE loss 要求 $z_c'$ 靠近 $z_c$.

• 注意, 上述训练过程仅 $\phi$ 部分是可训练的. $\phi$ 和之前的方法一样, 是映射回 token embedding 空间的工具. 但是相交于之前的训练, 这里没有固定的模板, 从而能够保证训练的稳定.

• 此外, 这里添加的 noise 为均匀分布和高斯分布的组合, 而非简单的高斯分布. 作者认为, 需要涉及一个合适的分布从而保证 $\phi$ 可以直接作用在 image feature 上. 经验上, 作者发现 LinCIR 所采用的这种 noise 能够降低 modality gap.

代码

[official-code]