SigLIP论文阅读笔记

Motivaton & Abs

作者提出了一个简单的成对sigmoid损失以用于图像文本预训练，其仅作用于图像-文本对，不需要获取global view并进行归一化。sigmoid 损失同时允许进一步扩大 batch size，同时在较小的 batch size 上也表现得更好。最后，作者发现将batch size扩大到1m后，增加batch size带来的收益急剧缩小，32k的batch size就已经足够。

Method

给定一个mini batch $\mathcal{B}=\{(I_1,T_1),(I_2,T_2)...\}$，对比学习的目标项使匹配的图文对$\{I_i,T_i\}$尽可能彼此对齐，同时推远不匹配的图文对，这假定不匹配图文对的图像和文本没有任何关系。这种假定通常是带有噪声且不完美的。

Softmax loss for language image pre-training

使用softmax时，需要训练image model $f(\cdot)$与text model $g(\cdot)$以最小化如下损失：

在这个过程中，normalization需要独立地执行两次

Sigmoid loss for language image pre-training

不同于基于softmax的对比学习损失，作者提出使用sigmoid，从而避免计算全局的normalization factor：

其中$z_{ij}$是给定图像和文本的标签，1为匹配，-1为不匹配。需要注意的是，在训练初期负样本会主导损失，导致优化步骤试图纠正这种偏差。为此，作者引入了额外的可学习项$t$和$b$，以10和-10作为初始值。

Efficient “chunked” implementation

Sigmoid能够避免对比学习训练时对loss进行all-gather的开销，同时无需计算$|\mathcal{B}|\times |\mathcal{B}|$相似性矩阵，节省了计算开销，对显存更加友好，同时保证了数值计算的稳定性。将per-device batch size表示为$b=\frac{\mathcal{B}}{D}$，总的loss可以表示为：

实验