对比学习文章简读

目录

1 A Simple Framework for Contrastive Learning of Visual Representations (ICML 2020)

2 Supervised Contrastive Learning (NIPS 2020) 

3 Decoupled Contrastive Learning (ICLR 2022 Reject)

4 With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations (ICCV 2021) 

5 Self-supervised Co-training for Video Representation Learning (NIPS 2020) 

 

1 A Simple Framework for Contrastive Learning of Visual Representations (ICML 2020)

论文链接

代码

动机：

在没有人类监督的情况下学习有效的视觉表示是一个长期存在的难题。大多数主流的方法可分为两类:生成式（Generative）的或判别式（Discriminative）的。

      (1) 生成方法学习在输入空间中生成或建模像素。然而，像素级生成的计算成本很高，可能不是表示学习所必需的。

      (2) 判别方法使用类似于监督学习的目标函数来学习表示，但训练网络执行pretext任务，其中输入和标签都来自于一个未标记的数据集。

      在embedding空间中，基于对比学习的判别方法最近显示出巨大的希望，取得了最先进的结果。

贡献：

在这项工作中，我们介绍了一个简单的框架的对比学习的视觉表征，我们称之为SimCLR。SimCLR不仅超越了之前的工作，但它也更简单，不需要特殊的架构或者记忆存储模块，具体如下：

（1）在定义产生有效表示的对比预测任务时，多个数据增强操作的组合至关重要。此外，非监督对比学习得益于比监督学习更强的数据增广。

（2）在表示和对比损失之间引入一种可学习的非线性变换，可以大大提高学习表示的质量。称为nonlinear projection head。

（3）具有对比交叉熵损失的表示学习受益于标准化嵌入和适当调整的温度参数。

（4）对比学习与监督式学习相比，更大的批处理规模和更长的培训时间有利于对比学习。与监督学习一样，对比学习得益于更深入更广泛的网络。

 

2 Supervised Contrastive Learning (NIPS 2020)

论文链接

代码

动机：

对比学习在自我监督表征学习中的应用近年来又有了新的发展，在深度图像模型的无监督训练中取得了良好的成绩。现代批处理对比方法包含或显著优于传统的对比损失，如三元组 (triplet)、最大边际(max-margi)和n对损失(N-pairs loss)。

贡献：

提出了一种基于对照性监督学习的对比学习损失，这种监督学习利用了标签信息。来自同一个类的标准化嵌入比来自不同类的嵌入更紧密。

 

3 Decoupled Contrastive Learning (ICLR 2022 Reject)

论文链接

代码

动机：

对比学习(CL)是自我监督学习(SSL)最成功的范例之一。原则上，它认为同一幅图像的两个增强“视图”(即positive)被拉近，而所有其他的negative图像被推得更远。然而，在基于cl的技术令人印象深刻的成功背后，它们的配方往往依赖于大量的计算设置，包括大样本批次、广泛的训练时间等。

贡献：

提出了一种解耦的对比学习(DCL)目标函数，显著提高无监督学习效率。

①   提供了理论分析和实证证据，表明基于infone的对比学习梯度中存在负正向耦合;

②   引入了一种新的解耦对比学习(DCL)目标，该目标克服了对比学习中正样本和负样本之间的耦合现象，显著提高了训练效率;此外，提出的DCL目标对几个重要超参数的敏感性较低;

③   对大型和小型视觉基准进行广泛的实验和分析来演示我们的方法，并对标准SimCLR基准进行优化配置，使其在对比方法中具有竞争力的性能。这导致即插即用的改进，广泛采用的InfoNCE对比学习方法。

 

4 With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations (ICCV 2021)

论文链接

代码

动机：

    基于实例辨别的自监督学习算法使编码器对同一实例的预定义变换保持不变。虽然大多数方法将相同图像的不同视图作为对比损失的正面处理，但我们感兴趣的是使用数据集中其他实例的正例。

贡献：

    提出了最近的视觉表征的邻居对比学习(NNCLR)，从潜在空间的数据中采样最近的邻居，并将它们视为正例。这提供了比预定义转换更多的语义变化。

 

5 Self-supervised Co-training for Video Representation Learning (NIPS 2020)

论文链接

代码

动机和贡献：

在本文中，我们针对自监督视频表示学习，提出一个问题:实例判别是否充分利用了数据?我们从两个方面表明，答案是否定的:

(1) 我们证明了在自我监督训练中hard positives被忽略了，如果这些hard positives被包括在内，那么学习表征的质量就会显著提高。

(2) 我们提出了一种自我监督的共同训练方法，称为CoCLR，即“共同训练: 视觉表征的对比学习”，目的是通过使用数据的其他补充视图来挖掘正样本，即取代先知的角色。