对比学习简介

对比学习的出现，是图像领域为了解决“在没有更大标注数据集的情况下，如何采用自监督预训练模式，来从中吸取图像本身的先验知识分布，得到一个预训练的模型”。

对比学习是自监督学习的一种，也就是说，不依赖标注数据，要从无标注图像中自己学习知识。

目前，对比学习貌似处于“无明确定义、有指导原则”的状态，它的指导原则是：通过自动构造相似实例和不相似实例，要求习得一个表示学习模型，通过这个模型，使得相似的实例在投影空间中比较接近，而不相似的实例在投影空间中距离比较远。

对比学习涉及到的一些关键点：

• 如何构造相似实例，以及不相似实例；

• 如何构造能够遵循上述指导原则的表示学习模型结构；

• 以及如何防止模型坍塌(Model Collapse)；

对比学习（contrastive learning）是被看作是一种自监督学习方法（SSL，Self-supervised Learning），本质上是为了在数据标签的设定下为数据学习到一个良好的表示。因此，对比学习本质上仍然可以看做是一种表示（representation）学习。

 

对比学习主要包含3个步骤：

1.数据增强

2.送入神经网络进行编码

3.计算损失

 

附两篇比较通俗易懂的博客

 

对比学习的浅显总结及其在NLP下的应用 - 知乎 (zhihu.com)

 

对比学习（contrastive learning）_Cziun的博客-CSDN博客_对比学习