摘要：对比学习损失函数InfoNCE 在前文NCE损失函数将样本分为data和noise做二分类, InfoNCE将这种思想推广到多分类问题中, 使用Softmax形式推广, 我们回顾一下之前NCE的交叉熵损失函数, 在这里我们加上了负号, 让目标函数变成了损失函数, 如下公式所示: \[\mathcal 阅读全文

摘要：序列数据如何做对比学习 前文对比学习入门中我们介绍了图片的例子，在另一篇文章CPC中作者在音频数据上做对比学习，进一步所有序列数据都可以使用对比学习。为此我们在这篇文章中以一个简单的例子介绍序列数据如何做对比学习，方便大家理解CPC的原理，原文其实挺难理解的。 简单的例子 我们以语言序列（I lik 阅读全文

摘要：🔙对比学习总结 在对比学习入门中，我们了解了对比学习的来源、基本思想和处理步骤。在对比学习时间线的发展中我们了解了近年来论文概要。对比学习不是一种模型，也不是一种新的技术，而是一种思想，这种思想与模型无关，可以应用于各种模型，比如Transformer的训练过程中就有对比学习辅助。现在对比学习的研 阅读全文

摘要：对比学习损失函数NCE 对于特征相似还有一种理解视角, 就是互信息最大化, 也就是同一个物品不同视角下的特征之间的互信息应该最大化. 这一节将要推导的NCE和下一节将要推导的InfoNCE就是互信息的一种近似估计办法(也叫JSD估计), 为什么不直接计算下面公式展示的互信息了, 因为互信息的计算太过 阅读全文