自监督学习的知识点总结
本篇文章将对自监督学习的要点进行总结，包括以下几个方面：
- 监督学习与自监督学习
- 自监督学习需求背后的动机
- NLP 和CV中的自监督学习
- 联合嵌入架构
- 对比学习
- 关于数据增强的有趣观察
- 非对比学习
- 总结和参考
监督学习与自监督学习
监督学习：机器学习中最常见的方法是监督学习。在监督学习中，我们得到一组标记数据（X，Y），即（特征，标签），我们的任务是学习它们之间的关系。但是这种方法并不总是易于处理，因为-
- 训练通常需要大量数据，而标记数百万行数据既耗时又昂贵，这就对许多不同任务的训练模型造成了瓶颈。
- 以这种方式训练的模型通常非常擅长手头的任务，但不能很好地推广到相关但是非相同领域内的任务。因为网络只专注于学习 X 的良好表示以生成之间的直接映射X 和 Y ，而不是学习 X 的良好通用表示，所以无法转移到类似的其他任务。
这种学习通常会导致对概念的非常肤浅的理解，即它学习了 X 和 Y 之间的关系（它优化了网络以学习这种映射），但它不理解 X 的实际含义或它背后的含义。
自监督学习 (Self-supervised learning / SSL)：自监督学习也适用于（特征、标签）数据集，即以监督的方式，但它不需要人工注释的数据集。它的基本思想是屏蔽/隐藏输入的某些部分，并使用可观察的部分来预测隐藏的部分。正如我们将在下面看到的，这是一个非常强大的想法。但是我们不称其为无监督学习是因为它仍然需要标签，但不需要人工对其进行标注。
SSL的优势是如果我们手头有大量未标记的数据，SSL的方式可以让我们利用这些数据。这样模型可以学习更强大的数据底层结构的表示，并且这些表示比监督学习中学到的更普遍，然后我们可以针对下游任务进行微调。
需求和动机
在过去的 10 年里，深度学习取得了长足的进步。几年前被认为计算机似乎不可能完成的任务（例如机器翻译、图像识别、分割、语音识别等）中，已经达到/超过了人类水平的表现。在经历了十年的成功故事之后，深度学习现在正处于一个关键点，人们已经慢慢但肯定地开始认识到当前深度学习方法的基本局限性。
人类和当前人工智能的主要区别之一是人类可以比机器更快地学习事物，例如仅通过查看 1-2 张照片来识别动物，只需 15-20 小时即可学会驾驶汽车。人类如何做到这一点？常识！虽然我们还不知道常识是如何产生的，但却可以通过思考人类如何实际了解世界来做出一些有根据的猜测：
- 人类主要通过观察学习，很少通过监督学习。从婴儿出生的那一刻起（或者之前），它就不断地听到/看到/感觉到周围的世界。因此，发生的大部分学习只是通过观察。
- 人类可以利用随着时间的推移获得的知识（感知、运动技能、基础物理来帮助导航世界等），而当前的 SOTA 机器却不能。
自监督学习通过学习从未屏蔽部分预测数据的屏蔽部分来模仿的人类这部分的能力。
完整文章：
https://www.overfit.cn/post/c6185b513a564c6cb5022abe0bafcbec
