摘要：
转https://zhuanlan.zhihu.com/p/590547670 Contrastive Loss简介 对比损失在非监督学习中应用很广泛。最早源于2006年Yann LeCun的”Dimensionality Reduction by Learning an Invariant Map 阅读全文
摘要：
对比学习中的温度系数是一个神秘的参数，大部分论文都默认采用小的温度系数来进行自监督对比学习（例如0.07，0.2）。然而并没有对采用小温度系数的解释，以及温度系数是如何影响学习过程的，即温度系数这个角色的意义。 今天给大家介绍一篇CVPR2021中研究对比损失（Contrastive Loss）温度 阅读全文
摘要：
三元组损失 triplet loss 设计初衷： 让x与这个跟他同类的点距离更近，跟非同类的点距离更远。 d是距离，m的含义是，当x与x+的距离减去x与x-，如果小于-m时，对损失函数的贡献为0， 如果大于-m时，对损失的贡献大于0. 含义就是：当负例太简单时，不产生损失，这个损失的目标是，挑选困难 阅读全文
摘要：
转载自https://zhuanlan.zhihu.com/p/58916233 在上节，我们学习了词向量的两种训练方式：Skip-Gram和CBOW，都是通过句子中的某个单词去预测另一个单词。而本节，我们将学习第三种词向量的训练模型：GLOVE[1]。 GLOVE模型是由斯坦福教授Manning、 阅读全文