2023年4月13日
对比学习中的温度超参数
摘要： 如果温度系数设的越大，logits 分布变得越平滑，那么对比损失会对所有的负样本一视同仁，导致模型学习没有轻重。如果温度系数设的过小，则模型会越关注特别困难的负样本，但其实那些负样本很可能是潜在的正样本，这样会导致模型很难收敛或者泛化能力差。 阅读全文
posted @ 2023-04-13 09:50 别关注我了，私信我吧 阅读(323) 评论(0) 推荐(1)
Live2D