对比学习中的温度超参数

如果温度系数设的越大,logits 分布变得越平滑,那么对比损失会对所有的负样本一视同仁,导致模型学习没有轻重。如果温度系数设的过小,则模型会越关注特别困难的负样本,但其实那些负样本很可能是潜在的正样本,这样会导致模型很难收敛或者泛化能力差。

posted @ 2023-04-13 09:50  多发Paper哈  阅读(192)  评论(0编辑  收藏  举报
Live2D