对比学习中的温度超参数

如果温度系数设的越大,logits 分布变得越平滑,那么对比损失会对所有的负样本一视同仁,导致模型学习没有轻重。如果温度系数设的过小,则模型会越关注特别困难的负样本,但其实那些负样本很可能是潜在的正样本,这样会导致模型很难收敛或者泛化能力差。

posted @ 2023-04-13 09:50  别关注我了,私信我吧  阅读(323)  评论(0)    收藏  举报
Live2D