会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Blair
博客园
新随笔
联系
订阅
管理
2023年4月13日
对比学习中的温度超参数
摘要: 如果温度系数设的越大,logits 分布变得越平滑,那么对比损失会对所有的负样本一视同仁,导致模型学习没有轻重。如果温度系数设的过小,则模型会越关注特别困难的负样本,但其实那些负样本很可能是潜在的正样本,这样会导致模型很难收敛或者泛化能力差。
阅读全文
posted @ 2023-04-13 09:50 图神经网络
阅读(205)
评论(0)
推荐(1)
编辑
公告
Live2D