Loading

2022年10月11日
记录一次梯度爆炸+对比学习
摘要： 背景 pytorch 训练tricks 对比学习，使用dropout构造正样本，出现对比学习loss越来越大最终nan。但是如果事先对向量进行l2正则化，loss正常下降。 解决过程 考虑有如下原因，一一排除并最终锁定： batch_size太大，导致分母过大，负样本过多，log里面的项无限接近于0 阅读全文
posted @ 2022-10-11 21:10 戴墨镜的长颈鹿 阅读(341) 评论(0) 推荐(0) 编辑