pytorch 损失出现NaN

损失出现NaN可能有三种情况：

  • 计算过程中出现除数为0的情况，这种情况可以进行平滑处理，如果是计算书写错误就相应更改即可；
  • 计算过程中带入空数据，如一个空张量，后续计算会出现NaN，而且这时梯度可能会正常更新，直到多次累积后出现爆炸的情况；
  • 数值精度溢出，如fp16精度不够表示的数值，溢出后就表示为NaN.
posted @   巴蜀秀才  阅读(1032)  评论(0)  编辑  收藏  举报
相关博文：
· torch.nn ------ 标准化归一化层
· torch.nn ------ 参数Parameter与Module容器
· nan踩坑记
· 【pytorch】loss越训越大，没多久就nan
· 模型训练过程中出现Nan该怎么办？
阅读排行：
· 全程不用写代码，我用AI程序员写了一个飞机大战
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· MongoDB 8.0这个新功能碉堡了，比商业数据库还牛
· .NET10 - 预览版1新功能体验（一）
点击右上角即可分享
微信分享提示
AI FOR CODE 大赛