会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
巴蜀秀才
博客园
首页
新随笔
联系
订阅
管理
pytorch 损失出现NaN
损失出现NaN可能有三种情况:
计算过程中出现除数为0的情况,这种情况可以进行平滑处理,如果是计算书写错误就相应更改即可;
计算过程中带入空数据,如一个空张量,后续计算会出现NaN,而且这时梯度可能会正常更新,直到多次累积后出现爆炸的情况;
数值精度溢出,如fp16精度不够表示的数值,溢出后就表示为NaN.
清澈的爱,只为中国
posted @
2022-06-07 16:46
巴蜀秀才
阅读(
947
) 评论(
0
)
编辑
收藏
举报
会员力量,点亮园子希望
刷新页面
返回顶部
公告