网络训练loss为nan的解决的办法。

1、检查输入数据和target中是否有 nan 值。

  np.any(np.isnan(x))

  np.any(np.isnan(target))

2、减小loss

3、rnn中发生梯度爆炸,检查参数值和参数梯度,截断梯度。 

3.1 检查梯度是否更新
for params in model.named_parameters():
[name, param] = params

if param.grad is not None:
print(name, end='\t')
print('weight:{}'.format(param.data.mean()), end='\t')
print('grad:{}'.format(param.grad.data.mean()))

3.2 截断梯度
torch.nn.utils.clip_grad_norm_(model.parameters(), 0.25)

posted @ 2018-11-02 14:00  blackx  阅读(7113)  评论(0编辑  收藏  举报