训练RNN网络loss出现Nan解决办法

(1) 梯度爆炸的原因可以通过梯度裁决解决

GRAD_CLIP = 5
loss.backward()
torch.nn.utils.clip_grad_norm_(model.parameters(), GRAD_CLIP)
optimizer.step()

  

(2)testModel和evaluate中需要使用

with torch.no_grad():

  

(3) 学习率调小一点

 

 

 

Pytorch遇到的错误解决方法

posted on 2021-06-11 15:37  那抹阳光1994  阅读(525)  评论(0编辑  收藏  举报

导航