pytorch反向传播错误解决:RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.
pytorch反向传播错误解决:
错误: RuntimeError: Trying to backward through the graph a second time, but the buffers have already been freed. Specify retain_graph=True when calling backward the first time.
归因排查:
- 出现这种错误有可能是反向传播过程中出现了二次传播,千万不要加retain_graph,这个不是原因
- 经过查看代码,推测是有一部分可学习Tensor在反向传播过程中被遍历了两边导致的,尝试通过分离的手段将一个Tensor分离为两个。
- 分离后仍然没有解决,尝试在可能出现二次传播,并且不需要传播的地方加入detach(),但是依然报错。
- 尝试在训练过程中加入torch.autograd.detect_anomaly(True) 检查梯度传播过程,发现其中有一个sigmod函数报错,其无法更新,报错信息为:
Warning: Error detected in SigmoidBackward. No forward pass information available. Enable detect anomaly during forward pass for more information. (print_stack at /pytorch/torch/csrc/autograd/python_anomaly_mode.cpp:42
- 由于模型中只有一个sigmod函数,因此确定报错信息位置,经过和原始模型对比,发现有可能是因为原始模型使用的是@property方法,这可以动态调整,而我的方法是直接赋值。经过调整,解决问题
- 其代码如下:(部分)
self.x_lmbda_ = nn.Parameter(torch.ones([]) * 0, requires_grad=True)
# self.x_lmbda = torch.sigmoid(10 ** self.x_lmbda_ - 6).to(device) #错误代码
@property
def x_lmbda(self): # The one that controls GCN-->GATConv
return torch.sigmoid(10 ** self.x_lmbda_ - 6) #正确代码
耗费时间: 5个小时
参考文献
https://stackoverflow.com/questions/48274929/pytorch-runtimeerror-trying-to-backward-through-the-graph-a-second-time-but
https://blog.csdn.net/ybacm/article/details/131528711
https://blog.csdn.net/q7w8e9r4/article/details/134620547
https://zhuanlan.zhihu.com/p/675682867
https://chat.openai.com/