pytroch 1.4 踩坑 RuntimeError: one of the variables needed for gradient computation has been modified
pytorch在1.4以及之前可以这样进行反向传播
opt_1.zero_gard()
loss_1 = fun(...)
loss_1.backward()
opt_1.step()
opt_2.zero_gard()
loss_2 = fun(...)
loss_1.backward()
opt_2.step()
但是上述结构在pytorch1.5以及更高的版本中会发生如下错误:
RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [200, 120]], which is output 0 of TBackward, is at version 3; expected version 2 instead. Hint: the backtrace further above shows the operation that failed to compute its gradient. The variable in question was changed in there or anywhere later. Good luck!
改成下面的结构就可以解决此问题
opt_1.zero_gard()
loss_1 = fun(...)
loss_1.backward()
opt_2.zero_gard()
loss_2 = fun(...)
loss_1.backward()
opt_1.step()
opt_2.step()
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个奇形怪状的面试题:Bean中的CHM要不要加volatile?
· [.NET]调用本地 Deepseek 模型
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· .NET Core 托管堆内存泄露/CPU异常的常见思路
· PostgreSQL 和 SQL Server 在统计信息维护中的关键差异
· DeepSeek “源神”启动!「GitHub 热点速览」
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 我与微信审核的“相爱相杀”看个人小程序副业
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
· spring官宣接入deepseek,真的太香了~