多卡训练的state_dict

在pytorch多卡训练得到的pth.tar形式的checkpoint中一个问题是key都被加上了module,例如原来的'fc.weight'就变成了'module.fc.weight',在加载进单卡下的模型时如果命令为model.load_state_dict(state_dict, strict=False)的话不注意看log就会导致什么都没有加载进去，体现的就是训练过程和从头训练一模一样。

蛮低级的错误，困扰了我一天。。。。

posted @   别再闹了  阅读(290)  评论(0)  编辑  收藏  举报
编辑推荐：
· 10年+ .NET Coder 心语，封装的思维：从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热？
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列：向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
阅读排行：
· 10年+ .NET Coder 心语 ── 封装的思维：从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源！
· 周边上新：园子的第一款马克杯温暖上架
点击右上角即可分享
微信分享提示
SQL AI 助手