多卡训练的state_dict
在pytorch多卡训练得到的pth.tar形式的checkpoint中一个问题是key都被加上了module,例如原来的'fc.weight'就变成了'module.fc.weight',在加载进单卡下的模型时如果命令为model.load_state_dict(state_dict, strict=False)
的话不注意看log就会导致什么都没有加载进去,体现的就是训练过程和从头训练一模一样。
蛮低级的错误,困扰了我一天。。。。
在pytorch多卡训练得到的pth.tar形式的checkpoint中一个问题是key都被加上了module,例如原来的'fc.weight'就变成了'module.fc.weight',在加载进单卡下的模型时如果命令为model.load_state_dict(state_dict, strict=False)
的话不注意看log就会导致什么都没有加载进去,体现的就是训练过程和从头训练一模一样。
蛮低级的错误,困扰了我一天。。。。