训练trick

1、https://www.zhihu.com/follow
2、训练时目标网络 从源网络集成 网络层参数，单又涉及torch.float16到torch.float32转换

 data_type = self.model.module.visual.attnpool.c_proj.weight.dtype # 目标网络类型
 p_weight = self.p_model.visual.attnpool.c_proj.weight.data  # 源参数
 p_weight = p_weight.to(data_type)      # 参数类型转换
 self.model.module.visual.attnpool.c_proj.weight = torch.nn.Parameter(p_weight, requires_grad=False)  # 参数赋值给目标参数

__EOF__

本文作者：userName
本文链接：https://www.cnblogs.com/pyclq/p/16594732.html
关于博主：评论和私信会在第一时间回复。或者直接私信我。
版权声明：本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！