模型推理 结果不一致

背景：
1、固定网络部分，微调另外一部分， 固定部分包含bn
2、网络的fix部分和训练部分封装到一个nn.Module中
3、训练过程有推理，在推理的时候Module切换到eval（），推理完Module又切换到train()
现象：
最原始现象是 模型训练完，加载训练完的模型，精度和训练最后的训练精度对不上

分析过程：
1、多次训练，每次训练变动太大
2、用单个样本训练，对比训练时候 固定网络部分和推理时候固定网络 输出，发现 固定网络部分就不同
3、分析固定网络的参数，并无变化
4、打印每个算子的输出，发现是第一个BN层后面就变换了，就是BN算子带来的问题
** 根本原因：训练过程推理，推理完成之后，把整个Module切换到train， 而固定部分也会设置成train（），导致固定部分的BN层的running_mean和running_var更新，进而导致网络不稳定**

__EOF__

本文作者：userName
本文链接：https://www.cnblogs.com/pyclq/p/17450400.html
关于博主：评论和私信会在第一时间回复。或者直接私信我。
版权声明：本博客所有文章除特别声明外，均采用 BY-NC-SA 许可协议。转载请注明出处！
声援博主：如果您觉得文章对您有帮助，可以点击文章右下角【推荐】一下。您的鼓励是博主的最大动力！