pytorch 笔记之 model.eval() 和 with torch.no_grad()
model.eval()
负责改变batchnorm、dropout的工作方式,如在eval()模式下,dropout是不工作的。
torch.no_grad()
负责关掉梯度计算,节省eval的时间。
只进行inference时,model.eval()
是必须使用的,否则会影响结果准确性。 而 torch.no_grad()
并不是强制的,只影响运行效率。
一般写为:
# evaluate model:
model.eval()
with torch.no_grad():
...
out_data = model(data)
...
实践经验:当我训练模型时候,训练集的精度一直提高,但是验证集和瞎猜一样,我以为可能是过拟合?尝试了精简模型架构,但是依旧如此。这明显不是过拟合问题,最后我发现自己的验证集生成错误了。