pytorch之model.zero_grad() 与 optimizer.zero_grad()
转自
1. 引言
在PyTorch中，对模型参数的梯度置0时通常使用两种方式：model.zero_grad()和optimizer.zero_grad()。二者在训练代码都很常见，那么二者的区别在哪里呢？
2. model.zero_grad()
model.zero_grad()的作用是将所有模型参数的梯度置为0。其源码如下：
for p in self.parameters():
if p.grad is not None:
p.grad.detach_()
p.grad.zero_()
3. optimizer.zero_grad()
optimizer.zero_grad()的作用是清除所有可训练的torch.Tensor的梯度。其源码如下：
for group in self.param_groups:
for p in group['params']:
if p.grad is not None:
p.grad.detach_()
p.grad.zero_()
4. 总结
因此，当使用optimizer=optim.Optimizer(net.parameters())设置优化器时，此时优化器中的param_groups等于模型中的parameters()，此时，二者是等效的，从二者的源码中也可以看出来。
当多个模型使用同一个优化器时，二者是不同的，此时需要根据实际情况选择梯度的清除方式。
当一个模型使用多个优化器时，二者是不同的，此时需要根据实际情况选择梯度的清除方式
