Pytorch使用Scaler时关于scheduler和optimizer顺序的报错：`optimizer.step()` before `lr_scheduler.step()`

背景

当我们使用pytroch的进行混合精度时，会使用scaler，来进行梯度浮点数类型的缩放。在这种情况下optimizer.step()会被scaler.step(optimizer)取代。

已知，如果梯度存在无穷值的时候，scaler会跳过这一轮次的参数更新。
又知，在参数没有更新时执行scheduler.step()，会有标题出现的warning。

所以如果我们有如下代码：

scaler.step(optimizer)
scheduler.step()

那么就会遇到警告，虽然不一定影响性能。

讨论

在下面这三个链接里里，都有人提出了解决方案

1. https://github.com/pytorch/pytorch/issues/67590
2. https://github.com/Lightning-AI/lightning/issues/5558
3. https://discuss.pytorch.org/t/optimizer-step-before-lr-scheduler-step-error-using-gradscaler/92930/8

感兴趣的同学可以去读一下。我下面提供两个解决方案。

解决方案

一、无视

因为我们创建scheduler的时候，指定了总共的更新轮次。这个更新轮次和optimizer有没有真正执行了那么多次更新没有关系，所以直接无视这个warning就好了。

二、判断

刚才提到，如果参数没有更新，这时候调用scheduler会有警告。很简单的思路就是，进行判断，如果参数更新了，就调用，没更新，就不调用。

这里呢，有两个判断的方式，大家各选其一就行。

方法一

有点累了，直接贴：

方法二

有点长，先不写了，上面一个就够用啦。