2023年4月2日
Pytorch使用Scaler时关于scheduler和optimizer顺序的报错：`optimizer.step()` before `lr_scheduler.step()`
摘要： 背景 当我们使用pytroch的进行混合精度时，会使用scaler，来进行梯度浮点数类型的缩放。在这种情况下optimizer.step()会被scaler.step(optimizer)取代。 已知，如果梯度存在无穷值的时候，scaler会跳过这一轮次的参数更新。 又知，在参数没有更新时执行sch 阅读全文
posted @ 2023-04-02 15:26 ysngki 阅读(70) 评论(0) 推荐(0) 编辑