pytorch优化器

torch.optim.SGD

常用参数列表：
params 需要学习的参数
lr 学习率
momentum：冲量 加入冲量后权重更新公式由v=−dx∗lr+v变成v=−dx∗lr+v∗momemtum
weight_decay：权重衰减 防止过拟合，原理见这里

权重更新

lr_scheduler.LambdaLR
传入参数：
optimizer：被调整学习率的优化器
lr_lambda：用户自定义的学习率调整规则。可以是lambda表达式，也可以是函数
last_epoch：当前优化器的已迭代次数，后文我们将其称为epoch计数器。默认是-1，字面意思是第-1个epoch已完成，也就是当前epoch从0算起，从头开始训练。如果是加载checkpoint继续训练，那么这里要传入对应的已迭代次数。
最后每层的学习率就是将初始学习率乘以人工规则所生成的系数λ。

查看当前权重

scheduler.get_last_lr()：查看当前权重值