Pytorch中adam优化器的参数问题

之前用的adam优化器一直是这样的:

alpha_optim = torch.optim.Adam(model.alphas(), config.alpha_lr, betas=(0.5, 0.999),
                                   weight_decay=config.alpha_weight_decay)

没有细想内部参数的问题,但是最近的工作中是要让优化器中的部分参数参与梯度更新,其余部分不更新,由于weight_decay参数的存在,会让model.alphas都有所变化,所以想要真正部分参数

参与更新,则要关掉weight_decay

posted @ 2020-07-27 17:06  嶙羽  阅读(8164)  评论(0编辑  收藏  举报