04 2023 档案

学习率lr下降错误问题
摘要：在更新学习率的部分有这样一个函数get_lr()有很大的bug： get_last_lr()才表示当前的学习率，使用get_lr()会衰减两次！！ 红色部分是get_last_lr()打印的；白色部分是get_lr()打印的：可以看到错误的写法确实会在节点处衰减两次 这是由于step()时会调一次g 阅读全文
posted @ 2023-04-08 22:08 人都傻了 阅读(80) 评论(0) 推荐(0) 编辑