2024年9月29日
优化器：从SGD到Adam到AdamW
摘要： 1. SGD 随机梯度下降（stochastic gradient descent，SGD） 输入数据为(x, y)组成的pair，模型参数是\(W\)，随机选择一批样本组成一个batch，输入模型计算loss：\(L=f(X, Y;W)\)，并求出梯度，更新参数时： \(W=W-lr*\frac{ 阅读全文
posted @ 2024-09-29 15:31 王冰冰 阅读(121) 评论(2) 推荐(0) 编辑