2023年11月23日
动量Momentum梯度下降的简单理解
摘要： 梯度下降是机器学习中用来使模型逼近真实分布的最小偏差的优化方法。 在普通的随机梯度下降和批梯度下降当中，参数的更新是按照如下公式进行的： W = W - αdW b = b - αdb 其中α是学习率，dW、db是cost function对w和b的偏导数。 随机梯度下降和批梯度下降的区别是输入的数 阅读全文
posted @ 2023-11-23 19:27 龙雪 阅读(9) 评论(0) 推荐(0) 编辑