2024年1月17日
神经网络优化篇：详解动量梯度下降法（Gradient descent with Momentum）
摘要： 动量梯度下降法 还有一种算法叫做Momentum，或者叫做动量梯度下降法，运行速度几乎总是快于标准的梯度下降算法，简而言之，基本的想法就是计算梯度的指数加权平均数，并利用该梯度更新的权重。 例如，如果要优化成本函数，函数形状如图，红点代表最小值的位置，假设从这里（蓝色点）开始梯度下降法，如果进行梯度 阅读全文
posted @ 2024-01-17 09:57 Oten 阅读(1023) 评论(0) 推荐(0) 编辑