摘要：
Adam 优化算法(Adam optimization algorithm) Adam 优化算法基本上就是将 Momentum 和 RMSprop 结合在一起。 使用 Adam 算法，首先你要初始化，${v_{dW}} = 0$，${S_{dw}} = 0$，${v_{db}} = 0$，${S_{ 阅读全文
摘要：
RMSprop 知道了动量（ Momentum）可以加快梯度下降，还有一个叫做 RMSprop 的算法，全称是 root mean square prop 算法，它也可以加速梯度下降： 如果你执行梯度下降，虽然横轴方向正在推进，但纵轴方向会有大幅度摆动，为了分析这个例子，假设纵轴代表参数b，横轴代表 阅读全文
摘要：
动量梯度下降法（Gradient descent with Momentum） 还有一种算法叫做 Momentum，或者叫做动量梯度下降法，运行速度几乎总是快于标准的梯度下降算法，简而言之，基本的想法就是计算梯度的指数加权平均数，并利用该梯度更新你的权重。 如果你要优化成本函数，函数形状如图，红点代 阅读全文