SGD momentum的理解

举一个直观的例子来说明SGD和Momentum的区别的话——

SGD是一个轻球（无惯性）做梯度下降寻找loss极小值，而Momentum则是一个重球（有惯性）做梯度下降寻找loss极小值。

我们在原始SGD上引入了一个Momentum（又叫Heavy Ball）的改进。