Adam

Adam是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代的更新神经网络权重。

Adam算法同时获得了AdaGrad和RMSProp算法的优点。