Adam = Adaptive + Momentum,顾名思义Adam集成了SGD的一阶动量和RMSProp的二阶动量。
参考:
https://blog.csdn.net/q295684174/article/details/79130666