SGD + momentum

SGD + momentum

SGD是利用一个mini-batch的数据来近似估计梯度,有陷入局部最优或者马鞍点的问题

momentum是说当前梯度也受之前的梯度的影响,用加权的方式。可以按照光流的思想去类比理解。

posted @ 2020-12-29 20:25  WeiAR  阅读(173)  评论(0编辑  收藏  举报