Momentum

一、目的

加快参数的收敛速度。

二、做法

另第t次的权重更新对第t+1次的权重更新造成影响。

从上式可看出，加入momentum后能够保持权重的更新方向，同时加快收敛。通常alpha的取值为[0.7, 0.95]

posted @ 2015-03-16 21:03  lireagan  阅读(257)  评论(0)  编辑  收藏  举报