2022年11月30日
SGD momentum的理解
摘要： 举一个直观的例子来说明SGD和Momentum的区别的话—— SGD是一个轻球（无惯性）做梯度下降寻找loss极小值，而Momentum则是一个重球（有惯性）做梯度下降寻找loss极小值。 我们在原始SGD上引入了一个Momentum（又叫Heavy Ball）的改进。 阅读全文
posted @ 2022-11-30 10:03 ziyuliu 阅读(71) 评论(0) 推荐(0) 编辑