2018 年 1月 28 日随笔档案 - 蓝空

梯度下降与优化方法（BGD & SGD & Momentum & AdaGrad & RMSProp & Adam）

摘要： SGDSGD指stochastic gradient descent，即随机梯度下降。是梯度下降的batch版本。对于训练数据集，我们首先将其分成n个batch，每个batch包含m个样本。我们每次更新都利用一个batch的数据，而非整个训练集。即： xt+1=xt+Δ... 阅读全文

posted @ 2018-01-28 15:10 蓝空阅读(1902) 评论(0) 推荐(0) 编辑