机器学习/数据挖掘(数学基础部分）——摘自牛客网
摘要：
SGD,Momentum,Adagard,Adam原理 SGD为随机梯度下降,每一次迭代计算数据集的mini-batch的梯度,然后对参数进行更新。 Momentum参考了物理中动量的概念,前几次的梯度也会参与到当前的计算中,但是前几轮的梯度叠加在当前计算中会有一定的衰减。 Adagard在训练的过 阅读全文
posted @ 2019-04-10 20:01 薛大明白 阅读(382) 评论(0) 推荐(0) 编辑
