mini-batch和full-batch,及参数更新
摘要:
一次epoch是指跑完全部的数据集。 在对模型参数进行更新学习的时候,有三种更新方式,mini-batch (部分增量更新)与 full-batch(全增量更新),以及一次选一个训练。 SGD随机梯度下降法对full-batch GD有了极大速度的提升。但有一个问题就是由于过于自由 导致训练的los 阅读全文
posted @ 2017-09-28 11:10 MissSimple 阅读(2474) 评论(0) 推荐(0) 编辑