2020年7月11日
随机梯度下降、mini-batch梯度下降以及batch梯度下降
摘要： 训练神经网络的时候，基本就是三个步骤： 正向计算网络输出； 计算Loss； 反向传播，计算Loss的梯度来更新参数(即梯度下降)。 在小的训练集上联系的时候，通常每次对所有样本计算Loss之后通过梯度下降的方式更新参数(批量梯度下降)，但是在大的训练集时，这样每次计算所有样本的Loss再计算一次梯度 阅读全文
posted @ 2020-07-11 21:22 旺仔真知棒 阅读(2152) 评论(0) 推荐(0) 编辑