摘要： 1. mini-batch梯度下降法 size=m：退化为batch，当训练样本过多时，单次迭代需要处理过多的训练样本 size=1：随机梯度下降法，产生大量噪声（但通过减小学习率，噪声可以减少），缺点是失去了向量化带来的加速。 使用mini-size，每次遍历所有样本时，可以进行m/size次梯度 阅读全文