2024年1月11日
神经网络优化篇：理解mini-batch梯度下降法（Understanding mini-batch gradient descent）
摘要： 理解mini-batch梯度下降法 使用batch梯度下降法时，每次迭代都需要历遍整个训练集，可以预期每次迭代成本都会下降，所以如果成本函数\(J\)是迭代次数的一个函数，它应该会随着每次迭代而减少，如果\(J\)在某次迭代中增加了，那肯定出了问题，也许的学习率太大。 使用mini-batch梯度下 阅读全文
posted @ 2024-01-11 10:01 Oten 阅读(112) 评论(0) 推荐(0) 编辑