2019年9月13日
Batchsize与learning rate
摘要： https://www.zhihu.com/question/64134994 1、增加batch size会使得梯度更准确，但也会导致variance变小，可能会使模型陷入局部最优； 2、因此增大batch size通常要增大learning rate，比如batch size增大m倍，lr增大m 阅读全文
posted @ 2019-09-13 16:41 牧马人夏峥 阅读(2202) 评论(0) 推荐(0) 编辑