cekong

导航

深度学习 参数笔记

深度学习基础——Epoch、Iteration、Batchsize

GPU对2的幂次的batch可以发挥更佳的性能,因此设置成16、32、64、128...时往往要比设置为整10、整100的倍数时表现更优
https://zhuanlan.zhihu.com/p/27763696

在训练中动态的调整学习率

深度学习通用策略:SGD, weight decay, momentum, normalization含义理解

训练不收敛的几种可能

深度学习最全优化方法总结比较(SGD,Adagrad,Adadelta,Adam,Adamax,Nadam)

 

posted on 2019-07-24 11:47  cekong  阅读(152)  评论(0编辑  收藏  举报