one cycle learning rate单周期学习率

在讲"1cycle"之前，有必要先介绍一下cyclical learning rates (CLR)。

 

 

在CLR的基础上，"1cycle"是在整个训练过程中只有一个cycle，学习率首先从初始值上升至max_lr，之后从max_lr下降至低于初始值的大小。和CosineAnnealingLR不同，OneCycleLR一般每个batch后调用一次。