m17

Warmup：训练开始阶段，将学习率从0缓增到指定大小。目的：一开始学习率较小，模型先掌握大概收敛方向，明确方向之后，学习率就可以上升了

 

posted @ 2023-04-12 18:09  Jary霸  阅读(56)  评论(0)  编辑  收藏  举报