摘要：
定义 warm_up是针对学习率优化的一种策略 在warm_up期间，学习率从0开始，线性增加到优化器中初始预设的学习率，随后将学习率从优化器的初始预设学习率（线性\非线性）降低到0. 为什么使用warm up 有助于减缓模型在初始阶段对mini-batch的提前过拟合现象，保持分布的平稳 刚开始训 阅读全文
摘要：
lr_scheduler PyTorch中torch.optim.lr_scheduler封装的API： lr_scheduler.LambdaLR lr_scheduler.MultiplicativeLR lr_scheduler.StepLR lr_scheduler.MultiStepLR 阅读全文
摘要：
np.ceil(ndarray) 功能：计算大于等于当前值的最小整数 np.ceil(ndarray) 功能：计算小于等于当前值的最大整数 >>> import numpy as np >>> a=np.array([1.5, 1.2, -1.4, -3.1, 1.9, 2.9]) >>> b=np 阅读全文