2020年10月9日
Transformer代码细节
摘要： ###优化措施 作者采用warmup学习率，先线性增长学习率，随后指数缓慢减少学习率 class ScheduledOptim(): '''A simple wrapper class for learning rate scheduling''' def __init__(self, optimi 阅读全文
posted @ 2020-10-09 13:16 blueattack 阅读(458) 评论(0) 推荐(0) 编辑