会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
下路派出所
博客园
首页
新随笔
联系
订阅
管理
2019年7月22日
learning rate warmup实现
摘要: def noam_scheme(global_step, num_warmup_steps, num_train_steps, init_lr, warmup=True): """ decay learning rate if warmup > global step, the learning rate will be global_step/num_warmup_st...
阅读全文
posted @ 2019-07-22 16:53 下路派出所
阅读(2514)
评论(0)
推荐(0)
编辑
公告