会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
代码空间
Computer Vision/Machine Learning/Evolutionary Computation...
博客园
首页
新随笔
联系
订阅
管理
2023年2月20日
SGDR: Stochastic Gradient Descent with Warm Restarts
摘要: SGDR和CLR比较类似,都是给学习率设置周期和变化范围,按照下面的公式让学习率周期性的变化: 总的来说,就是在一个周期开始时,将学习率设置为最大值,然后按照余弦函数减小到最小值,再开始下一个周期的循环.尝试了各种超参数的设置.
阅读全文
posted @ 2023-02-20 16:52 MSTK
阅读(233)
评论(0)
推荐(0)
编辑
公告