2020年3月26日
PyTorch余弦学习率衰减
摘要： 前言 今天用到了PyTorch里的CosineAnnealingLR，也就是用余弦函数进行学习率的衰减。 下面讲讲定义CosineAnnealingLR这个类的对象时输入的几个参数是什么，代码示例就不放了。 正文 需要进行学习率衰减的优化器变量 Cosine是个周期函数嘛，这里的 就是这个周期的一半 阅读全文
posted @ 2020-03-26 12:51 臭咸鱼 阅读(12017) 评论(0) 推荐(0) 编辑