2021年5月22日
EMA
摘要： 源 Exponential moving average (EMA) 是一个非常有用的trick, 起到加速训练的作用. 近来发现, 该技巧还可以用于提高网络鲁棒性(约1% ~ 2%). EMA的流程很简单, $f(\cdot;\theta)$是我们用于训练的网络, 则在每次迭代结束后进行: \[ 阅读全文
posted @ 2021-05-22 21:54 馒头and花卷 阅读(518) 评论(0) 推荐(0) 编辑