2022年7月10日
【炼丹Trick】EMA的原理与实现
摘要： 在进行深度学习训练时，同一模型往往可以训练出不同的效果，这就是炼丹这件事的玄学所在。使用一些trick能够让你更容易追上目前SOTA的效果，一些流行的开源代码中已经集成了不少trick，值得学习一番。本节介绍EMA这一方法。 1.原理： EMA也就是指数移动平均(Exponential moving 阅读全文
posted @ 2022-07-10 11:03 cwpeng 阅读(1930) 评论(0) 推荐(1) 编辑