2024年9月24日
AdEMAMix: 一种创新的神经网络优化器
摘要： 这是9月发布的一篇论文，Pagliardini等人在其论文中提出了一种新的优化算法——AdEMAMix。这种算法旨在解决当前广泛使用的Adam及其变体（如AdamW）在利用长期梯度信息方面的局限性。研究者们通过巧妙地结合两个不同衰减率的指数移动平均（EMA），设计出了这种新的优化器，以更有效地利用历 阅读全文
posted @ 2024-09-24 09:32 deephub 阅读(17) 评论(0) 推荐(0) 编辑