[转] 深度学习中的optimizer
大神的论文还是值得认真读,写作思路很好,给出问题&基本解决方案,阐述基本解决方案的痛点,然后根据痛点一一阐述各种Optimizer
https://arxiv.org/pdf/1609.04747.pdf An overview of gradient descent optimization algorithms
然后这篇博文也不错,基本是论文的中文简报,https://www.cnblogs.com/ChrisInsistPy/p/9510650.html
/* 人应该感到渺小,在宇宙面前,在美面前,在智慧面前;
而在人群中,应该意识到自己的尊严。*/
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步