Mixed Precision Training

目录

Narang S., Diamos G., Elsen E., Micikevicius P., Alben J., Garcia D., Ginsburg B., Houston M., Kuchaiev O., Venkatesh G. and Wu H. Mixed precision training. ICLR, 2018.

概

本文提出了混合精度训练.

主要内容

  • 从 FP32 到 FP16 的一个重要问题是, 绝对值小于 2−24 的梯度会被直接置为 0, 而根据如上图所示, 其实是有不少梯度值是落在这一区间的.

  • 于是作者的建议就是, 在梯度回传前, 先对 loss 乘上一个较大的数 s, 然后等 backward 回传结束后, (梯度) 再乘上 1/s, 以避免 backward 中会出现大量 0 的情况. 貌似这个操作经常能看到.

posted @   馒头and花卷  阅读(26)  评论(0)  编辑  收藏  举报
相关博文：
· Ultra-Low Precision 4-bit Training of Deep Neural Networks
· Lightweight Modality Adaptation to Sequential Recommendation via Correlation Supervision
· 如何解决混合精度训练大模型的局限性问题？
· 代码实战带你了解深度学习中的混合精度训练
· 深度学习基础理论————训练加速（单/半/混合精度训练）/显存优化（gradient-checkpoint）
阅读排行：
· Manus重磅发布：全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后，我竟然真的恢复了删除的微信聊天记录！
· 没有Manus邀请码？试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 【自荐】一款简洁、开源的在线白板工具 Drawnix
点击右上角即可分享
微信分享提示