2020年4月10日
混合精度训练 | fp16 用于神经网络训练和预测
摘要： 混合精度训练 混合精度训练是在尽可能减少精度损失的情况下利用半精度浮点数加速训练。它使用FP16即半精度浮点数存储权重和梯度。在减少占用内存的同时起到了加速训练的效果。 IEEE标准中的FP16格式如下： 取值范围是5.96× 10−8 ~ 65504，而FP32则是1.4×10-45 ~ 3.4× 阅读全文
posted @ 2020-04-10 15:51 山竹小果 阅读(8212) 评论(0) 推荐(0) 编辑