2023年3月31日
使用Unit Scaling进行FP16 和 FP8 训练
摘要： Unit Scaling 是一种新的低精度机器学习方法，能够在没有损失缩放的情况下训练 FP16 和 FP8 中的语言模型。 使用FP16和BFLOAT16替代FP32可以将内存、带宽和计算需求的大幅减少，这也是目前越来越大的模型所需要的。 背景介绍 随着支持fp8的硬件的发展，在不影响效率的前提下 阅读全文
posted @ 2023-03-31 10:51 deephub 阅读(100) 评论(0) 推荐(0) 编辑