2023年11月17日
使用FP8加速PyTorch训练
摘要： 现代的人工智能硬件架构(例如，Nvidia Hopper, Nvidia Ada Lovelace和Habana Gaudi2)中，FP8张量内核能够显著提高每秒浮点运算(FLOPS)，以及为人工智能训练和推理工作负载提供内存优化和节能的机会。 在这篇文章中，我们将介绍如何修改PyTorch训练脚本 阅读全文
posted @ 2023-11-17 09:40 deephub 阅读(93) 评论(0) 推荐(0) 编辑