2024年5月24日
使用FP8加速PyTorch训练的两种方法总结
摘要： 在PyTorch中，FP8（8-bit 浮点数）是一个较新的数据类型，用于实现高效的神经网络训练和推理。它主要被设计来降低模型运行时的内存占用，并加快计算速度，同时尽量保持训练和推理的准确性。虽然PyTorch官方在标准发布中尚未全面支持FP8，但是在2.2版本中PyTorch已经包含了对FP8的“ 阅读全文
posted @ 2024-05-24 10:49 deephub 阅读(101) 评论(0) 推荐(0) 编辑