2022年11月9日
深度学习并行训练算法一锅炖: DDP, TP, PP, ZeRO
摘要： 本文主要参考ColossalAI论文 Colossal-AI: A Unified Deep Learning System For Large-Scale Parallel Training ColossalAI框架开源提供了本文介绍的所有并行训练: https://github.com/hpca 阅读全文
posted @ 2022-11-09 00:16 marsggbo 阅读(8819) 评论(0) 推荐(0) 编辑