摘要: Colossal-AI是一个专注于大规模模型训练的深度学习系统,Colossal-AI基于PyTorch开发,旨在支持完整的高性能分布式训练生态。Colossal-AI已在GitHub上开源。 在Colossal-AI中,我们支持了不同的分布式加速方式,包括张量并行、流水线并行、零冗余数据并行、异构 阅读全文
posted @ 2023-08-03 19:28 wangssd 阅读(424) 评论(0) 推荐(0) 编辑