2021年9月28日
DeepSpeed超大规模模型训练工具
摘要： DeepSpeed超大规模模型训练工具 2021年 2 月份发布了 DeepSpeed。这是一个开源深度学习训练优化库，包含的一个新的显存优化技术—— ZeRO（零冗余优化器），通过扩大规模，提升速度，控制成本，提升可用性，极大地推进了大模型训练能力。DeepSpeed 已经帮助研究人员，开发了图灵 阅读全文
posted @ 2021-09-28 06:20 吴建明wujianming 阅读(3986) 评论(0) 推荐(0) 编辑