2024年5月25日
端到端自适应大规模分布式训练技术
摘要： 端到端自适应大规模分布式训练技术 随着 2020 年 GPT-3 1750 亿超大语言预训练模型的提出，语言、视觉、多模态等领域也随即发布多种超大规模预训练模型，不仅模型参数量越来越大，训练数据量和计算量也相应变大。针对大规模稠密参数模型高效训练问题，飞桨于 2021 年初在业内首发 4D 混合并行 阅读全文
posted @ 2024-05-25 03:52 吴建明wujianming 阅读(134) 评论(0) 推荐(0) 编辑