2024年1月19日
Yuan2.0代码主要结构概览及三种并行方式实现
摘要： 该代码结构如下图所示： 在initialize_megatron初始化megatron的过程中，有关于数据并行、流水线并行、张量并行的实现，简介及其实现如下： 模型分布式环境初始化： 以两台分别有8个GPU服务器为例，训练具有12层的transformer layers， 图一 图二 本示例将模型纵 阅读全文
posted @ 2024-01-19 17:46 sunshine丶23 阅读(66) 评论(0) 推荐(0) 编辑