01 2024 档案

Yuan2.0代码主要结构概览及三种并行方式实现
摘要：该代码结构如下图所示： 在initialize_megatron初始化megatron的过程中，有关于数据并行、流水线并行、张量并行的实现，简介及其实现如下： 模型分布式环境初始化： 以两台分别有8个GPU服务器为例，训练具有12层的transformer layers， 图一 图二 本示例将模型纵 阅读全文
posted @ 2024-01-19 17:46 sunshine丶23 阅读(81) 评论(0) 推荐(0) 编辑
docker创建容器问题-docker run
摘要：W: Failed to fetch http://archive.ubuntu.com/ubuntu/dists/jammy/InRelease Temporary failure resolving 'archive.ubuntu.com' W: Failed to fetch http://a 阅读全文
posted @ 2024-01-09 14:22 sunshine丶23 阅读(96) 评论(0) 推荐(0) 编辑
使用docker搭建deepspeed多机多卡分布式微调大模型环境
摘要：前置环境：两台可以互通的centos服务器（服务器1、服务器2），docker，NVIDIA驱动 一、docker创建overlay共享网络 1）选用服务器1作为manage节点进行初始化，执行docker swarm init Swarm initialized: current node (ly 阅读全文
posted @ 2024-01-08 14:39 sunshine丶23 阅读(2550) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示