2024年3月14日
容器集群实现多机多卡分布式微调大模型chatglm2-6b（deepseed + LLaMA + NCCL）
摘要： 环境信息 2台物理机（187.135,187.136），各两张p4显卡，安装好docker=20.10.0, 安装好nvidia驱动(driver version=470.223.02, cuda version=11.4） 构造容器集群（docker swarm 187.136节点作为manage 阅读全文
posted @ 2024-03-14 15:56 威威后花园 阅读(465) 评论(0) 推荐(0) 编辑