deepspeed 训练多机多卡报错 ncclSystemError Last error
最近在搞分布式训练大模型，踩了两个晚上的坑今天终于爬出来了
我们使用 2台 8*H100
遇到过
错误1
10.255.19.85: ncclSystemError: System call (e.g. socket, malloc) or external library call failed or device error.
10.255.19.85: Last error:
10.255.19.85: socketStartConnect: Connect to 127.0.0.1<34273> failed : Software caused connection abort
错误2
10.255.19.82: torch.distributed.DistBackendError: [7] is setting up NCCL communicator and retrieving ncclUniqueId from [0] via c10d key-value store by key '0', but store->get('0') got error: Connection reset by
错误3
10.255.19.85: ncclInternalError: Internal check failed.
10.255.19.85: Last error:
10.255.19.85: Bootstrap : no socket interface found
其实这三个错误都是一个问题导致的，就是网卡配置的问题
这是之前的配置
hostfile
10.255.19.82 slots=8 10.255.19.85 slots=8
fine-tune.sh
hostfile="/data2/xinyuuliu/Baichuan2-main/fine-tune/hostfile" export NCCL_SOCKET_IFNAME=enp194s0f0 # export MASTER_ADDR=10.255.19.82 # 主节点的IP地址 # export MASTER_PORT=29500 # --include localhost:0,1,2,3,4,5,6,7 export NCCL_DEBUG=INFO # export NCCL_IB_TIMEOUT=22 # export NCCL_IB_GID_INDEX=3 # export NCCL_IB_TC=128 # export NCCL_IB_DISABLE=1 deepspeed --master_addr 10.255.19.82 --master_port 29500 --hostfile=$hostfile fine-tune.py \ --report_to "none" \ --data_path "/data2/xinyuuliu/Baichuan2-main/fine-tune/data/全网评价总结训练数据.json" \ --model_name_or_path "/data1/xinyuuliu/Baichuan2-13B-Chat" \ --output_dir "output_lora_summary" \ --model_max_length 10000\ --num_train_epochs 10 \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 1 \ --save_strategy epoch \ --learning_rate 2e-4 \ --lr_scheduler_type constant \ --adam_beta1 0.9 \ --adam_beta2 0.98 \ --adam_epsilon 1e-8 \ --max_grad_norm 1.0 \ --weight_decay 1e-4 \ --warmup_ratio 0.0 \ --logging_steps 1 \ --gradient_checkpointing True \ --deepspeed ds_config.json \ --bf16 True \ --tf32 True \ --use_lora True \ # --load_lora_path /data2/xinyuuliu/Baichuan2-main/fine-tune/output_lora4_1_1/checkpoint-7516 # --use_NEFT True # --use_frozen True #"/data2/xinyuuliu/baichuan2_7B"
修改后之后的配置
问题主要出现在 NCCL_SOCKET_IFNAME 这个环境变量，这个环境变量会被携带到其他机器上，但是网卡的名称是不一样的，尤其我的两台机器包含很多的网卡，因此，我们配置的时候需要把那些没用的虚拟网卡屏蔽掉，只留下需要的
解决方法，这个要根据实际情况来改，英伟达官方写法如下，屏蔽显卡用^开头
export NCCL_SOCKET_IFNAME=^br-c485a8390817,docker0,eno2,ens6f0,ens6f1,enx46a838614d5f,lo,veth23d7383,br-dcd3e4ec14e7,enp194s0f1,ens6f0,ens6f1,enxe278666d5a52,veth110d0b7,veth215ea4e,veth3203d6b,veth87c3cbf,vethec6fc79,virbr0
我的网卡太多了，之前一直以为环境变量在 /etc/profile 下配置各自的就行，
然后再source /etc/profile，结果发现不对，从机也都指向了主机的网卡，没办法建立socket
hostfile="/data2/xinyuuliu/Baichuan2-main/fine-tune/hostfile" export NCCL_SOCKET_IFNAME=^br-c485a8390817,docker0,eno2,ens6f0,ens6f1,enx46a838614d5f,lo,veth23d7383,br-dcd3e4ec14e7,enp194s0f1,ens6f0,ens6f1,enxe278666d5a52,veth110d0b7,veth215ea4e,veth3203d6b,veth87c3cbf,vethec6fc79,virbr0 # export NCCL_SOCKET_IFNAME=enp194s0f0 # export MASTER_ADDR=10.255.19.82 # 主节点的IP地址 # export MASTER_PORT=29500 # --include localhost:0,1,2,3,4,5,6,7 export NCCL_DEBUG=INFO # export NCCL_IB_TIMEOUT=22 # export NCCL_IB_GID_INDEX=3 # export NCCL_IB_TC=128 # export NCCL_IB_DISABLE=1 deepspeed --master_addr 10.255.19.82 --master_port 29500 --hostfile=$hostfile fine-tune.py \ --report_to "none" \ --data_path "/data2/xinyuuliu/Baichuan2-main/fine-tune/data/全网评价总结训练数据.json" \ --model_name_or_path "/data1/xinyuuliu/Baichuan2-13B-Chat" \ --output_dir "output_lora_summary" \ --model_max_length 10000\ --num_train_epochs 10 \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 1 \ --save_strategy epoch \ --learning_rate 2e-4 \ --lr_scheduler_type constant \ --adam_beta1 0.9 \ --adam_beta2 0.98 \ --adam_epsilon 1e-8 \ --max_grad_norm 1.0 \ --weight_decay 1e-4 \ --warmup_ratio 0.0 \ --logging_steps 1 \ --gradient_checkpointing True \ --deepspeed ds_config.json \ --bf16 True \ --tf32 True \ --use_lora True \ # --load_lora_path /data2/xinyuuliu/Baichuan2-main/fine-tune/output_lora4_1_1/checkpoint-7516 # --use_NEFT True # --use_frozen True #"/data2/xinyuuliu/baichuan2_7B"
修改后成功跑起16*H100，爽歪歪
