Loading

2023年9月5日
pytorch分布式训练报错：Duplicate GPU detected : rank 1 and rank 0 both on CUDA device 35000
摘要： 之前使用的比较老的torch 1.8.1，换到torch 2.0后报错 "rank 1 and rank 0 both on CUDA device 35000" 将main函数开头部分的初始化 ```python distributed.init_process_group(backend='nc 阅读全文
posted @ 2023-09-05 22:29 脂环 阅读(3486) 评论(0) 推荐(0) 编辑