2021年4月
pytorch 分布式训练 local_rank 问题
摘要： 使用pytorch进行分布式训练，需要指定 local_rank，主机 local_rank = 0 1 """ 2 pytorch 分布式训练初始化 3 1) backend (str): 指定通信所用后端，可以是'ncll'、'gloo' 或者是一个torch.ditributed.Backen 阅读全文
posted @ 2021-04-03 21:24 Tnak 阅读(23108) 评论(1) 推荐(1) 编辑