2020年10月13日
pytorch 分布式训练
摘要： 1.初始化进程组dist.init_process_group(backend="nccl")backend是后台利用nccl进行通信 2.使样本之间能够进行通信train_sampler = torch.utils.data.distributed.DistributedSampler(train 阅读全文
posted @ 2020-10-13 19:16 north_startx 阅读(1120) 评论(0) 推荐(0) 编辑