摘要：
一、简介 NVIDIA Collective Communications Library (NCCL) 是一个多 GPU 和多节点通信原语库，具有拓扑感知能力，可以轻松集成到应用程序中。 集体通信算法采用许多协同工作的处理器来聚合数据。 NCCL 不是成熟的并行编程框架； 相反，它是一个专注于加速 阅读全文
摘要：
Pytorch DDP分布式训练介绍 近期一直在用torch的分布式训练，本文调研了目前Pytorch的分布式并行训练常使用DDP模式(Distributed DataParallell )，从基本概念，初始化启动，以及第三方的分布式训练框架展开介绍。最后以一个Bert情感分类给出完整的代码例子：t 阅读全文
摘要：
一、rendezvous 简介： PyTorch中的rendezvous后端是一种服务，它帮助分布式训练作业中的进程相互发现并协商角色和等级。它还提供了一个屏障和一个一致的作业成员和状态视图。 rendezvous后端是作为torch.distributed.elastic.rendezvous.R 阅读全文