2022年11月29日
pytorch分布式训练 DDP torchrun介绍和基本使用
摘要： 0. 概念界定 关于分布式训练/多卡训练，我们首先明确一些概念： 并行（parallel） 多个卡训练，所有卡是一个进程或者是多个进程 分布式（Distributed） 多个卡训练，但是每张卡上都是一个单独的进程 但是，在下文中，为了表述的方便性，我们不严格区分“并行”和“分布式”两个概念，不论说并 阅读全文
posted @ 2022-11-29 11:39 王冰冰 阅读(3334) 评论(2) 推荐(0) 编辑