会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
王冰冰
博客园
首页
新随笔
联系
订阅
管理
2022年11月29日
pytorch分布式训练 DDP torchrun介绍和基本使用
摘要: 0. 概念界定 关于分布式训练/多卡训练,我们首先明确一些概念: 并行(parallel) 多个卡训练,所有卡是一个进程或者是多个进程 分布式(Distributed) 多个卡训练,但是每张卡上都是一个单独的进程 但是,在下文中,为了表述的方便性,我们不严格区分“并行”和“分布式”两个概念,不论说并
阅读全文
posted @ 2022-11-29 11:39 王冰冰
阅读(2648)
评论(2)
推荐(0)
编辑
公告