会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
矩池云
专注于人工智能领域的云服务商。
博客园
首页
新随笔
联系
订阅
管理
2022年12月2日
矩池云 | GPU 分布式使用教程之 Pytorch
摘要: Pytorch 官方推荐使用 DistributedDataParallel(DDP) 模块来实现单机多卡和多机多卡分布式计算。DDP 模块涉及了一些新概念,如网络(World Size/Local Rank),代码修改(数据分配加载),多种启动方式(torchrun/launch),使用前请参考官方文档以及更多学习资料。
阅读全文
posted @ 2022-12-02 10:17 矩池云
阅读(706)
评论(0)
推荐(0)
编辑
公告