2022年12月2日
矩池云 ｜ GPU 分布式使用教程之 Pytorch
摘要： Pytorch 官方推荐使用 DistributedDataParallel(DDP) 模块来实现单机多卡和多机多卡分布式计算。DDP 模块涉及了一些新概念，如网络（World Size/Local Rank），代码修改（数据分配加载），多种启动方式（torchrun/launch），使用前请参考官方文档以及更多学习资料。 阅读全文
posted @ 2022-12-02 10:17 矩池云 阅读(725) 评论(0) 推荐(0) 编辑