2022年10月27日
PyTorch中的多GPU训练：DistributedDataParallel
摘要： 在pytorch中的多GPU训练一般有2种DataParallel（DP）和DistributedDataParallel（DDP） ，DataParallel是最简单的的单机多卡实现，但是它使用多线程模型，并不能够在多机多卡的环境下使用，所以本文将介绍DistributedDataParallel 阅读全文
posted @ 2022-10-27 10:20 deephub 阅读(33) 评论(0) 推荐(0) 编辑