LOADING . . .

2022年10月12日
使用Pytorch进行多卡训练
摘要： 深度学习中，当一块GPU不够用时，我们就需要使用多卡进行并行训练。其中多卡并行可分为数据并行和模型并行。具体区别如下图所示： 由于模型并行比较少用，这里只对数据并行进行记录。对于pytorch，有两种方式可以进行数据并行：数据并行（DataParallel, DP）和分布式数据并行（Distribu 阅读全文
posted @ 2022-10-12 14:13 颀周 阅读(4498) 评论(0) 推荐(4) 编辑
很高兴能帮到你~
点赞