Fork me on GitHub
2020年5月14日
pytorch(分布式)数据并行个人实践总结——DataParallel/DistributedDataParallel
摘要： pytorch的并行分为模型并行、数据并行 源码详见我的github: TextCNN_parallel，个人总结，还有很多地方理解不到位，求轻喷。 左侧模型并行：是网络太大，一张卡存不了，那么拆分，然后进行模型并行训练。 右侧数据并行：多个显卡同时采用数据训练网络的副本。 模型并行 数据并行 数据 阅读全文
posted @ 2020-05-14 14:31 fnangle 阅读(31398) 评论(1) 推荐(2) 编辑