2021年11月2日
使用Pytorch进行单机多卡分布式训练
摘要： 一. torch.nn.DataParallel ? pytorch单机多卡最简单的实现方法就是使用nn.DataParallel类，其几乎仅使用一行代码net = torch.nn.DataParallel(net)就可让模型同时在多张GPU上训练，它大致的工作过程如下图所示： 在每一个Itera 阅读全文
posted @ 2021-11-02 13:10 yinpengchen 阅读(1984) 评论(0) 推荐(0) 编辑