2021年3月31日

pytorch中基于DistributedDataParallel实现多卡并行计算

摘要: torch.nn.parallel.DistributedDataParallel提供了更为高效的单机多卡和多机多卡训练接口。 DistributedDataParallel并行库接口参数参考: https://www.cnblogs.com/jiangkejie/p/13256115.html 这 阅读全文

posted @ 2021-03-31 20:03 那抹阳光1994 阅读(3871) 评论(0) 推荐(0) 编辑

PyTorch 模型性能分析 & 消除训练瓶颈

摘要: PyTorch消除训练瓶颈 提速技巧 PyTorch 模型性能分析——PyTorch Profiler 阅读全文

posted @ 2021-03-31 09:46 那抹阳光1994 阅读(537) 评论(0) 推荐(0) 编辑

导航