09 2022 档案

摘要:分布式机器学习中的数据并行(Data Parallelism)和模型并行(model parallelism) 前言: 现在的模型越来越复杂,参数越来越多,其训练集也在剧增。在一个很大的数据集集中训练一个比较复杂的模型往往需要多个GPU。现在比较常见的并行策略有:数据并行和模型并行,本文主要讨论这两 阅读全文
posted @ 2022-09-29 17:02 EchoZQN 阅读(1819) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示