诸葛村夫

摘要： 并行这个概念一方面是是加快模型训练，一方面是解决显存不够的问题的并行策略 数据并行(最常用的)，即每张卡上都放一个完整的模型，主要用于单机多卡的数据并行。 模型并行，将模型的不同部分进行手动的分割，然后分别放在不同的卡上。注意，模型要放在卡上不光是需要保存模型参数，因为模型训练过程中不仅涉及数据一层 阅读全文