摘要: 并行这个概念一方面是是加快模型训练,一方面是解决显存不够的问题的并行策略 数据并行(最常用的),即每张卡上都放一个完整的模型,主要用于单机多卡的数据并行。 模型并行,将模型的不同部分进行手动的分割,然后分别放在不同的卡上。注意,模型要放在卡上不光是需要保存模型参数,因为模型训练过程中不仅涉及数据一层 阅读全文
posted @ 2023-11-24 21:45 诸葛村夫CC 阅读(56) 评论(0) 推荐(0) 编辑