2021年11月25日
ML2021 | (腾讯)PatrickStar：通过基于块的内存管理实现预训练模型的并行训练
摘要： ​ 前言 目前比较常见的并行训练是数据并行，这是基于模型能够在一个GPU上存储的前提，而当这个前提无法满足时，则需要将模型放在多个GPU上。现有的一些模型并行方案仍存在许多问题，本文提出了一种名为PatrickStar的异构训练系统。PatrickStar通过以细粒度方式管理模型数据来更有效地使用异 阅读全文
posted @ 2021-11-25 16:50 CV技术指南（公众号） 阅读(497) 评论(0) 推荐(0) 编辑