2022年6月17日
ZeRO: Memory Optimizations Toward Training Trillion Parameter Models(论文阅读)
摘要： 作者：Samyam Rajbhandari*, Jeff Rasley*, Olatunji Ruwase, Yuxiong He {samyamr, jerasley, olruwase, yuxhe}@microsoft.com 核心思想 类似参数服务器思想：当你的模型大到一个计算单元放不下的时 阅读全文
posted @ 2022-06-17 15:20 小筱痕 阅读(190) 评论(0) 推荐(0) 编辑