会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
CV技术指南(微信公众号)
博客园
首页
新随笔
联系
订阅
管理
2021年11月25日
ML2021 | (腾讯)PatrickStar:通过基于块的内存管理实现预训练模型的并行训练
摘要: 前言 目前比较常见的并行训练是数据并行,这是基于模型能够在一个GPU上存储的前提,而当这个前提无法满足时,则需要将模型放在多个GPU上。现有的一些模型并行方案仍存在许多问题,本文提出了一种名为PatrickStar的异构训练系统。PatrickStar通过以细粒度方式管理模型数据来更有效地使用异
阅读全文
posted @ 2021-11-25 16:50 CV技术指南(公众号)
阅读(477)
评论(0)
推荐(0)
编辑
公告