会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Pam
Hang Shao
首页
新随笔
联系
管理
2024年6月21日
大模型显存计算
摘要: 大模型微调需要多少GPU显存? 如:微调 1B 模型,16bit = 2byte 全量微调 显存占用分为: model weight(参数本身):10亿(bit) = 20亿(byte)约等于2GB 训练模型时,通过一系列反向传播的方法,来更新模型参数,涉及以下gradient和optimizer
阅读全文
posted @ 2024-06-21 00:11 PamShao
阅读(675)
评论(0)
推荐(0)
编辑
公告