会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
红豆生南国 是很遥远的事情
种豆南山下 github
博客园
首页
新随笔
联系
订阅
管理
随笔 - 174
文章 - 0
评论 - 0
阅读 -
15996
2024年11月5日
大模型-训练推理 模型大小与硬件GPU 选取的大致关系-05
摘要: 目录0. 计算公式1. 市面上常见的显卡2. 训练3. 推理 0. 计算公式 重点:显存大小 = 模型参数占用 + 梯度占用 + 优化器占用 + CUDA kernel占用 + 中间计算结果 每个神经元节点 不仅仅有自身的权重值 在进行反向传播的时候还有梯度的累计值 1. 市面上常见的显卡 英伟达G
阅读全文
posted @ 2024-11-05 00:13 jack-chen666
阅读(879)
评论(0)
推荐(0)
编辑
公告
昵称:
jack-chen666
园龄:
6年8个月
粉丝:
2
关注:
15
+加关注
<
2025年2月
>
日
一
二
三
四
五
六
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1
2
3
4
5
6
7
8
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
随笔分类
java开发者(24)
python(3)
大模型(11)
机器学习(45)
深度学习(58)
线性代数(2)
随笔档案
2025年1月(1)
2024年12月(7)
2024年11月(9)
2024年10月(1)
2024年8月(3)
2024年7月(5)
2024年6月(10)
2024年5月(6)
2024年4月(16)
2024年3月(9)
2024年2月(13)
2024年1月(14)
2023年12月(27)
2023年11月(5)
2023年10月(7)
2023年9月(11)
2023年8月(3)
2021年5月(1)
2021年4月(4)
2019年3月(1)
2018年12月(9)
2018年11月(2)
2018年10月(7)
2018年9月(3)
更多
阅读排行榜
1. 大模型-训练推理 模型大小与硬件GPU 选取的大致关系-05(879)
2. 区块链 第1篇 什么是区块链 区块链与比特币的关系 区块链的发展历史 应用领域(832)
3. HTTP协议六种请求:GET,HEAD,PUT,DELETE,POST(391)
4. jQuery组织后续事件 事件冒泡 事件委托 键被按下 批量操作 hover input 事件(331)
5. 机器学习-决策树系列-决策树-剪枝-CART算法-27(295)
推荐排行榜
1. 深度学习-神经网络原理-39(2)
点击右上角即可分享