2024年11月5日
大模型-训练推理 模型大小与硬件GPU 选取的大致关系-05
摘要： 目录0. 计算公式1. 市面上常见的显卡2. 训练3. 推理 0. 计算公式 重点：显存大小 = 模型参数占用 + 梯度占用 + 优化器占用 + CUDA kernel占用 + 中间计算结果 每个神经元节点 不仅仅有自身的权重值 在进行反向传播的时候还有梯度的累计值 1. 市面上常见的显卡 英伟达G 阅读全文
posted @ 2024-11-05 00:13 jack-chen666 阅读(60) 评论(0) 推荐(0) 编辑