09 2024 档案

开源大模型占GPU显存计算方法
摘要：运行大模型GPU占用计算公式： \(M=\frac{(P * 4B)}{32 / Q} * 1/2\) M : 以GB标识的GPU内存 P : 模型中的参数数量，例如一个7B模型有70亿参数 4B : 4个字节，表示用于每个参数的字节 32 : 4个字节中有32位 Q : 应该用于加载模型的位数，例 阅读全文
posted @ 2024-09-08 22:42 锅总的程序人生 阅读(3324) 评论(0) 推荐(0)