导航

2024年4月29日

做LLM推理时，常见的显卡如何选择？

摘要： 随着开源LLM越来越成熟，业务接入LLM推理也成为必然，如何选模型大小和显卡，主要看下面这些。 一、选GPU显卡 在选择显卡进行大型语言模型推理时，主要要看下面几个指标： 1、 VRAM（视频随机存取存储器）： VRAM 的容量直接影响您能够加载的模型的大小。大型语言模型需要大量的内存来存储权重和进 阅读全文

posted @ 2024-04-29 20:04 蝈蝈俊 阅读(674) 评论(0) 推荐(0) 编辑