2024年4月29日
如何准确的估计llm推理和微调的内存消耗
摘要： Command-R+， Mixtral-8x22b和Llama 3 70b都在最近的几周内发布了，这些模型是巨大的。它们都有超过700亿个参数: Command-R+: 104B参数 Mixtral-8x22b:具有141B参数的混合专家(MoE)模型 Llama 370b: 70.6B参数 你能在 阅读全文
posted @ 2024-04-29 10:49 deephub 阅读(29) 评论(0) 推荐(0) 编辑