2024年3月11日
从16-bit 到 1.58-bit ：大模型内存效率和准确性之间的最佳权衡
摘要： 通过量化可以减少大型语言模型的大小，但是量化是不准确的，因为它在过程中丢失了信息。通常较大的llm可以在精度损失很小的情况下量化到较低的精度，而较小的llm则很难精确量化。 什么时候使用一个小的LLM比量化一个大的LLM更好? 在本文中，我们将通过使用GPTQ对Mistral 7B、Llama 27 阅读全文
posted @ 2024-03-11 11:06 deephub 阅读(25) 评论(0) 推荐(0) 编辑