2023年11月7日
用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM
摘要： 众所周知，LLM 规模庞大，如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文 展示了我们是如何将 LLM.int8 论文 中的技术通过 bitsandbytes 库集成到 transformers 中的。在此基础上，我们不断努力以不断降低大模型的准入 阅读全文
posted @ 2023-11-07 23:45 HuggingFace 阅读(1774) 评论(0) 推荐(1) 编辑