2023年11月13日
Transformers 中原生支持的量化方案概述
摘要： 本文旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述，以助于读者进行方案选择。 目前，量化模型有两个主要的用途: 在较小的设备上进行大模型推理 对量化模型进行适配器微调 到目前为止，transformers 已经集成并 原生 支持了 bitsandbytes 和 aut 阅读全文
posted @ 2023-11-13 21:26 HuggingFace 阅读(1589) 评论(0) 推荐(2) 编辑