bringlu

摘要： 为了更好的阅读体验，请点击这里 device_map 以下内容参考 Huggingface Accelerate文档：超大模型推理方法 在 HuggingFace 中有个重要的关键字是 device_map，它可以简单控制模型层部署在哪些硬件上。 设置参数 device_map="auto"，Acc 阅读全文