2023年4月6日
大语言模型快速推理: 在 Habana Gaudi2 上推理 BLOOMZ
摘要： 本文将展示如何在 Habana® Gaudi®2 上使用 🤗 Optimum Habana。Optimum Habana 是 Gaudi2 和 🤗 Transformers 库之间的桥梁。本文设计并实现了一个大模型推理基准测试，证明了通过使用 Optimum Habana 你将能够在 Gaudi 阅读全文
posted @ 2023-04-06 21:21 HuggingFace 阅读(322) 评论(0) 推荐(0) 编辑