2024年10月21日
使用 Optimum-Intel 和 OpenVINO GenAI 优化和部署模型
摘要： 在端侧部署 Transformer 模型需要仔细考虑性能和兼容性。Python 虽然功能强大，但对于部署来说有时并不算理想，特别是在由 C++ 主导的环境中。这篇博客将指导您如何使用 Optimum-Intel 和 OpenVINO™ GenAI 来优化和部署 Hugging Face Transf 阅读全文
posted @ 2024-10-21 13:46 HuggingFace 阅读(56) 评论(0) 推荐(0) 编辑
Hugging Face 与 Wiz Research 合作提高人工智能安全性
摘要： Hugging Face 与 Wiz Research 合作提高人工智能安全性 本文首发于 2024 年 5 月 我们很高兴地宣布，我们正在与 Wiz 合作，目标是提高我们平台和整个 AI/ML 生态系统的安全性。 Wiz 研究人员 与 Hugging Face 就我们平台的安全性进行合作并分享了他们的发现。 Wiz 是一家云安全公司，帮助客户以安全的方式构建和维护软件。 随着 阅读全文
posted @ 2024-10-21 12:58 HuggingFace 阅读(27) 评论(0) 推荐(0) 编辑
更快的辅助生成: 动态推测
摘要： 更快的辅助生成: 动态推测 ⭐ 在这篇博客文章中，我们将探讨 动态推测解码 ——这是由英特尔实验室和 Hugging Face 开发的一种新方法，可以加速文本生成高达 2.7 倍，具体取决于任务。从 Transformers🤗 发布的版本 4.45.0 开始，这种方法是辅助生成的默认模式⭐ 推测解码 推测解码 技术十分流行， 阅读全文
posted @ 2024-10-21 11:00 HuggingFace 阅读(193) 评论(0) 推荐(0) 编辑