随笔分类 - Hugging Face 博客
摘要：本文，我们将了解如何基于 PyTorch 最新的 完全分片数据并行 (Fully Sharded Data Parallel，FSDP) 功能用 Accelerate 库来训练大模型。 动机 🤗 随着机器学习 (ML) 模型的规模、大小和参数量的不断增加，ML 从业者发现在自己的硬件上训练甚至加载
阅读全文
摘要：Google Colab，全称 Colaboratory，是 Google Research 团队开发的一款产品。在 Colab 中，任何人都可以通过浏览器编写和执行任意 Python 代码。它尤其适合机器学习、数据分析和教育目的。从技术上来说，Colab 是一种托管式 Jupyter 笔记本服务。
阅读全文
摘要：Gradio 是一个经常用于创建交互式机器学习应用的 Python 库。在以前按照传统方法，如果想对外分享 Gradio 应用，就需要依赖服务器设备和相关资源，而这对于自己部署的开发人员来说并不友好。 欢迎 Gradio-lite ( @gradio/lite ): 一个通过 Pyodide 在浏览
阅读全文
摘要：视频地址：https://www.bilibili.com/video/BV1eg4y1Q7N5/ 是未来危机，还是眼下的问题？🌍 Sasha Luccioni 是 Hugging Face 团队的道德和可持续人工智能研究员，被邀请做了 TED 演讲 📢 演讲主题也是最近在 AI 伦理道德方面的
阅读全文
摘要：引言 基于 transformer 的模型已被证明对很多 NLP 任务都非常有用。然而，\(O(n^2)\) 的时间和内存复杂度 (其中 \(n\) 是序列长度) 使得在长序列 (\(n > 512\)) 上应用它们变得非常昂贵，因而大大限制了其应用。最近的几篇论文，如 Longformer 、Pe
阅读全文
摘要：LCM 模型 通过将原始模型蒸馏为另一个需要更少步数 (4 到 8 步，而不是原来的 25 到 50 步) 的版本以减少用 Stable Diffusion (或 SDXL) 生成图像所需的步数。蒸馏是一种训练过程，其主要思想是尝试用一个新模型来复制源模型的输出。蒸馏后的模型要么尺寸更小 (如 Di
阅读全文
摘要：
当下，RLHF/ChatGPT 已经变成了一个非常流行的话题。我们正在致力于更多有关 RLHF 的研究，这篇博客尝试复现 OpenAI 在 2019 年开源的原始 RLHF 代码库，其仓库位置位于 openai/lm-human-preferences。尽管它具有 “tensorflow-1.x”
阅读全文
当下，RLHF/ChatGPT 已经变成了一个非常流行的话题。我们正在致力于更多有关 RLHF 的研究，这篇博客尝试复现 OpenAI 在 2019 年开源的原始 RLHF 代码库，其仓库位置位于 openai/lm-human-preferences。尽管它具有 “tensorflow-1.x”
阅读全文
摘要：在编程和软件开发这个不断演变的领域中，对效率和生产力的追求催生了许多卓越的创新。其中一个显著的创新就是代码生成模型的出现，如 Codex、StarCoder 和 Code Llama。这些模型在生成类似人类编写的代码片段方面表现出惊人能力，显示出了作为编程助手的巨大潜力。 然而，虽然这些预训练模型在
阅读全文
摘要：本文旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述，以助于读者进行方案选择。 目前，量化模型有两个主要的用途: 在较小的设备上进行大模型推理 对量化模型进行适配器微调 到目前为止，transformers 已经集成并 原生 支持了 bitsandbytes 和 aut
阅读全文
摘要：Hugging Face、Meta、Scaleway 与法国创业孵化基地 STATION F 合作的人工智能创业项目正式启动 📢🔥 申请截止日期为 12 月 1 日本项目旨在利用开源人工智能的力量来扶持初创公司并推动人工智能创业生态的创新🌪如果你是：👾 一家愿意开发开源模型的人工智能初创企业
阅读全文
摘要：最近我们刚刚发布了新的开源模型 Zephry-7B🪁，这个模型的诞生离不开全球三大洲开源社区的协作 ❤️。 我们的 CSO Thomas 录了一个视频介绍了它的起源故事: ✨ 就在几个月前，巴黎的一个新团队发布了他们首个模型: Mistral 7B，这个模型体积小巧但性能强劲，在基准测试中的表现超
阅读全文
摘要：众所周知，LLM 规模庞大，如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文 展示了我们是如何将 LLM.int8 论文 中的技术通过 bitsandbytes 库集成到 transformers 中的。在此基础上，我们不断努力以不断降低大模型的准入
阅读全文
摘要：我们在 企业版 Hub 服务 方案中推出了 存储区域（Storage Regions） 功能。 通过此功能，用户能够自主决定其组织的模型和数据集的存储地点，这带来两大显著优势，接下来的内容会进行简要介绍： 法规和数据合规，此外还能增强数字主权 性能提升（下载和上传速度更快，减少延迟） 目前，我们支持
阅读全文
摘要：Gradio 的目标是使机器学习模型的演示更容易定制和访问，以满足不同用户的需求。在 4.0 正式版的发布活动上，Hugging Face 的 Gradio 团队介绍了自己为了提高机器学习模型的可访问性所做的工作，以及如何创建自定义组件。 Gradio 是一个用于构建机器学习模型演示的工具，任何人都
阅读全文
摘要：每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。快来看看有哪些近期更新吧！ 🎉 新的训练方法 Zephyr-7B 模型超越 70B Lla
阅读全文
摘要：Tay 等人的 Efficient Transformers taxonomy from Efficient Transformers: a Survey 论文 本文由 Teven Le Scao、Patrick Von Platen、Suraj Patil、Yacine Jernite 和 Vic
阅读全文
摘要：引言 扩散模型 (如 DALL-E 2、Stable Diffusion) 是一类文生图模型，在生成图像 (尤其是有照片级真实感的图像) 方面取得了广泛成功。然而，这些模型生成的图像可能并不总是符合人类偏好或人类意图。因此出现了对齐问题，即如何确保模型的输出与人类偏好 (如“质感”) 一致，或者与那
阅读全文
摘要：和大家分享我们的机器学习工程师 Loubna Ben Allal 在 10 月上海 KubeCon 大会的主题演讲 📢 题目是： 代码生成模型的预训练和微调 演讲介绍了构建和训练大型代码模型比如: StarCoder 🌟 的幕后过程， 还探讨了如何使用开源库，包括 Transformers、da
阅读全文
摘要：每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息，快来看看吧！ 🎉 给 Pro 订阅账户加
阅读全文
摘要：注意 : 本文同时也是 Transformers 的文档。 以 GPT3/4、Falcon 以及 LLama 为代表的大语言模型 (Large Language Model，LLM) 在处理以人为中心的任务上能力突飞猛进，俨然已成为现代知识型行业的重要工具。 然而，在实际部署这些模型时，我们仍面临不
阅读全文