Hugging Face 博客

摘要：

⭐ 在这篇博客文章中，我们将探讨动态推测解码 ——这是由英特尔实验室和 Hugging Face 开发的一种新方法，可以加速文本生成高达 2.7 倍，具体取决于任务。从 Transformers🤗 发布的版本 4.45.0 开始，这种方法是辅助生成的默认模式⭐ 推测解码推测解码技术十分流行，阅读全文

posted @ 2024-10-21 11:00 HuggingFace 阅读(228) 评论(0) 推荐(0) 编辑

现在 Llama 具备视觉能力并可以在你的设备上运行 - 欢迎使用 Llama 3.2

摘要：

Llama 3.2 来了！今天，我们欢迎 Llama 系列的下一个版本加入 Hugging Face。这次，我们很高兴与 Meta 合作发布多模态和小型模型。在 Hub 上提供了十个开源模型 (5 个多模态模型和 5 个仅文本模型)。 Llama 3.2 Vision 有两种尺寸: 11B 适用于在阅读全文

posted @ 2024-10-15 13:35 HuggingFace 阅读(1829) 评论(0) 推荐(4) 编辑

揭秘 FineVideo 数据集构建的背后的秘密

摘要：

开放视频数据集稀缺，因此减缓了开源视频 AI 的发展。为此，我们构建了 FineVideo，这是一个包含 43,000 个视频的数据集，总时长为 3,400 小时，并带有丰富的描述、叙事细节、场景分割和问答对。 FineVideo 包含高度多样化的视频和元数据集合，使其成为训练模型理解视频内容、训练阅读全文

posted @ 2024-10-13 09:25 HuggingFace 阅读(239) 评论(0) 推荐(1) 编辑

Gradio 5 稳定版正式发布

摘要：

在过去的几个月里，我们一直在努力工作，今天，我们想向大家展示成果：Gradio 5 稳定版现已发布。有了 Gradio 5，开发者可以构建生产级的机器学习 Web 应用，这些应用不仅性能优越、可扩展、设计精美、易于访问，而且还遵循了最佳的 Web 安全实践。更重要的是，只需几行 Python 代阅读全文

posted @ 2024-10-10 20:15 HuggingFace 阅读(745) 评论(0) 推荐(2) 编辑

将 LLMs 精调至 1.58 比特: 使极端量化变简单

摘要：

随着大语言模型 (LLMs) 规模和复杂性的增长，寻找减少它们的计算和能耗的方法已成为一个关键挑战。一种流行的解决方案是量化，其中参数的精度从标准的 16 位浮点 (FP16) 或 32 位浮点 (FP32) 降低到 8 位或 4 位等低位格式。虽然这种方法显著减少了内存使用量并加快了计算速度，但往阅读全文

posted @ 2024-09-29 14:14 HuggingFace 阅读(583) 评论(0) 推荐(1) 编辑

HuggingChat macOS 版现已发布

摘要：

Hugging Face 的开源聊天应用程序 Hugging Chat，现已推出适用于 macOS 的版本。主要特点 Hugging Chat macOS 版本具有以下亮点: 强大的模型支持: 用户可以一键访问多个顶尖的开源大语言模型，包括 Qwen 2.5 72B、Command R+、Phi 阅读全文

posted @ 2024-09-26 20:28 HuggingFace 阅读(395) 评论(0) 推荐(1) 编辑

对 LLM 工具使用进行统一

摘要：

我们为 LLM 确立了一个跨模型的统一工具调用 API。有了它，你就可以在不同的模型上使用相同的代码，在 Mistral、Cohere、NousResearch 或 Llama 等模型间自由切换，而无需或很少需要根据模型更改工具调用相关的代码。此外，我们还在 transformers 中新增了一些阅读全文

posted @ 2024-09-26 10:16 HuggingFace 阅读(513) 评论(0) 推荐(1) 编辑

Accelerate 1.0.0

摘要：

Accelerate 发展概况在三年半以前、项目发起之初时，Accelerate 的目标还只是制作一个简单框架，通过一个低层的抽象来简化多 GPU 或 TPU 训练，以此替代原生的 PyTorch 训练流程: 自此，Accelerate 开始不断扩展，逐渐成为一个有多方面能力的代码库。当前，像 L 阅读全文

posted @ 2024-09-24 13:51 HuggingFace 阅读(190) 评论(0) 推荐(0) 编辑

Hugging Face 论文平台 Daily Papers 功能全解析

摘要：

文/ Adeena，在快速发展的研究领域，保持对最新进展的关注至关重要。为了帮助开发者和研究人员跟踪 AI 领域的前沿动态，Hugging Face 推出了 Daily Papers 页面。自发布以来，Daily Papers 已展示了由 AK 和社区研究人员精心挑选的高质量研究。在过去一年里，已阅读全文

posted @ 2024-09-24 13:34 HuggingFace 阅读(284) 评论(2) 推荐(1) 编辑

通过打包 Flash Attention 来提升 Hugging Face 训练效率

摘要：简单概述现在，在 Hugging Face 中，使用打包的指令调整示例 (无需填充) 进行训练已与 Flash Attention 2 兼容，这要归功于一个最近的 PR 以及新的 DataCollatorWithFlattening。它可以在保持收敛质量的同时，将训练吞吐量提高多达 2 倍。继阅读全文

posted @ 2024-09-12 12:23 HuggingFace 阅读(204) 评论(0) 推荐(0) 编辑

Falcon Mamba: 首个高效的无注意力机制 7B 模型

摘要：Falcon Mamba 是由阿布扎比的 Technology Innovation Institute (TII) 开发并基于 TII Falcon Mamba 7B License 1.0 的开放获取模型。该模型是开放获取的，所以任何人都可以在 Hugging Face 生态系统中这里使用它阅读全文

posted @ 2024-09-05 21:25 HuggingFace 阅读(362) 评论(0) 推荐(1) 编辑

正式收购 huggingface.com 域名

摘要：我们花了一笔巨款收购了 .com 域名，恭喜我们，也恭喜过去的这位域名持有者 🫴 接住了这泼天的富贵 🤗 阅读全文

posted @ 2024-09-05 10:27 HuggingFace 阅读(90) 评论(0) 推荐(2) 编辑

一次失败的实验 - 无限注意力，我们为什么坚持实验

摘要：总结: 随着我们增加内存压缩次数的次数，Infini-attention 的性能会变得越来越差。据我们所知，ring attention、YaRN 和 rope scaling 这三种方法仍是将预训练模型拓展更长上下文的最佳方式。引言: 语言模型的上下文长度也是除模型性能之外的重要属性之一。自 i 阅读全文

posted @ 2024-08-30 15:34 HuggingFace 阅读(68) 评论(0) 推荐(0) 编辑

Docmatix - 超大文档视觉问答数据集

摘要：本文，我们将发布 Docmatix - 一个超大的文档视觉问答 (DocVQA) 数据集，比之前的数据集大 100 倍。当使用 Docmatix 微调 Florence-2 时，消融实验显示 DocVQA 任务的性能提高了 20%。 Docmatix 数据集样本示例缘起于丹鼎 (The Caul 阅读全文

posted @ 2024-08-30 15:20 HuggingFace 阅读(221) 评论(0) 推荐(0) 编辑

基于 Quanto 和 Diffusers 的内存高效 transformer 扩散模型

摘要：过去的几个月，我们目睹了使用基于 transformer 模型作为扩散模型的主干网络来进行高分辨率文生图 (text-to-image，T2I) 的趋势。和一开始的许多扩散模型普遍使用 UNet 架构不同，这些模型使用 transformer 架构作为扩散过程的主模型。由于 transformer 阅读全文

posted @ 2024-08-30 14:28 HuggingFace 阅读(389) 评论(0) 推荐(1) 编辑

ggml 简介

摘要：ggml 是一个用 C 和 C++ 编写、专注于 Transformer 架构模型推理的机器学习库。该项目完全开源，处于活跃的开发阶段，开发社区也在不断壮大。ggml 和 PyTorch、TensorFlow 等机器学习库比较相似，但由于目前处于开发的早期阶段，一些底层设计仍在不断改进中。相比于阅读全文

posted @ 2024-08-29 22:20 HuggingFace 阅读(670) 评论(0) 推荐(1) 编辑

TGI 多-LoRA: 部署一次，搞定 30 个模型的推理服务

摘要：

你是否已厌倦管理多个 AI 模型所带来的复杂性和高成本？那么，如果你可以部署一次就搞定 30 个模型推理服务会如何？在当今的 ML 世界中，哪些希望充分发挥其数据的价值的组织可能最终会进入一个“微调的世界”。在这个世界，各个组织会构建大量模型，其中每个模型都针对特定任务进行了高度特化。但是，如阅读全文

posted @ 2024-08-12 22:40 HuggingFace 阅读(1020) 评论(0) 推荐(1) 编辑

XetHub 加入 Hugging Face！

摘要：

我们非常激动地正式宣布，Hugging Face 已收购 XetHub 🔥 XetHub 是一家位于西雅图的公司，由 Yucheng Low、Ajit Banerjee 和 Rajat Arya 创立，他们之前在 Apple 工作，构建和扩展了 Apple 的内部机器学习基础设施。XetHub 的阅读全文

posted @ 2024-08-09 20:38 HuggingFace 阅读(50) 评论(0) 推荐(0) 编辑

NuminaMath 是如何荣膺首届 AIMO 进步奖的？

摘要：

今年，Numina 和 Hugging Face 合作角逐 AI 数学奥林匹克 (AI Math Olympiad，AIMO) 的首届进步奖。此次比赛旨在对开放 LLM 进行微调，以使其能解决高中难度的国际数学奥林匹克训练题。我们很高兴向大家报告: 我们的模型 - NuminaMath 7B TIR 阅读全文

posted @ 2024-08-09 20:28 HuggingFace 阅读(368) 评论(0) 推荐(1) 编辑

SmolLM: 一个超快速、超高性能的小模型集合

摘要：简介本文将介绍 SmolLM。它集合了一系列最尖端的 135M、360M、1.7B 参数量的小模型，这些模型均在一个全新的高质量数据集上训练。本文将介绍数据整理、模型评测、使用方法等相关过程。引言近期，人们对能在本地设备上运行的小语言模型的兴趣日渐增长。这一趋势不仅激发了相关业者对蒸馏或量化等阅读全文

posted @ 2024-08-03 09:22 HuggingFace 阅读(1528) 评论(0) 推荐(0) 编辑

The AI community building the future.

随笔分类 - Hugging Face 博客

公告