01 2023 档案
摘要:本文展示了如何使用 1760 亿 (176B) 参数的 BLOOM 模型 生成文本时如何获得超快的词吞吐 (per token throughput)。 因为在使用 bf16 (bfloat16) 权重时该模型内存占用为 352 GB (176*2),所以最高效的硬件配置是使用 8x80GB 的 A
阅读全文
摘要:与标准微调相比,SetFit 能更高效地利用训练样本,同时对噪声也更鲁棒。 如何处理少标签或无标签的训练数据是每个数据科学家的梦魇 😱。最近几年来,基于预训练语言模型的少样本 (few-shot) 学习出现并成为解决这类问题的颇有前途的方案。 因此,我们非常高兴地向大家介绍 SetFit: 一个基
阅读全文
摘要:Transformers 年终大事件总结 对于 🤗 Transformers 来说,这是激动人心的一年。2022 年,我们的每周活跃用户数量增加了两倍,最近的一周用户超过 100 万,平均每日 pip 安装量为 30 万🤯 我们在音频🔊、文本📚、视觉🖼️、多模态甚至时间序列📈和蛋白质折叠
阅读全文
摘要:本文主要涉及图机器学习的基础知识。 我们首先学习什么是图,为什么使用图,以及如何最佳地表示图。然后,我们简要介绍大家如何在图数据上学习,从神经网络以前的方法 (同时我们会探索图特征) 到现在广为人知的图神经网络 (Graph Neural Network,GNN)。最后,我们将一窥图数据上的 Tra
阅读全文
摘要:每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」。 下面是本期的 Hugging News 内容: DreamBooth Hackathon
阅读全文
摘要:邀请参与我们的 DreamBooth 微调编程马拉松活动! DreamBooth 是一种使用专门的微调形式来训练 Stable Diffusion 的新概念技术。一些人用他仅仅使用很少的他们的照片训练出了一个很棒的照片,有一些人用他去尝试新的风格。🧨 Diffusers 提供一个 DreamBoo
阅读全文
摘要:欢迎使用 AI 进行游戏开发! 在本系列中,我们将使用各种 AI 工具,在 5 天内创建一个功能完备的农场游戏。到本系列结束时,你将了解到如何将多种 AI 工具整合到游戏开发流程中。本系列文章将向你展示如何将 AI 工具用于: 美术风格 游戏设计 3D 素材 2D 素材 剧情 想要观看视频快速了解?
阅读全文
摘要:每天,开发人员和组织都在使用 Hugging Face 平台上托管的模型,将想法变成用作概念验证(proof-of-concept)的 demo,再将 demo 变成生产级的应用。 Transformer 模型已成为广泛的机器学习(ML)应用的流行模型结构,包括自然语言处理、计算机视觉、语音等; 扩
阅读全文
摘要:Spaces 是 Hugging Face 平台提供的一个重要功能之一,通过这个功能,你可以轻松在 Hugging Face 平台构建机器学习模型应用。 Space 应用使用 git 来管理代码,我们也为每个 Space 应用默认提供最高 2 核 CPU 和 16 GB 的内存空间。今天我们希望向大
阅读全文
摘要:去年,我们发布过一篇关于 DreamBooth 编程马拉松的活动通知,获得了全球社区的广泛关注和参与,中国社区的成员们也对这个活动有非常高的热情。同时我们也收到了后台留言反馈说参与活动需要使用的 Google Colab 等工具无法稳定访问。经过与数据科学开源社区——「和鲸社区」的合作,我们成功的将
阅读全文
摘要:OpenAI 推出的 ChatGPT 对话模型掀起了新的 AI 热潮,它面对多种多样的问题对答如流,似乎已经打破了机器和人的边界。这一工作的背后是大型语言模型 (Large Language Model,LLM) 生成领域的新训练范式:RLHF (Reinforcement Learning fro
阅读全文
摘要:每天,开发人员和组织都在使用 Hugging Face 平台上托管的模型,将想法变成概念验证(proof-of-concept)的 demo,再将 demo 变成生产级的应用。 Transformer 模型已成为广泛的机器学习(ML)应用的流行模型结构,包括自然语言处理、计算机视觉、语音等;扩散模型
阅读全文
摘要:Hugging Face 的开源生态今年成长迅速,timm 成为新加入的成员、diffusers、evaluate 以及 skops 等各种库蓬勃发展。 🤗 Transformers 🤗 Transformers 提供了一系列的 API 和工具,使用者可以轻松下载和训练 SOTA 预训练模型,支
阅读全文
摘要:Hugging Face 2023 实习生招募计划 想参与到 <王婆卖瓜>「最酷的 AI 社区」</王婆卖瓜>,共同构建未来吗?今天,我们为大家分享 Hugging Face 的 2023 年实习生招募计划,希望可以有国内的同学申请或转发,与你未来的 Hugging Face 导师们共同研究 AI
阅读全文
摘要:每一周,我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「Hugging News」。 下面是本期的 Hugging News 内容: Metadata Editor UI 你是
阅读全文
摘要:大约一年以前,我们 展示 了如何在第三代 英特尔至强可扩展 CPU (即 Ice Lake) 集群上分布式训练 Hugging Face transformers 模型。最近,英特尔发布了代号为 Sapphire Rapids 的第四代至强可扩展 CPU,该 CPU 包含了令人兴奋的深度学习加速新指
阅读全文
摘要:前言 于 11 月底正式开课的扩散模型课程正在火热进行中,在中国社区成员们的帮助下,我们组织了「抱抱脸中文本地化志愿者小组」并完成了扩散模型课程的中文翻译,感谢 @darcula1993、@XhrLeokk、@hoi2022、@SuSung-boy 对课程的翻译! 如果你还没有开始课程的学习,我们建
阅读全文