Hugging Face 开源库介绍
Hugging Face 的开源生态今年成长迅速,timm 成为新加入的成员、diffusers、evaluate 以及 skops 等各种库蓬勃发展。
🤗 Transformers
🤗 Transformers 提供了一系列的 API 和工具,使用者可以轻松下载和训练 SOTA 预训练模型,支持 PyTorch、TensorFlow 和 JAX,并支持框架之间的互操作。模型还可以导出为 ONNX 和 TorchScript 等格式,以方便在生产环境中部署。
查看文档: https://hf.co/docs/transformers
🤗 Datasets 库
只需一行代码,即可轻松加载各种数据集,🤗 Datasets 库可以帮你轻松访问和共享音频、计算机视觉和自然语言处理等任务的数据集。借助 Apache Arrow 格式的支持,你可以零拷贝读取和处理大型数据集,🤗 Datasets 库还与 Hugging Face Hub 深度集成,你可以便捷的加载数据集并于更广泛的机器学习社区成员们共享。
查看文档:https://hf.co/docs/datasets
🤗 Diffusers
🤗 Diffusers 是一个操作扩散模型的工具箱,它可以非常方便的使用各种扩散模型生成图像、音频,也可以非常方便的使用各种噪声调度器,用于调节在模型推理中的速度和质量,同时,这个库也支持多种类型的模型。
查看文档:https://hf.co/docs/diffusers
🤗 Accelerate 库
只需添加四行代码,你就可以通过 🤗 Accelerate 库在任何类型的设备上运行原本的 PyTorch 训练脚本代码。🤗Accelerate 只将与多 GPU/TPU/fp16 相关的样板代码抽象出来,其余代码不变。
查看文档:https://hf.co/docs/accelerate
🤗 Optimum
🤗 Optimum 是 🤗 Transformers 的扩展,它提供了一组性能优化工具,可以在特定的目标硬件上以最高效率训练和运行模型。
查看文档:https://hf.co/docs/optimum
timm (pytorch-image-models)
PyTorch Image Models (timm) 是一个深度学习库,包含图像模型、优化器、调度器、增强等的集合以及训练 / 验证脚本。
查看文档:https://hf.co/docs/timm
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库