Hugging Face 开源库介绍

Hugging Face 的开源生态今年成长迅速,timm 成为新加入的成员、diffusers、evaluate 以及 skops 等各种库蓬勃发展。

🤗 Transformers

🤗 Transformers 提供了一系列的 API 和工具,使用者可以轻松下载和训练 SOTA 预训练模型,支持 PyTorch、TensorFlow 和 JAX,并支持框架之间的互操作。模型还可以导出为 ONNX 和 TorchScript 等格式,以方便在生产环境中部署。

查看文档: https://hf.co/docs/transformers

🤗 Datasets 库

只需一行代码,即可轻松加载各种数据集,🤗 Datasets 库可以帮你轻松访问和共享音频、计算机视觉和自然语言处理等任务的数据集。借助 Apache Arrow 格式的支持,你可以零拷贝读取和处理大型数据集,🤗 Datasets 库还与 Hugging Face Hub 深度集成,你可以便捷的加载数据集并于更广泛的机器学习社区成员们共享。

查看文档:https://hf.co/docs/datasets

🤗 Diffusers

🤗 Diffusers 是一个操作扩散模型的工具箱,它可以非常方便的使用各种扩散模型生成图像、音频,也可以非常方便的使用各种噪声调度器,用于调节在模型推理中的速度和质量,同时,这个库也支持多种类型的模型。

查看文档:https://hf.co/docs/diffusers

🤗 Accelerate 库

只需添加四行代码,你就可以通过 🤗 Accelerate 库在任何类型的设备上运行原本的 PyTorch 训练脚本代码。🤗Accelerate 只将与多 GPU/TPU/fp16 相关的样板代码抽象出来,其余代码不变。

查看文档:https://hf.co/docs/accelerate

🤗 Optimum

🤗 Optimum 是 🤗 Transformers 的扩展,它提供了一组性能优化工具,可以在特定的目标硬件上以最高效率训练和运行模型。

查看文档:https://hf.co/docs/optimum

timm (pytorch-image-models)

PyTorch Image Models (timm) 是一个深度学习库,包含图像模型、优化器、调度器、增强等的集合以及训练 / 验证脚本。

查看文档:https://hf.co/docs/timm

posted @   HuggingFace  阅读(1207)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 一个费力不讨好的项目,让我损失了近一半的绩效!
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 实操Deepseek接入个人知识库
· CSnakes vs Python.NET:高效嵌入与灵活互通的跨语言方案对比
· Plotly.NET 一个为 .NET 打造的强大开源交互式图表库
点击右上角即可分享
微信分享提示