如何在huggingface下载模型/数据集到本地

Install

安装huggingface_hub库

pip install huggingface_hub

Export Mirror

如果本地没有部署魔法的话,请用huggingface的镜像网址

export HF_ENDPOINT=https://hf-mirror.com

Login in

打开huggingface官网,左上角进入“Access Tokens”,获取User Access Tokens

huggingface-cli login --token "TOKEN"

Download Model

下载模型。这里以LLAMA3举例。如果获取模型需要审核的话,记得国籍请选择美国,不要选择中国!

huggingface-cli download --resume-download meta-llama/Meta-Llama-3-8B-Instruct --local-dir ~/model/Meta-Llama-3-8B-Instruct

Download Dataset

下载数据集。这里以COCO举例

huggingface-cli download --repo-type dataset --resume-download sayakpaul/coco-30-val-2014  --local-dir /home/dataset/val2014 --local-dir-use-symlinks False

本文作者:ZeroZeroSeven

本文链接:https://www.cnblogs.com/ggyt/p/18719220

版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。

posted @   ZeroZeroSeven  阅读(178)  评论(0编辑  收藏  举报
点击右上角即可分享
微信分享提示
💬
评论
📌
收藏
💗
关注
👍
推荐
🚀
回顶
收起