如何在huggingface下载模型/数据集到本地
Install
安装huggingface_hub库
pip install huggingface_hub
Export Mirror
如果本地没有部署魔法的话,请用huggingface的镜像网址
export HF_ENDPOINT=https://hf-mirror.com
Login in
打开huggingface官网,左上角进入“Access Tokens”,获取User Access Tokens
huggingface-cli login --token "TOKEN"
Download Model
下载模型。这里以LLAMA3举例。如果获取模型需要审核的话,记得国籍请选择美国,不要选择中国!
huggingface-cli download --resume-download meta-llama/Meta-Llama-3-8B-Instruct --local-dir ~/model/Meta-Llama-3-8B-Instruct
Download Dataset
下载数据集。这里以COCO举例
huggingface-cli download --repo-type dataset --resume-download sayakpaul/coco-30-val-2014 --local-dir /home/dataset/val2014 --local-dir-use-symlinks False
本文作者:ZeroZeroSeven
本文链接:https://www.cnblogs.com/ggyt/p/18719220
版权声明:本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步