huggingface 下载仓库里的内容
首先找到单个文件,点那个下载按钮可以直接下载,又可以右键+复制链接地址,然后在服务器上用 wget 等方式下载这个链接就可以了。
下面讲讲下载整个仓库:
参考:
https://blog.csdn.net/abc13526222160/article/details/134856943
先:
# 安装依赖
pip install -U huggingface_hub
再切换源为镜像站(https://hf-mirror.com/):
# 基本命令示例
export HF_ENDPOINT=https://hf-mirror.com
以下载数据集为例,注意需要指定 repo-type:
huggingface-cli download --repo-type dataset \
--resume-download pscotti/naturalscenesdataset \
--local-dir /mnt/workspace/maxinzhu/denghan/fMRI-reconstruction-NSD/train_logs
如果仓库里无用的文件很多,我只想下载某些文件夹下的文件该怎么办?
这时候用 huggingface-cli 就不太方便了。
最后用 python 脚本下载,参考:
https://zhuanlan.zhihu.com/p/663712983
例子:
注意,用 os 更改环境变量必须在引入 huggingface_hub 之前。
allow_patterns 即指定下载的文件的匹配方式,用 folder/*
即可指定下载 folder 下的所有文件,别的正则表达式也可以。
import os
# 修改为镜像源
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
from huggingface_hub import snapshot_download
snapshot_download(
repo_id="pscotti/naturalscenesdataset",
repo_type="dataset",
local_dir="/mnt/workspace/maxinzhu/denghan/fMRI-reconstruction-NSD/train_logs",
allow_patterns=['mindeye_models/*'],
local_dir_use_symlinks=False,
resume_download=True,
# proxies={"https": "http://localhost:7890"}, # clash default port
max_workers=8
)
转载注意标注出处:
转自Cold_Chair的博客+原博客地址