使用hf-mirror下载数据集时需要添加参数 --repo-type dataset
在国内下载huggingface可以使用hf-mirror加速下载,一般的使用方法可以参见: https://hf-mirror.com/ 上的介绍。
我在使用hf-mirror下载时,参照网站第一种方法,指定仓库名称和本地下载地址下载时,发生了报错,错误如下:
报错指出我们有正确的repo_id和repo_type,对于这两个参数一头雾水,看已往下载模型也没有指定这个参数,而且这两个参数具体指的是什么也搞不清。
我们使用help参数查看对应的用法,查到了对应的参数 --repo-type 里面有候选项dataset
看到这个大概明白错误在哪里了,因为上面的hf-mirror默认是下载对应的model, 之前报错说找不到对应的repo。
因为它是默认去model下面找的,没有到dataset里去找,指定类型为dataset之后就能够顺利下载了。