使用hf-mirror下载数据集时需要添加参数 --repo-type dataset
在国内下载huggingface可以使用hf-mirror加速下载,一般的使用方法可以参见: https://hf-mirror.com/ 上的介绍。
我在使用hf-mirror下载时,参照网站第一种方法,指定仓库名称和本地下载地址下载时,发生了报错,错误如下:
报错指出我们有正确的repo_id和repo_type,对于这两个参数一头雾水,看已往下载模型也没有指定这个参数,而且这两个参数具体指的是什么也搞不清。
我们使用help参数查看对应的用法,查到了对应的参数 --repo-type 里面有候选项dataset
看到这个大概明白错误在哪里了,因为上面的hf-mirror默认是下载对应的model, 之前报错说找不到对应的repo。
因为它是默认去model下面找的,没有到dataset里去找,指定类型为dataset之后就能够顺利下载了。
标签:
数据集下载
, huggingface
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 地球OL攻略 —— 某应届生求职总结
· 提示词工程——AI应用必不可少的技术
· Open-Sora 2.0 重磅开源!
· 字符编码:从基础到乱码解决