huggingface datasets数据集本地化
有时候服务器访问不了外网,可以现在可以访问外网的机器上先把数据集给下好,然后传到对应服务器进行加载。
1. 首先下载并存储数据:
import datasets dataset = datasets.load_dataset("dataset_name") dataset.save_to_disk('your_path')
2. 然后把数据集上传到指定服务器地址,并进行本地加载:
import datasets dataset = load_from_disk("your_path")
注意:保存数据集所用机器上的datasets版本和使用本地数据集的datasets的版本要一致才行,不然可能会出现数据集加载错误的情况。
黄世宇/Shiyu Huang's Personal Page:https://huangshiyu13.github.io/
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 如何使用 Uni-app 实现视频聊天(源码,支持安卓、iOS)
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
2017-03-03 文件传输软件汇总
2017-03-03 Style Lessons in Clarity and Grace (11th Edition)中文翻译
2017-03-03 AI for AI
2017-03-03 《模式识别》第2章、贝叶斯决策论