huggingface datasets数据集本地化

有时候服务器访问不了外网,可以现在可以访问外网的机器上先把数据集给下好,然后传到对应服务器进行加载。

 

1. 首先下载并存储数据:

import datasets
dataset = datasets.load_dataset("dataset_name")
dataset.save_to_disk('your_path')

 

2. 然后把数据集上传到指定服务器地址,并进行本地加载:

import datasets
dataset = load_from_disk("your_path")

 

注意:保存数据集所用机器上的datasets版本和使用本地数据集的datasets的版本要一致才行,不然可能会出现数据集加载错误的情况。

posted @   Shiyu_Huang  阅读(4339)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· DeepSeek “源神”启动!「GitHub 热点速览」
· 我与微信审核的“相爱相杀”看个人小程序副业
· 微软正式发布.NET 10 Preview 1:开启下一代开发框架新篇章
· 如何使用 Uni-app 实现视频聊天(源码,支持安卓、iOS)
· C# 集成 DeepSeek 模型实现 AI 私有化(本地部署与 API 调用教程)
历史上的今天:
2017-03-03 文件传输软件汇总
2017-03-03 Style Lessons in Clarity and Grace (11th Edition)中文翻译
2017-03-03 AI for AI
2017-03-03 《模式识别》第2章、贝叶斯决策论
点击右上角即可分享
微信分享提示