大数据集快速上传到colab方法分享

如果在colab进行炼丹,数据集上传是个头疼的问题,稍微大一点的数据,传到谷歌云盘或者colab都是很慢的速度

本地测试上传要给500m的数据到谷歌云盘,需要50分钟

这里分享一个方法,先上传到onedriver,然后colab去下载分享文件

先把文件上传到onedriver,免费用户提供5g空间,一般训练数据集够用了

 

上传完后分享文件,然后点击下载,这里使用chrome进行操作,进入到下载内容里面,先停止

如下双击即可下载

右键复制这个地址就行了

然后在colab里面,使用curl命令即可下载文件

curl 复制的链接 \
--output 下载文件路径

使用如上命令即可完成下载,可以看到上图中下载速度还是很快的,有30M每秒了

 实测大概500M的文件,上传到onedriver大概3-5分钟,下载不到30秒,比直接上传谷歌云盘快多了

 

posted @ 2021-11-26 10:41  darkspr  阅读(2616)  评论(0编辑  收藏  举报