Pytorch从本地获取数据集

Pytorch从本地获取数据集

  • 在学习pytorch的过程中需要从MNIST获取数据集，然而下载是让人头疼的事，从网上寻找数据资源比较便捷
  • 获取到的数据如何在pytorch中加载呢

1 下载数据集

https://download.csdn.net/download/wangxiaobei2017/12238192

2. 从本地进行数据加载

  • 获取测试集与训练集

    直接运行后，发现依旧是下载数据，那我本地的数据集怎么才能被加载

    mnist_train = torchvision.datasets.FashionMNIST(root='./MNIST', train=True, download=True,transform=transforms.ToTensor())
    mnist_test = torchvision.datasets.FashionMNIST(root='./MNIST', train=False, download=True,transform=transforms.ToTensor())
  • 查找数据源url

按下Ctrl，左键点击FashionMNIS,进入mnist.py，在resources下可以看到，这里是数据集的下载路径，需要将其修改为本地文件的路径

![在这里插入图片描述]( https://img-blog.csdnimg.cn/20200310112738904.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dhbmd4aWFvYmVpMjAxNw==,size_16,color_FFFFFF,t_70)

特别要注意后面的None，这个是md5校验码，如果不填会报错

![在这里插入图片描述]( https://img-blog.csdnimg.cn/20200310112748650.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dhbmd4aWFvYmVpMjAxNw==,size_16,color_FFFFFF,t_70)

  • 运行程序，加载数据集

        mnist_train = torchvision.datasets.FashionMNIST(root='./MNIST', train=True, download=True,transform=transforms.ToTensor())
    mnist_test = torchvision.datasets.FashionMNIST(root='./MNIST', train=False, download=True,transform=transforms.ToTensor())
    print(type(mnist_train))
    print(len(mnist_train), len(mnist_test))

![在这里插入图片描述]( https://img-blog.csdnimg.cn/20200310112832334.png?x-oss-process=image/watermark ,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dhbmd4aWFvYmVpMjAxNw==,size_16,color_FFFFFF,t_70)
完成

posted on 2020-03-10 11:33  wangxiaobei2019  阅读(3381)  评论(0)    收藏  举报

导航