torch.utils.data中的DataLoader数据加载器

一.DataLoader是什么?有什么用?

pytorch中也自带着许多的模块,其中torch.utils.data模块包含一些常用的数据预处理的操作，主要用于数据的读取、切分、准备。

在该模块下有着一个方法叫DataLoader是数据加载器的意思

作用: 定义一个数据加载器，将训练数据集进行批量处理

---

二.使用方法

• 第一步:

  导入所需要的模块

  import torchvision
  from torch.utils.data import DataLoader
  from tensorboardX import SummaryWriter
  

• 第二步:

  利用datasets中的数据集CIFAR10举例DataLoader的使用

  # 使用datasets读取数据
  test_data = torchvision.datasets.CIFAR10(
      root='../BigData',
      transform=torchvision.transforms.ToTensor(),
      train=False,
      download=True
  )
  # 定义数据加载器
  test_loader = DataLoader(
      # 所使用的数据
      dataset=test_data,
      # 批量大小
      batch_size=128,
      # 是否打乱
      shuffle=True,
      # 不整除的话是否丢弃数据
      drop_last=False
  )
  

• 第三步:

  在tensorboard中查看写入的数据

  writer = SummaryWriter('LOGS/009log')
  
  for step, (x, y) in enumerate(test_loader):
      imgs, targets = x, y
  
      writer.add_images('test_data_64', imgs, step)
  
  writer.close()