2_Pytorch加载数据

1. Pytorch加载数据

① Pytorch中加载数据需要Dataset、Dataloader。

Dataset提供一种方式去获取每个数据及其对应的label，告诉我们总共有多少个数据。
Dataloader为后面的网络提供不同的数据形式，它将一批一批数据进行一个打包。

2. 常用数据集两种形式

① 常用的第一种数据形式，文件夹的名称是它的label。

② 常用的第二种形式，lebel为文本格式，文本名称为图片名称，文本中的内容为对应的label。

from torch.utils.data import Dataset
help(Dataset)

3. 绝对路径直接加载数据

from PIL import Image

#使用绝对路径得到数据
img_path = "D:\\PyCharm\\deep_learning\\dataset\\train\\ants\\0013035.jpg"  

#img变量获取图片信息
img = Image.open(img_path) 

img.size 
img.show()

(768, 512)

4. Dataset加载数据

from torch.utils.data import Dataset
from PIL import Image
import os

class MyData(Dataset):  
    # 该魔术方法当创建一个事例对象时，会自动调用该函数，这不构造函数嘛
    def __init__(self,root_dir,label_dir):    
        # self.root_dir 相当于类中的全局变量
        self.root_dir = root_dir 
        self.label_dir = label_dir   
        
        # 将两个字符串按地址拼接，根据是Windows或Lixus系统情况进行拼接  
        self.path = os.path.join(self.root_dir,self.label_dir)  
        
        # 获得路径下所有图片的地址
        self.img_path = os.listdir(self.path) 
        
    def __getitem__(self,idx):
        
        #获得图片名称
        img_name = self.img_path[idx]
        
        #获得图片相对路径
        img_item_path = os.path.join(self.root_dir,self.label_dir,img_name) 
        
        #img变量获取图片信息
        img = Image.open(img_item_path)
        label = self.label_dir
        return img, label
    
    def __len__(self):
        return len(self.img_path)

# jupyter中使用绝对路径，而pycharm中可以使用相对路径
root_dir = "D:\\PyCharm\\deep_learning\\dataset\\train"
ants_label_dir = "ants"
bees_label_dir = "bees"
ants_dataset = MyData(root_dir, ants_label_dir)
bees_dataset = MyData(root_dir, bees_label_dir)
print(len(ants_dataset))
print(len(bees_dataset))

# train_dataset 就是两个数据集的集合了  
train_dataset = ants_dataset + bees_dataset    
print(len(train_dataset))

img,label = train_dataset[200]
print("label：",label)
img.show()