8-加载数据集

数据的读取方式
1、如果数据量比较小，直接读入内存，通过data[i]获取
2、如果数据量很大，我们不能直接读入内存，比如数据有很多文件，我们可以将文件名存储到一个文件，通过names[i]获取文件名，然后再去读取数据

dataloader加载器

多线程的错误问题

在linux多线程是通过fork创建的，但是在windows是通过spawn创建的，所以会出现运行时错误。
解决方法是将代码写入if-else语句，而不是直接写在for循环

即下面这种形式

点击查看代码

import torch
import numpy as np
from torch.utils.data import Dataset, DataLoader

class DiabetesDataset(Dataset):
    def __init__(self, filePath):
        xy = np.loadtxt(filePath, delimiter=',', dtype=np.float32)
        self.x_data = torch.from_numpy(xy[:, :-1])
        self.y_data = torch.from_numpy(xy[:, [-1]])
        self.len = xy.shape[0]

    def __getitem__(self, index):
        return self.x_data[index], self.y_data[index]

    def __len__(self):
        return self.len

dataset = DiabetesDataset('diabetes.csv.gz') # 创建dataset
train_loader = DataLoader(dataset=dataset, batch_size=32, shuffle=True, num_workers=2)

class Model(torch.nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.linear1 = torch.nn.Linear(8, 6)
        self.linear2 = torch.nn.Linear(6, 4)
        self.linear3 = torch.nn.Linear(4, 1)
        self.sigmoid = torch.nn.Sigmoid()

    def forward(self, x):
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x))
        return x

model = Model()
criterion = torch.nn.BCELoss(reduction='sum')
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

if __name__ == '__main__':
    for epoch in range(100):
        for i, data in enumerate(train_loader, 0):
            inputs, labels = data
            y_pred = model(inputs)
            loss = criterion(y_pred, labels)

            print('epoch: ', epoch, 'i: ', i, 'loss: ', loss.item())

            optimizer.zero_grad()
            loss.backward()
            optimizer.step()

在 PyTorch 的 DataLoader 中，当你迭代 train_loader 时，每次迭代返回的 data 实际上已经是由你的 DiabetesDataset 类的 getitem 方法处理过的结果。这个 getitem 方法负责将单个样本（或批量样本）的数据和标签分开并返回。
DataLoader 的迭代：当你创建 DataLoader 并对其进行迭代时，DataLoader 会自动调用 Dataset 的 getitem 方法来获取数据。如果 batch_size 大于 1，DataLoader 还会负责将这些单独的 (data_item, label_item) 对组合成批量的形式（即一个包含多个 (data_item, label_item) 对的列表或类似结构，然后可能通过 torch.stack 或其他方式转换为张量）。
解包赋值：在迭代 DataLoader 时，你使用 inputs, labels = data 来接收每批数据。这里，data 实际上是一个包含批量数据和批量标签的元组（或类似的可迭代对象），而 inputs, labels 则是你用来解包这个元组的变量名。