线性回归的简洁实现

前言：

简洁实现：使用深度学习开源框架达到目的

 

一、生成数据集

?

1 2 3 4 5

#线性回归的简洁实现就是使用pytorch内置的一些模块来实现 import numpy as np import torch from torch.utils import data #从torch.utils中导入关于data处理的模块 from d2l import torch as d2l

?

1 2 3

true_w = torch.tensor([2, -3.4])#构造w true_b = 4.2#构造b features, labels = d2l.synthetic_data(true_w, true_b, 1000)#synthetic_data生成数据集函数

在这里，我们通过true_w和true_b生成有1000个数据的数据集（也就是说，）

二、读取数据集

1、调用框架中现有的API来读取数据

2、将 features 和 labels 作为API的参数传递，并在实例化数据迭代器对象时指定 batch_size

?

1 2 3 4 5 6 7 8 9 10

# is_train=True：表示希望数据迭代器对象在每个迭代周期内打乱数据   # data_arrays：表示可以传入多个矩阵，即是将features和labels作为参数，data_arrays相当于一个API def load_array(data_arrays, batch_size, is_train=True):  #@save     """构造一个PyTorch数据迭代器。"""     #TensorDateset:把输入的两类数据进行一一对应；     #DataLoader:重新排序     dataset = data.TensorDataset(*data_arrays)#*可以对list解开入参，因为features和labels作为API参数传递           return data.DataLoader(dataset, batch_size, shuffle=is_train)#每次随机挑选batch_size个样本，shuffle意思是要不要打乱顺序

?

1 2 3 4

# 读取10个样本   batch_size = 10 data_iter = load_array((features, labels), batch_size)

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

# 不能直接从data_iter中获得数据   next(iter(data_iter))#将data_iter用iter()函数转为迭代器，再使用next()函数从迭代器中获取数据   #输出结果   [tensor([[-0.5143, -1.0371],          [ 0.0254, -0.1204],          [ 0.1787,  0.2586],          [-0.6284,  0.7571],          [-0.3744,  0.5989],          [ 0.1679, -1.5357],          [-0.6135, -1.2744],          [ 0.3798, -0.8941],          [-1.6691, -0.6110],          [ 0.0555, -0.3930]]),  tensor([[6.7026],          [4.6815],          [3.6661],          [0.3918],          [1.4045],          [9.7481],          [7.2834],          [7.9958],          [2.9436],          [5.6409]])]

　　

三、定义模型

1、使用框架的预定义好的层，即我们只需关注使用哪些层来构造模型，而不必关注层的实现细节

2、实现步骤：

首先定义一个模型变量net，它是一个 Sequential 类的实例

Sequential 类为串联在一起的多个层定义了一个容器。当给定输入数据， Sequential 实例将数据传入到第一层，然后将第一层的输出作为第二层的输入，依此类推

3、Pytorch中，全连接层在Linear类中定义。Linear中，第一个变量为输入特征形状，第二个变量为输出特征形状

?

1 2 3 4 5 6

# `nn` 是神经网络的缩写 from torch import nn   # Linear中，第一个指定输入特征数，第二个指定输出数 net = nn.Sequential(nn.Linear(2, 1))#输入维度是2，输出维度是1； #nn.Linear(2,1)可以理解为线性回归就是简单的单层神经网络，将其放在一个Sequential中

　　

四、初始化模型参数

1、在使用net前，需要初始化模型参数，如在此需要初始化权重与偏置

2、 在这里，我们指定每个权重参数应该从均值为0、标准差为0.01的正态分布中随机采样，偏置参数将初始化为零

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

# net[0]：表示使用网络中的第一个图层     # 权重参数从均值为0，标准差为0.01的正态分布中随机采样 print(net[0].weight.data) net[0].weight.data.normal_(0, 0.01)#normal_(0, 0.01)的意思是使用正态分布替换data的值，均值为0、标准差为0.01 print(net[0].weight.data)   #偏置参数初始化为0 print(net[0].bias.data) net[0].bias.data.fill_(0)#bias偏差 print(net[0].bias.data)   #输出函数   tensor([[ 0.0080, -0.0021]]) tensor([[-0.0073,  0.0137]]) tensor([0.]) tensor([0.])

　　

五、定义损失函数

1、计算均方误差使用的是MSELoss类，也称为平方L2范数

2、默认情况下，他返回所有样本损失的平均值

?

1 2	# 平方L2范数，返回所有样本损失的平均值 loss = nn.MSELoss()

　　

六、定义优化算法——梯度下降优化算法

?

1 2 3 4 5

# net.parameters()常用于做模块参数 # SGD随机梯度下降求解     trainer = torch.optim.SGD(net.parameters(), lr=0.03)#net.parameters()包括w和b

　　

七、训练

1、在每个迭代周期里，我们将完整遍历一次数据集

2、在每个迭代周期里，会不停地从中获取一个小批量的输入和相应的标签，对于每一个小批量，操作如下：

• 通过调用 net(X) 生成预测并计算损失 l（正向传播）。
• 通过进行反向传播来计算梯度。
• 通过调用优化器来更新模型参数。

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

num_epochs = 3#迭代三个周期 for epoch in range(num_epochs):     for X, y in data_iter:         l = loss(net(X), y)#loss是损失函数                   trainer.zero_grad()#trainer优化器，先把梯度清零         l.backward()#等价于l.sum().backward()——求和之后算梯度         trainer.step()#调用优化算法进行模型更新           l = loss(net(features), labels)     print(f'epoch {epoch + 1}, loss {l:f}')     #输出结果   epoch 1, loss 0.000215 epoch 2, loss 0.000107 epoch 3, loss 0.000108

3、比较生成数据集的真实参数和通过有限数据训练获得的模型参数

?

1 2 3 4 5 6 7 8 9 10

w = net[0].weight.data   print('w的估计误差：', true_w - w.reshape(true_w.shape)) b = net[0].bias.data print('b的估计误差：', true_b - b)   #输出结果   w的估计误差： tensor([ 5.0187e-05, -1.9765e-04]) b的估计误差： tensor([0.0008])