# -*- coding: utf-8 -*-
import torch
import numpy as np
import matplotlib.pyplot as plt
import random
'''生成一个1000个数据集 y = W*X+b+k k表示高斯白噪声 服从正态分布
'''
num_inputs = 2
num_examples = 1000
true_w = [2, -3.4]
true_b = 4.2
features = torch.randn(num_examples, num_inputs, dtype=torch.float32)
# features[:, 0] 表示第一列
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] + true_b
# labels.size() 表示 1000*2 # np.random.normal 表示一个正态分布
labels += torch.tensor(np.random.normal(0, 0.01, size=labels.size()),dtype=torch.float32)
plt.scatter(features[:, 1].numpy(), labels.numpy(), 1)
plt.show()
def data_iter(batch_size, features, labels):
'''
每次迭代一个batch_size大小的 特征值和标签
:param batch_size:批量大小
:param features: 所有特征值的矢量
:param labels: 所有标签的矢量
:return: 特征值和标签 的生成器
'''
num_examples = len(features)
indices = list(range(num_examples))
random.shuffle(indices) # 样本的读取顺序是随机的
for i in range(0, num_examples, batch_size):
j = torch.LongTensor(indices[i: min(i + batch_size, num_examples)]) # 最后一次可能不足一个batch
# index_select(0, j) 0表示按行索引，1表示按列索引
# yield 表示生成一个生成器 并 return，类似于一个list
yield features.index_select(0, j), labels.index_select(0, j)
'''初始化模型参数
'''
w = torch.tensor(np.random.normal(0, 0.01, (num_inputs, 1)), dtype=torch.float32) # 随机生成两个数w，size为（(num_inputs, 1）
b = torch.zeros(1, dtype=torch.float32) # 设置偏差b=0
# 自动求导注意：
# with torch.no_grad() # 包裹起来不追踪
# 1. wb支持求导，wb 必须是浮点型
# 2. 标量对标量求导 或者标量对向量求导 ，不是标量也可以求导
# 3. loss=[loss1,loss2,loss3] 让loss的各个分量分别对wb求导
# loss.backward(torch.tensor([[1.0,1.0,10.0,1.0]]))
# eg：
# x = torch.ones(2, 2, requires_grad=True)
# y=x+2
# z =y*y*3
# out = z.mean()
# out.backward()
# print(x.grad) # 表示out对x的求导
# 结果 tensor([[4.5000, 4.5000],[4.5000, 4.5000]])
w.requires_grad_(requires_grad=True) # requires_grad=True w可利用链式法则进行梯度传播
b.requires_grad_(requires_grad=True) # requires_grad=True b可利用链式法则进行梯度传播
'''定义模型
'''
def linreg(X, w, b):
return torch.mm(X, w) + b # mm表示矩阵乘法
'''定义损失函数
'''
def squared_loss(y_hat, y):
# 注意这里返回的是向量, 另外, pytorch里的MSELoss并没有除以 2
return (y_hat - y.view(y_hat.size())) ** 2 / 2
'''定义优化算法
'''
def sgd(params, lr, batch_size):
for param in params:
param.data -= lr * param.grad / batch_size # 注意这里更改param时用的param.data
'''训练模型
'''
lr = 0.03
num_epochs = 3
net = linreg # 模型是用回归模型
loss = squared_loss # 损失函数使用平方损失函数
batch_size = 10
for epoch in range(num_epochs): # 训练模型一共需要num_epochs个迭代周期
# 在每一个迭代周期中，会使用训练数据集中所有样本一次（假设样本数能够被批量大小整除）。X
# 和y分别是小批量样本的特征和标签
for X, y in data_iter(batch_size, features, labels):
l = loss(net(X, w, b), y).sum() # l是有关小批量X和y的损失 X，y都是矢量，l.sum把矢量加为标量
l.backward() # 小批量的损失对模型参数求梯度
sgd([w, b], lr, batch_size) # 使用小批量随机梯度下降迭代模型参数
# 不要忘了梯度清零
w.grad.data.zero_()
b.grad.data.zero_()
train_l = loss(net(features, w, b), labels)
print('epoch %d, loss %f' % (epoch + 1, train_l.mean().item()))
