1 import torch
2 from matplotlib import pyplot as plt
3 import os
4 os.environ['KMP_DUPLICATE_LIB_OK']='True'
5
6 x_data = [1.0, 2.0, 3.0]
7 y_data = [2.0, 4.0, 6.0]
8 #Tensor中包含data和grad，data和grad也是Tensor,grad初始为None
9 w = torch.tensor([1.0]) # w的初值为1.0
10 w.requires_grad = True # 需要计算梯度
11
12 def forward(x):
13 return x * w # w是一个Tensor
14
15 def loss(x, y):
16 y_pred = forward(x)
17 return (y_pred - y) ** 2
18
19 print("predict (before training)", 4, forward(4).item())
20
21 l_lost = []
22 epoch_list = []
23 for epoch in range(100):
24 for x, y in zip(x_data, y_data):
25 l = loss(x, y) # l是一个张量，tensor主要是在建立计算图 forward, compute the loss
26 # 反向传播主要体现在，l.backward()。调用该方法后w.grad由None更新为Tensor类型，且w.grad.data的值用于后续w.data的更新。
27 # l.backward()会把计算图中所有需要梯度(grad)的地方都会求出来，然后把梯度都存在对应的待求的参数中，最终计算图被释放。
28 l.backward()
29 '''w.data和w.grad说明
30 1)w.data 表示张量w的值，其本身也是张量,输出格式tensor[数]。
31 2)w.grad 表示张量w的梯度，其本身w.grad是张量 用标量计算时需要取w.grad.data，表示张量w.grad的值,输出格式tensor[数]，
32 梯度输出时需要取w.grad.item()，表示返回的是一个具体的数值,输出格式[数]>
33 3)w.grad.item()表示返回的是一个具体的数值,输出格式[数]。
34 对于元素不止一个的tensor列表，使用item()会报错 ，向量不行二维更不行 ，只有标量行。
35 item只能对标量做操作，而data返回的其实也是一个Tensor，不过这个Tensor是不计算梯度的'''
36 print('\tgrad:', x, y, w.grad.item())
37 w.data = w.data - 0.01 * w.grad.data # 权重更新时，注意grad也是一个tensor
38
39 w.grad.data.zero_() # after update, remember set the grad to zero
40 epoch_list.append(epoch)
41 l_lost.append(l.item())
42 print('progress:', epoch, l.item()) # 取出loss使用l.item，不要直接使用l（l是tensor会构建计算图）
43
44 print("predict (after training)", 4, forward(4).item())
45 plt.plot(epoch_list, l_lost)
46 plt.xlabel('Epoch')
47 plt.ylabel('lost')
48 plt.show()
1 import torch
2 from matplotlib import pyplot as plt
3 import os
4 os.environ['KMP_DUPLICATE_LIB_OK']='True'
5
6 x_data = [1.0,2.0,3.0]
7 y_data = [2.0,4.0,6.0]
8
9 w1 = torch.Tensor([1.0])#初始权值
10 w1.requires_grad = True#计算梯度，默认是不计算的
11 w2 = torch.Tensor([1.0])
12 w2.requires_grad = True
13 b = torch.Tensor([1.0])
14 b.requires_grad = True
15
16 def forward(x):
17 return w1 * x**2 + w2 * x + b
18
19 def loss(x,y):#构建计算图
20 y_pred = forward(x)
21 return (y_pred-y) **2
22
23 print('Predict (befortraining)',4,forward(4))
24 l_lost = []
25 epoch_list = []
26 for epoch in range(100):
27 l = loss(1, 2)#为了在for循环之前定义l,以便之后的输出，无实际意义
28 for x,y in zip(x_data,y_data):
29 l = loss(x, y)
30 l.backward()
31 print('\tgrad:',x,y,w1.grad.item(),w2.grad.item(),b.grad.item())
32 w1.data = w1.data - 0.01*w1.grad.data #注意这里的grad是一个tensor，所以要取他的data
33 w2.data = w2.data - 0.01 * w2.grad.data
34 b.data = b.data - 0.01 * b.grad.data
35 w1.grad.data.zero_() #释放之前计算的梯度
36 w2.grad.data.zero_()
37 b.grad.data.zero_()
38 epoch_list.append(epoch)
39 l_lost.append(l.item())
40 print('Epoch:',epoch,l.item())
41
42 print('Predict(after training)',4,forward(4).item())
43 plt.plot(epoch_list, l_lost)
44 plt.xlabel('Epoch')
45 plt.ylabel('lost')
46 plt.show()
