【2022.11.14】pytorch的使用相关(三)

参考资料

ShusenTang/Dive-into-DL-PyTorch: 本项目将《动手学深度学习》(Dive into Deep Learning)原书中的MXNet实现改为PyTorch实现。 (github.com)

.requires_grad

Tensor是这个包的核心类，如果将其属性.requires_grad设置为True，它将开始追踪(track)在其上的所有操作（这样就可以利用链式法则进行梯度传播了）。完成计算后，可以调用.backward()来完成所有梯度计算。此Tensor的梯度将累积到.grad属性中。

y.backward()时，如果y是标量，则不需要为backward()传入任何参数；否则，需要传入一个与y同形的Tensor

grad_fn .is_leaf

每个Tensor都有一个.grad_fn属性，该属性即创建该Tensor的Function, 就是说该Tensor是不是通过某些运算得到的，若是，则grad_fn返回一个与这些运算相关的对象，否则是None。

直接创建的，所以它没有grad_fn, 而y是通过一个加法操作创建的，所以它有一个为<AddBackward>的grad_fn。

直接创建的称为叶子节点，叶子节点对应的grad_fn是None。

import torch

x = torch.ones(2, 2, requires_grad=True)
print(x)
print(x.grad_fn) # None

y = x + 2
print(y)
print(y.grad_fn) # <AddBackward0 object at 0x7f22f7b5a650>

print(x.is_leaf, y.is_leaf) # True False

z = y * y * 3
out = z.mean() # Tensor元素平均值
print(z)
print(out) # tensor(27., grad_fn=<MeanBackward0>)

求梯度

这里是out关于x的梯度

这里求导是直接求到X步骤的

out=z的元素之和求平均值，1/4

z=3y^2

y=x+3

然后将整个带x的式子求导

换个x输入再试一次

grad.data.zero_()

grad在反向传播过程中是累加的(accumulated)，这意味着每一次运行反向传播，梯度都会累加之前的梯度，所以一般在反向传播之前需把梯度清零。

因为sum的求导为1

所以看到可以看到由4.5到5.5到6.5

只允许标量对张量求导

简单来说就是为了避免向量（甚至更高维张量）对张量求导，而转换成标量对张量求导。举个例子，假设形状为 m x n 的矩阵 X 经过运算得到了 p x q 的矩阵 Y，Y 又经过运算得到了 s x t 的矩阵 Z。那么按照前面讲的规则，dZ/dY 应该是一个 s x t x p x q 四维张量，dY/dX 是一个 p x q x m x n的四维张量。问题来了，怎样反向传播？怎样将两个四维张量相乘？？？这要怎么乘？？？就算能解决两个四维张量怎么乘的问题，四维和三维的张量又怎么乘？导数的导数又怎么求，这一连串的问题，感觉要疯掉…… 为了避免这个问题，我们不允许张量对张量求导，只允许标量对张量求导，求导结果是和自变量同形的张量。所以必要时我们要把张量通过将所有张量的元素加权求和的方式转换为标量，举个例子，假设y由自变量x计算而来，w是和y同形的张量，则y.backward(w)的含义是：先计算l = torch.sum(y * w)，则l是个标量，然后求l对自变量x的导数。