requires_grad,grad_fn,grad的含义及使用
requires_grad: 如果需要为张量计算梯度,则为True,否则为False。我们使用pytorch创建tensor时,可以指定requires_grad为True(默认为False),
grad_fn: grad_fn用来记录变量是怎么来的,方便计算梯度,y = x*3,grad_fn记录了y由x计算的过程。
grad:当执行完了backward()之后,通过x.grad查看x的梯度值。
创建一个Tensor并设置requires_grad=True,requires_grad=True说明该变量需要计算梯度。
>>x = torch.ones(2, 2, requires_grad=True)
tensor([[1., 1.],
[1., 1.]], requires_grad=True)
>>print(x.grad_fn) # None
>>y = x + 2
tensor([[3., 3.],
[3., 3.]], grad_fn=<AddBackward>)
>>print(y.grad_fn) # <AddBackward object at 0x1100477b8>
由于x是直接创建的,所以它没有grad_fn,而y是通过一个加法操作创建的,所以y有grad_fn
像x这种直接创建的称为叶子节点,叶子节点对应的grad_fn是None。
requires_grad属性是可以改变的
通过.requires_grad_()来用in-place的方式改变requires_grad属性:
>>a = torch.randn(2, 2) # 缺失情况下默认 requires_grad = False
>>a = ((a * 3) / (a - 1))
>>print(a.requires_grad) # False
>>a.requires_grad_(True)
>>print(a.requires_grad) # True
执行下列操作之后
>>z = y * y * 3
>>out = z.mean()
>>print(z, out)
当我们对out使用backward()方法后,就可以查看x的梯度值
>>out.backward() # 等价于 out.backward(torch.tensor(1.))
>>print(x.grad)
tensor([[4.5000, 4.5000],
[4.5000, 4.5000]])
注意:grad在反向传播过程中是累加的(accumulated),这意味着每一次运行反向传播,梯度都会累加之前的梯度,所以一般在反向传播之前需把梯度清零。