PyTorch-->autograd（自动微分）

autugrad包是PyTorch中所有神经网络的核心，为tensors上的所有操作提供自动微分。它是一个由运行定义的框架，运行中定义后向传播，且每次迭代都可以不同。

 

1、TENSOR

torch.Tensor 是包的核心类。属性 .requires_grad  = True，则会开始跟踪针对 tensor 的所有操作。完成计算后，调用 .backward() 来自动计算所有梯度。该张量的梯度将累积到 .grad 属性中。

要停止 tensor 历史记录的跟踪，调用 .detach()，它将与计算历史记录分离，并防止将来的计算被跟踪。

要停止跟踪历史记录（和使用内存），还可以将代码块使用 with torch.no_grad(): 包装起来。

注意：模型在训练阶段具有 requires_grad = True 的可训练参数有利于调参，但在评估阶段则不需要梯度。

2、Function

Tensor 和 Function 互相连接并构建一个非循环图，保存整个完整的计算过程的历史信息。每个张量都有一个 .grad_fn 属性保存着创建了张量的 Function 的引用，（如果用户自己创建张量，则grad_fn = None ）。

想计算导数，调用 Tensor.backward()。

如果 Tensor 是标量（即它包含一个元素数据），则不需要指定任何参数backward()；否则需要指定一个gradient 参数来指定张量的形状。

 

 

计算梯度：

 

 原理：

 

 

向backward()传向量参数：