自动微分

张量的梯度信息

张量的梯度信息是指张量相对于某个或多个变量的导数。梯度表示了函数在某一点的变化率，它是一个向量，其中每个元素对应于函数相对于输入变量的偏导数

在深度学习中，我们通常使用梯度来更新模型参数，以便最小化或最大化某个损失函数。梯度下降是一种常见的优化算法，它使用梯度信息来沿着损失函数的负梯度方向更新模型参数，从而逐步降低损失函数的值

什么是自动微分

张量的梯度信息通常是自动计算的。这意味着你可以定义一个计算图，然后框架会自动计算相对于输入张量的梯度。这个过程通常称为自动微分（Automatic Differentiation）

计算图

计算图（Computational Graph）是一种图形表示法，用于描述数学运算和数据流。在深度学习中，计算图是表示神经网络中各种运算和数据传递的一种形式，它提供了一种可视化和结构化的方式来理解和优化模型的计算过程

 自动微分的原理

?

1 2 3 4 5 6

# 创建一个需要梯度的张量 x = torch.tensor([2.0], requires_grad=True)   # 对张量进行操作 y = x**2 y.backward()print("Gradient of x:", x.grad)  # 输出梯度信息<br>Gradient of x: tensor([4.])

 

?

1 2 3 4 5 6 7 8 9

这代码片段是在演示 PyTorch 中的自动微分（Autograd）机制。   x = torch.tensor([2.0], requires_grad=True): 创建一个张量 x，其中包含一个值为2.0的元素，并设置requires_grad=True，表示我们想要对这个张量进行梯度计算。   y = x**2: 对张量 x 进行平方操作，得到张量 y。由于我们设置了requires_grad=True，PyTorch会自动构建一个计算图，以跟踪这个操作。   y.backward(): 调用backward()方法，开始反向传播。这会计算 y 关于 x 的梯度。在这个例子中，y = x**2，所以 dy/dx = 2*x。梯度的值将会保存在 x.grad 中。   print("Gradient of x:", x.grad): 打印 x 关于 y 的梯度。在这个例子中，输出将是 4.0，因为 dy/dx = 2*x 在 x=2 处的值是 4.0。