【动手学深度学习】2.4 ~ 2.7 节学习（微积分、自动求导、概率、查阅文档）

2.4 微积分#

2.4.3 梯度#

梯度是一个多元函数所有变量偏导数的连接。具体而言：设函数 $f:\mathbb{R}^n \rightarrow \mathbb{R}$ 的输入是一个 $n$ 维向量 $\boldsymbol{x} = [x_1, x_2, \cdots, x_n]^T$ ，输出是一个标量。函数 $f(\boldsymbol{x})$ 相对于 $\boldsymbol{x}$ 的梯度是一个包含 $n$ 个偏导数的向量：

\nabla_{x} f (x) = [\frac{\partial f (x)}{\partial x_{1}}, \frac{\partial f (x)}{\partial x_{2}}, \dots, \frac{\partial f (x)}{\partial x_{n}}]^{T}

$\nabla_x f(\boldsymbol{x}) = [\frac{\partial f(\boldsymbol{x})}{\partial x_1}, \frac{\partial f(\boldsymbol{x})}{\partial x_2}, \cdots, \frac{\partial f(\boldsymbol{x})}{\partial x_n}]^T$

其中， $\nabla_x f(\boldsymbol{x})$ 在没有歧义时通常被 $\nabla f(\boldsymbol{x})$ 取代。

假设 $\boldsymbol{x}$ 为 $n$ 维向量，在对多元函数求微分时经常使用以下规则：

对于所有 $\boldsymbol{A} \in \mathbb{R}^{m\times n}$ ，都有 $\nabla_\boldsymbol{x} \boldsymbol{Ax} = \boldsymbol{A}^T$ ；
对于所有 $\boldsymbol{A} \in \mathbb{R}^{m\times n}$ ，都有 $\nabla_\boldsymbol{x} \boldsymbol{x}^T \boldsymbol{A} = \boldsymbol{A}$ ；
对于所有 $\boldsymbol{A} \in \mathbb{R}^{m\times n}$ ，都有 $\nabla_\boldsymbol{x} \boldsymbol{x}^T \boldsymbol{Ax} = (\boldsymbol{A} + \boldsymbol{A}^T) \boldsymbol{x}$ ；
$\nabla_x ||\boldsymbol{x}||^2 = \nabla_\boldsymbol{x} \boldsymbol{x}^T \boldsymbol{x} = 2\boldsymbol{x}$ 。

同样，对于任何矩阵 $\boldsymbol{X}$ ，都有 $\nabla_\boldsymbol{X} ||\boldsymbol{X}||^2_F = 2\boldsymbol{X}$ 。

2.4.4 链式法则#

假设可微函数 $y$ 有变量 $u_1, u_2, \ldots, u_m$ ，其中每个可微函数 $u_i$ 都有变量 $x_1, x_2, \ldots, x_n$ 。

则

\frac{d y}{d x_{i}} = \frac{d y}{d u_{1}} \frac{d u_{1}}{d x_{i}} + \frac{d y}{d u_{2}} \frac{d u_{2}}{d x_{i}} + \dots + \frac{d y}{d u_{m}} \frac{d u_{m}}{d x_{i}}

$\frac{\mathrm{d}y}{\mathrm{d}x_i} = \frac{\mathrm{d}y}{\mathrm{d}u_1} \frac{\mathrm{d}u_1}{\mathrm{d}x_i} + \frac{\mathrm{d}y}{\mathrm{d}u_2} \frac{\mathrm{d}u_2}{\mathrm{d}x_i} + \cdots + \frac{\mathrm{d}y}{\mathrm{d}u_m} \frac{\mathrm{d}u_m}{\mathrm{d}x_i}$

2.5 自动求导#

2.5.1 一些简单的函数#

x.requires_grad_(True) 表明 x 需要梯度，等价于 x = torch.arange(4.0, requires_grad=True)
x.grad 表示 x 的梯度
x.grad.zero_() 表示将 x 的梯度归零
y.backward() 将 y 的值反向传播，然后再 x.grad 即可看 x 的梯度。这个方法与 torch.autograd.grad() 差不多，但是，求高阶导数只能用后一种方法，原因在于 backward() 后 x 的一阶导已经占据了 x.grad 没有办法做清零或者再 backward() 了。而且，torch.autograd.grad() 中 create_graph 参数必须为 True
- 参数 retain_graph 表示是否保留计算图，因为正常为了保持速度，计算图会在反向传播完被销毁，把这个调成 True，计算图就不会被销毁，仍然可以反向传播。
- 参数 create_graph 表示是否创建反向图，有了反向图就可以再次求高阶导了。

2.5.2 非标量变量的反向传播#

由于自动梯度实现张量对张量求梯度很麻烦几乎不可做，因此 PyTorch 中禁止了张量对张量求梯度。如果要张量对张量求梯度的话，最好将结果张量求和，例如调用 y.sum().backward()：

[\frac{\partial (y_{1} + y_{2} + \dots + y_{n})}{\partial x_{1}}, \frac{\partial (y_{1} + y_{2} + \dots + y_{n})}{\partial x_{2}}, \dots, \frac{\partial (y_{1} + y_{2} + \dots + y_{n})}{\partial x_{n}}] = [\frac{\partial y_{1}}{\partial x_{1}} + \frac{\partial y_{2}}{\partial x_{1}} + \dots + \frac{\partial y_{n}}{\partial x_{1}}, \frac{\partial y_{1}}{\partial x_{2}} + \frac{\partial y_{2}}{\partial x_{2}} + \dots + \frac{\partial y_{n}}{\partial x_{2}}, \dots, \frac{\partial y_{1}}{\partial x_{n}} + \frac{\partial y_{2}}{\partial x_{n}} + \dots + \frac{\partial y_{n}}{\partial x_{n}}]

$[\frac{\partial (y_1 + y_2 + \ldots + y_n)}{\partial x_1}, \frac{\partial (y_1 + y_2 + \ldots + y_n)}{\partial x_2}, \ldots, \frac{\partial (y_1 + y_2 + \ldots + y_n)}{\partial x_n}] = [\frac{\partial y_1}{\partial x_1} + \frac{\partial y_2}{\partial x_1} + \ldots + \frac{\partial y_n}{\partial x_1}, \frac{\partial y_1}{\partial x_2} + \frac{\partial y_2}{\partial x_2} + \ldots + \frac{\partial y_n}{\partial x_2}, \cdots, \frac{\partial y_1}{\partial x_n} + \frac{\partial y_2}{\partial x_n} + \ldots + \frac{\partial y_n}{\partial x_n}]$

或者也可以给 backward () 传入 gradient 参数，如果要实现和上文一样的功能，可以调用 y.backward(torch.ones_like(y))，效果一样。参考 pytorch中backward函数的gradient参数作用、PyTorch 的 backward 为什么有一个 grad_variables 参数？这两篇文章。

假设 x 经过一番计算得到 y，那么 y.backward(w) 求的不是 y 对 x 的导数，而是 l = torch.sum(y*w) 对 x 的导数。w 可以视为 y 的各分量的权重，也可以视为遥远的损失函数 l 对 y 的偏导数（这正是函数说明文档的含义）。特别地，若 y 为标量，w 取默认值 1.0，才是按照我们通常理解的那样，求 y 对 x 的导数。

由于当 x, y 都为张量时， $\nabla_{\boldsymbol{x}} \boldsymbol{y}$ 不好求，因此退而求其次，利用遥远的 loss 函数标量 l 来求 $\nabla_{\boldsymbol{x}} l$ 。不妨假设此时反向传播过程已经计算完毕了 $\nabla_{\boldsymbol{y}} l = [\frac{\mathrm{d} l}{\mathrm{d} y_{1}}, \frac{\mathrm{d} l}{\mathrm{d} y_{2}}, \ldots, \frac{\mathrm{d} l}{\mathrm{d} y_{n}}]$ ，此时还有另一个 Jocabi 矩阵是关于张量 y 中每一个元素和张量 x 中每一个元素的关系的，可以简单地在这一步中利用梯度追踪求出它：

[\begin{matrix} \frac{d y_{1}}{d x_{1}} & \frac{d y_{1}}{d x_{2}} & \dots & \frac{d y_{1}}{d x_{m}} \\ \frac{d y_{2}}{d x_{1}} & \frac{d y_{2}}{d x_{2}} & \dots & \frac{d y_{2}}{d x_{m}} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ \frac{d y_{n}}{d x_{1}} & \frac{d y_{n}}{d x_{2}} & \dots & \frac{d y_{n}}{d x_{m}} \end{matrix}]

$\begin{bmatrix} \frac{\mathrm{d} y_1}{\mathrm{d} x_{1}} & \frac{\mathrm{d} y_1}{\mathrm{d} x_{2}} & \cdots & \frac{\mathrm{d} y_1}{\mathrm{d} x_{m}} \\ \frac{\mathrm{d} y_2}{\mathrm{d} x_{1}} & \frac{\mathrm{d} y_2}{\mathrm{d} x_{2}} & \cdots & \frac{\mathrm{d} y_2}{\mathrm{d} x_{m}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\mathrm{d} y_n}{\mathrm{d} x_{1}} & \frac{\mathrm{d} y_n}{\mathrm{d} x_{2}} & \cdots & \frac{\mathrm{d} y_n}{\mathrm{d} x_{m}} \\ \end{bmatrix}$

于是，接下来利用这两个式子，就可以求出至关重要的 $\nabla_{\boldsymbol{x}} l$ 了。

\nabla_{x} l = [\frac{d l}{d x_{1}}, \frac{d l}{d x_{2}}, \dots, \frac{d l}{d x_{m}}] = [\frac{d l}{d y_{1}}, \frac{d l}{d y_{2}}, \dots, \frac{d l}{d y_{n}}] [\begin{matrix} \frac{d y_{1}}{d x_{1}} & \frac{d y_{1}}{d x_{2}} & \dots & \frac{d y_{1}}{d x_{m}} \\ \frac{d y_{2}}{d x_{1}} & \frac{d y_{2}}{d x_{2}} & \dots & \frac{d y_{2}}{d x_{m}} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ \frac{d y_{n}}{d x_{1}} & \frac{d y_{n}}{d x_{2}} & \dots & \frac{d y_{n}}{d x_{m}} \end{matrix}]

$\nabla_{\boldsymbol{x}} l = [\frac{\mathrm{d} l}{\mathrm{d} x_{1}}, \frac{\mathrm{d} l}{\mathrm{d} x_{2}}, \ldots, \frac{\mathrm{d} l}{\mathrm{d} x_{m}}] = [\frac{\mathrm{d} l}{\mathrm{d} y_{1}}, \frac{\mathrm{d} l}{\mathrm{d} y_{2}}, \ldots, \frac{\mathrm{d} l}{\mathrm{d} y_{n}}] \begin{bmatrix} \frac{\mathrm{d} y_1}{\mathrm{d} x_{1}} & \frac{\mathrm{d} y_1}{\mathrm{d} x_{2}} & \cdots & \frac{\mathrm{d} y_1}{\mathrm{d} x_{m}} \\ \frac{\mathrm{d} y_2}{\mathrm{d} x_{1}} & \frac{\mathrm{d} y_2}{\mathrm{d} x_{2}} & \cdots & \frac{\mathrm{d} y_2}{\mathrm{d} x_{m}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\mathrm{d} y_n}{\mathrm{d} x_{1}} & \frac{\mathrm{d} y_n}{\mathrm{d} x_{2}} & \cdots & \frac{\mathrm{d} y_n}{\mathrm{d} x_{m}} \\ \end{bmatrix}$

可以发现，本质上讲， $\nabla_{\boldsymbol{y}} l$ 就上文引用文本中的 w，或者说是 backward(gradient) 这个函数中的 gradient 参数。

2.5.3 分离计算#

有时希望将某些计算移到记录的计算图之外。这里可以利用 u = y.detach() 将 y 视为一个常数，然后丢弃计算图中如何计算 y 的任何信息。换言之，梯度不会向后流经 u 到 x。

2.5.4 Python 控制流的梯度计算#

即使构建函数的计算图需要通过 Python 控制流，也可以计算得到变量的梯度。

2.6 概率#

调用下面的代码产生 $x$ 个采样 $n$ 个样本的张量。

import torch
from torch.distributions import multinomial
x = 5
n = 10
fair_probs = torch.ones([6]) / 6
multinomial.Multinomial(n, fair_probs).sample((x, ))

tensor([[1., 2., 2., 2., 1., 2.],
        [3., 2., 0., 2., 1., 2.],
        [2., 1., 2., 1., 2., 2.],
        [1., 3., 4., 1., 0., 1.],
        [2., 3., 2., 3., 0., 0.]])

2.7 查阅文档#

2.7.1 查找模块中的所有函数和类#

可以调用 dir() 函数来查找模块中的所有函数和类。例如：

import torch
print(dir(torch.distributions))

['AbsTransform', 'AffineTransform', 'Bernoulli', 'Beta', 'Binomial', 'CatTransform', 'Categorical', 'Cauchy', 'Chi2', 'ComposeTransform', 'ContinuousBernoulli', 'CorrCholeskyTransform', 'CumulativeDistributionTransform', 'Dirichlet', 'Distribution', 'ExpTransform', 'Exponential', 'ExponentialFamily', 'FisherSnedecor', 'Gamma', 'Geometric', 'Gumbel', 'HalfCauchy', 'HalfNormal', 'Independent', 'IndependentTransform', 'Kumaraswamy', 'LKJCholesky', 'Laplace', 'LogNormal', 'LogisticNormal', 'LowRankMultivariateNormal', 'LowerCholeskyTransform', 'MixtureSameFamily', 'Multinomial', 'MultivariateNormal', 'NegativeBinomial', 'Normal', 'OneHotCategorical', 'OneHotCategoricalStraightThrough', 'Pareto', 'Poisson', 'PowerTransform', 'RelaxedBernoulli', 'RelaxedOneHotCategorical', 'ReshapeTransform', 'SigmoidTransform', 'SoftmaxTransform', 'SoftplusTransform', 'StackTransform', 'StickBreakingTransform', 'StudentT', 'TanhTransform', 'Transform', 'TransformedDistribution', 'Uniform', 'VonMises', 'Weibull', 'Wishart', '__all__', '__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__path__', '__spec__', 'bernoulli', 'beta', 'biject_to', 'binomial', 'categorical', 'cauchy', 'chi2', 'constraint_registry', 'constraints', 'continuous_bernoulli', 'dirichlet', 'distribution', 'exp_family', 'exponential', 'fishersnedecor', 'gamma', 'geometric', 'gumbel', 'half_cauchy', 'half_normal', 'identity_transform', 'independent', 'kl', 'kl_divergence', 'kumaraswamy', 'laplace', 'lkj_cholesky', 'log_normal', 'logistic_normal', 'lowrank_multivariate_normal', 'mixture_same_family', 'multinomial', 'multivariate_normal', 'negative_binomial', 'normal', 'one_hot_categorical', 'pareto', 'poisson', 'register_kl', 'relaxed_bernoulli', 'relaxed_categorical', 'studentT', 'transform_to', 'transformed_distribution', 'transforms', 'uniform', 'utils', 'von_mises', 'weibull', 'wishart']

可以忽略以“__”（双下划线）开始和结束的函数（它们时 Python 中的特殊对象）和以“_”（单下划线）开始的函数（通常是内部函数）

2.7.2 查找特定函数和类的用法#

可以调用 help 函数查看。例如采样的多项式分布函数：

from torch.distributions import multinomial
help(multinomial.Multinomial(1, fair_probs))

Help on Multinomial in module torch.distributions.multinomial object:

class Multinomial(torch.distributions.distribution.Distribution)
 |  Multinomial(total_count=1, probs=None, logits=None, validate_args=None)
 |  
 |  Creates a Multinomial distribution parameterized by :attr:`total_count` and
 |  either :attr:`probs` or :attr:`logits` (but not both). The innermost dimension of
 |  :attr:`probs` indexes over categories. All other dimensions index over batches.
 |  
 |  Note that :attr:`total_count` need not be specified if only :meth:`log_prob` is
 |  called (see example below)
 |  
 |  .. note:: The `probs` argument must be non-negative, finite and have a non-zero sum,
 |            and it will be normalized to sum to 1 along the last dimension. :attr:`probs`
 |            will return this normalized value.
 |            The `logits` argument will be interpreted as unnormalized log probabilities
 |            and can therefore be any real number. It will likewise be normalized so that
 |            the resulting probabilities sum to 1 along the last dimension. :attr:`logits`
 |            will return this normalized value.
 |  
 |  -   :meth:`sample` requires a single shared `total_count` for all
 |      parameters and samples.
 |  -   :meth:`log_prob` allows different `total_count` for each parameter and
 |      sample.

# 以下内容过长，故省略

或者在 jupyter notebook 中，可以使用?指令在另一个浏览器窗口中显示文档。例如，list? 指令将创建与 help(list) 指令几乎相同的内容，并在新的浏览器窗口中显示它。此外，如果我们使用两个问号，如 list??，将显示实现该函数的 Python 代码。

posted @ 2023-04-03 19:44 bringlu 阅读(96) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

阅读排行：
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· 别再用vector＜bool＞了！Google高级工程师：这可能是STL最大的设计失误
· 单元测试从入门到精通
· 【硬核科普】Trae如何「偷看」你的代码？零基础破解AI编程运行原理
· 上周热点回顾（3.3-3.9）

公告

昵称： bringlu
园龄： 5年1个月
粉丝： 7
关注： 4

+加关注

2025年3月

日

一

二

三

四

五

六

Loading

bringlu

【动手学深度学习】2.4 ~ 2.7 节学习（微积分、自动求导、概率、查阅文档）

2.4 微积分#

2.4.3 梯度#

2.4.4 链式法则#

2.5 自动求导#

2.5.1 一些简单的函数#

2.5.2 非标量变量的反向传播#

2.5.3 分离计算#

2.5.4 Python 控制流的梯度计算#

2.6 概率#

2.7 查阅文档#

2.7.1 查找模块中的所有函数和类#

2.7.2 查找特定函数和类的用法#

公告

搜索

常用链接

我的标签

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论