扩展——向量求导

合集 - 数学(48)

1.分类算法2020-02-262.数值计算方法2020-08-103.离散数学4 组合数学2020-08-284.离散数学3 代数结构2020-08-285.离散数学2 集合论2020-08-286.离散数学1 数理逻辑2020-08-287.离散数学6 初等数论2020-08-288.高等代数2 向量组2020-08-289.高等代数1 矩阵2020-08-2810.高等数学2 一元函数微分学2020-08-2811.算法导论 快速排序算法学习2020-08-2812.高等数学3 一元函数积分学2020-08-2813.高等数学1 函数 极限 连续2020-08-2814.离散数学5 图论2020-08-2815.我理解的高等代数——1从方格纸到线性空间2022-04-0316.3 逻辑回归2021-12-3117.朴素贝叶斯2021-12-3118.知识扩展4——拉格朗日乘数，KKT条件，对偶问题2021-11-2019.知识扩展3——广义线性模型GLM2021-11-1620.知识扩展2——熵 ，KL散度，交叉熵，JS散度，Wasserstein 距离（EarthMover距离）2021-11-1621.知识扩展1——最大似然估计2021-11-1622.线性回归2021-11-0123.决策树 机器学习，西瓜书p80 表4.2 使用信息增益生成决策树及后剪枝2021-11-0124.模式识别 第一章 概论2020-09-0725.高等代数9 欧几里得空间2020-09-0226.高等代数7 线性变换2020-08-2827.高等代数6 线性空间2020-08-2828.高等代数5 二次型2020-08-2829.高等代数4 线性方程组2020-08-2830.高等代数3 行列式2020-08-2831.矩阵博弈中的混合策略求解2023-02-2232.博弈论与强化学习实战——CFR算法——剪刀石头布2022-12-0633.博弈论与强化学习——— 基础2 马尔科夫博弈2022-11-2034.博弈论与强化学习——基础1 扩展型博弈2022-11-2035.博弈论与强化学习 算法 一 MinimaxQ, NashQ ,FFQ2022-11-2036.路径规划算法2022-11-2037.博弈论算法 CFR算法2022-11-2038.概率论3 随机变量及其分布2022-04-0339.概率论4 随机变量的数字特征2022-04-0340.频率与概率2022-04-0341.概率论1 随机试验与独立性2022-04-03

42.扩展——向量求导2022-04-03

43.扩展—— 向量矩阵张量2022-04-0344.我理解的高等代数3——线性变换2022-04-0345.我理解的高等代数——2坐标系变换与矩阵2022-04-0346.集合论1基数—无穷集合元素的个数03-0847.集合论2序数——从自然数系统到无穷集合的排序03-0848.集合论3 公理化—从罗素悖论到集合的公理化定义03-08

收起

向量求导

目录

• 向量求导
• 感谢
• 一 函数计算、求导与向量矩阵
  • 1 $\text{function}$是一个标量
    • 1.1 $\text{input}$是一个标量
    • 1.2 $\text{input}$是一个向量
    • 1.3 $\text{input}$是一个矩阵
  • 2 $\text{function}$是一个向量
    • 2.1 $\text{input}$是一个标量
    • 2.2 $\text{input}$​是一个向量
    • Jacobian矩阵
    • 2.3 $\text{input}$是一个矩阵
  • 3 $\text{function}$是一个矩阵
    • 3.1 $\text{input}$是一个标量
    • 3.2 $\text{input}$是一个向量
    • 3.3 $\text{input}$​是一个矩阵
  • 总结
  • 样例
  • 标量关于向量求导1.2
  • 向量关于向量求导2.2
• 二 向量链式法则
  • 标量链式法则
  • 向量链式法则
    • 标量关于向量求导
    • 向量关于向量求导
  • 样例
• 三 自动求导
  • • 计算图
    • 两种模式
    • 反向累积
      • 复杂度
    • 代码实现

感谢

[矩阵求导的本质与分子布局、分母布局的本质（矩阵求导——本质篇） - 知乎 (zhihu.com)](https://zhuanlan.zhihu.com/p/263777564#:~:text= 分子布局，就是分子是列向量形式，分母是行向量形式，如 式。 如果这里的 是 实向量函数 的话，结果就是,的矩阵了： 分母布局 ，就是分母是 列向量 形式，分子是 行向量 形式，如 式。)

07 自动求导【动手学深度学习v2】_哔哩哔哩_bilibili

梯度，指向值变化最大的方向，这里都是分子布局

一 函数计算、求导与向量矩阵

考虑一个函数

$$\text{function(input)}$$

针对$\text{function}$、$\text{input}$的类型，我们可以将这个函数分类。

1 $\text{function}$是一个标量

我们称$\text{function}$是一个实值标量函数。用细体小写字母$f$表示

1.1 $\text{input}$是一个标量

我们称$\text{function}$的变元是标量，用细体小写字母$x$表示。

计算：输入是标量（$(1,)$），函数是一个实值标量函数，结果是一个值（标量）（$(1,)$）

求导： 分母（函数值）是标量（$(1,)$），分子是标量（$(1,)$），结果是标量（$(1,)$）

例1

$$f(x) = 2x+2 \\ f'(x)=2$$

1.2 $\text{input}$是一个向量

我们称$\text{function}$的变元是向量，用粗体小写字母$\mathbfcal{x}$表示。

计算：输入是列向量（$(n,1)n\times 1$），函数是一个实值标量函数，结果是一个标量（数）（$(1,)$）

求导：分母（函数值）是标量（$(1,)$），分子是列向量（$(n,1)n\times 1$），结果是行向量（$(1,n)1\times n$）

$$\mathbfcal{x}= \left[ \begin {array}{1} x_1 \\ x_2 \\ \vdots \\ x_n \end{array} \right ]_{(n,1)} \\ y=f(\mathbfcal{x})_{(1,)} \\ f'(\mathbfcal{x})= \frac{\partial y}{ \partial \mathbfcal{x}} = \left[ \frac{\partial y}{\partial x_1} , \frac{\partial y}{\partial x_2}, \cdots , \frac{\partial y}{\partial x_n} \right ]_{(1,n)}$$

例2

$$\mathbfcal{x}= \left[ \begin {array}{1} x_1 \\ x_2 \end{array} \right ] \\ y=f(\mathbfcal{x}) = a_1x_1^2+a_2x_2^2+a_3x_1x_2+a_4x_1+a_5x_2+a_6 \\ f'(\mathbfcal{x})= \frac{\partial y}{ \partial \mathbfcal{x}} = \left[ \frac{\partial y}{\partial x_1} , \frac{\partial y}{\partial x_2} \right ] = \left[ 2a_1+a_3x_2+a_4, 2a_2+a_3x_1+a_5\right ]$$

1.3 $\text{input}$是一个矩阵

我们称$\text{function}$的变元是矩阵，用粗体大写字母$\symbf{X}$表示。

计算：输入是矩阵（$(n,k)n\times k$），函数是一个实值标量函数，结果是一个标量（数）（$(1,)$）

求导：分母（函数值）是标量（$(1,)$），分子是矩阵（$(n,k)n\times k$），结果是矩阵（$(k,n)k\times n$）

$$\symbf{X} = \left ( \begin{matrix} x_{11} & x_{12} & \cdots & x_{1k} \\ x_{21} & x_{22} & \cdots & x_{2k} \\ \vdots & \vdots & & \vdots \\ x_{n1} & x_{n2} & \cdots & x_{nk} \\ \end{matrix} \right )_{(n,k)n\times k} \\ y=f(\symbf{X})_{(1,)} \\ f'(\symbf{X}) =\frac{\partial y}{\partial \symbf{X}} = \left ( \begin{matrix} \frac{\partial y}{\partial x_{11}} & \frac{\partial y}{\partial x_{21}} & \cdots & \frac{\partial y}{\partial x_{n1}} \\ \frac{\partial y}{\partial x_{12}} & \frac{\partial y}{\partial x_{22}} & \cdots & \frac{\partial y}{\partial x_{n2}} \\ \vdots & \vdots & & \vdots \\ \frac{\partial y}{\partial x_{1k}} & \frac{\partial y}{\partial x_{2k}} & \cdots & \frac{\partial y}{\partial x_{nk}} \\ \end{matrix} \right )_{(k,n)k\times n}$$

例3

$$\symbf{X} = \left ( \begin{matrix} x_{11} & x_{12} \\ x_{21} & x_{22} \\ x_{31} & x_{32} \\ \end{matrix} \right )_{(3,2) 3\times 2} \\ y=f(\symbf{X})_{(1,)}=a_1x_{11}^2+a_2x_{12}^2+a_3x_{21}^2+a_4x_{22}^2+a_5x_{31}^2+a_6x_{32}^2 \\ f'(\symbf{X}) =\frac{\partial y}{\partial \symbf{X}} = \left ( \begin{matrix} \frac{\partial y}{\partial x_{11}} & \frac{\partial y}{\partial x_{21}} & \frac{\partial y}{\partial x_{31}} \\ \frac{\partial y}{\partial x_{12}} & \frac{\partial y}{\partial x_{22}} & \frac{\partial y}{\partial x_{32}} \\ \end{matrix} \right) _{(2,3),2\times 3} = \left ( \begin{matrix} 2a_1x_{11} & 2a_3x_{21} & 2a_5x_{31} \\ 2a_2x_{12} & 2a_4x_{22} & 2a_6x_{32} \\ \end{matrix} \right) _{(2,3),2\times 3}$$

2 $\text{function}$是一个向量

我们称$\text{function}$是一个实向量函数。用粗体小写字母$\mathbfcal{f}$表示。

含义： $\mathbfcal{f}$是由 若干个$f$组成的一个向量

2.1 $\text{input}$是一个标量

计算：输入（变元）是标量($(1,)$)，函数是列向量函数($(m,1)m \times 1$)，输出结果是列向量($(m,1)m \times 1$)

求导： 求导分母（函数值）是列向量($(m,1)m \times 1$)，分子是标量($(1,)$)，求导结果是列向量($(m,1)m \times 1$)

$$x \\ \mathbfcal{y} = \mathbfcal{f}(x)= \left[ \begin {array}{1} y_1 \\ y_2 \\ \vdots \\ y_n \end{array} \right ] \\ \frac{\partial \mathbfcal{y}}{ \partial x} = \left[ \begin {array}{1} \frac{\partial y_1}{\partial x} \\ \frac{\partial y_2}{\partial x}\\ \vdots \\ \frac{\partial y_n}{\partial x} \end{array} \right ]$$

例四

$$x \\ \mathbfcal{y}=\mathbfcal{f}(x)= \left[ \begin {array}{1} x+1 \\ 2x^2+1 \\ 3x^3+1 \end{array} \right ]_{(3,1)3 \times 1} \\ \mathbfcal{f}'(x)=\frac{\partial \mathbfcal{y}}{ \partial x} = \left[ \begin {array}{1} 1 \\ 4x \\ 9x^2 \end{array} \right ]_{(3,1)3\times 1}$$

2.2 $\text{input}$​是一个向量

计算：输入（变元）是向量($(n,1)n\times 1$)，函数是列向量函数($(m,1)m \times 1$)，输出结果是列向量($(m,1)m \times 1$)

求导： 求导分母（函数值）是列向量($(m,1)m \times 1$)，分子是向量($(n,1) n \times 1$)，求导结果是列向量($(m,n)m \times n$)

Jacobian矩阵

• Jacobian矩阵可被视为是一种组织梯度向量的方法。
• 梯度向量可以被视为是一种组织偏导数的方法。
• 故，Jacobian矩阵可以被视为一个组织偏导数的矩阵。

$$\mathbfcal{x}= \left[ \begin {array}{1} x_1 \\ x_2 \\ \vdots \\ x_n \end{array} \right ]_{(n,1)n\times 1} \\ \mathbfcal{y} = \mathbfcal{f}(\mathbfcal{x})= \left[ \begin {array}{1} y_1 \\ y_2 \\ \vdots \\ y_m \end{array} \right ] = \left[ \begin {array}{1} f_1(x_1,x_2,\cdots,x_n) \\ f_2(x_1,x_2,\cdots,x_n) \\ \vdots \\ f_m(x_1,x_2,\cdots,x_n) \end{array} \right ]_{(m,1)m\times 1} \\ \frac{\partial \mathbfcal{y}}{ \partial \mathbfcal{x}} = \left ( \begin{matrix} \frac{\partial y_1}{\partial x_{1}} & \frac{\partial y_1}{\partial x_{2}} & \cdots & \frac{\partial y_1}{\partial x_{n}} \\ \frac{\partial y_2}{\partial x_{1}} & \frac{\partial y_2}{\partial x_{2}} & \cdots & \frac{\partial y_2}{\partial x_{n}} \\ \vdots & \vdots & & \vdots \\ \frac{\partial y_m}{\partial x_{1}} & \frac{\partial y_m}{\partial x_{2}} & \cdots & \frac{\partial y_m}{\partial x_{n}} \\ \end{matrix} \right )_{(m,n)m\times n}$$

例五

$$\mathbfcal{x}= \left[ \begin {array}{1} x_1 \\ x_2 \end{array} \right ]_{(2,1)2 \times 1} \\ \mathbfcal{y}=\mathbfcal{f}(x)= \left[ \begin {array}{1} x_1+x_2 \\ 2x_1^2+2x_2^2 \\ 3x_1^3+3x_2^3 \end{array} \right ]_{(3,1)3 \times 1} \\ \mathbfcal{f}'(x)=\frac{\partial \mathbfcal{y}}{ \partial x} = \left[ \begin {array}{1} 1 &1 \\ 4x_1 &4x_2 \\ 9x_1^2 &9x_3^2 \end{array} \right ]_{(3,2)3\times 2}$$

2.3 $\text{input}$是一个矩阵

计算：输入（变元）是矩阵($(n,k)n\times k$)，函数是列向量函数($(m,1)m \times 1$)，输出结果是列向量($(m,1)m \times 1$)

求导： 求导分母（函数值）是列向量($(m,1)m \times 1$)，分子是矩阵($(n,k) n \times k$)，求导结果是张量($(m,k,n)m \times k \times n$)

$$\symbf{X} = \left ( \begin{matrix} x_{11} & x_{12} & \cdots & x_{1k} \\ x_{21} & x_{22} & \cdots & x_{2k} \\ \vdots & \vdots & & \vdots \\ x_{n1} & x_{n2} & \cdots & x_{nk} \\ \end{matrix} \right )_{(n,k)n\times k} \\ \\ \mathbfcal{y} = \mathbfcal{f}(\symbf{X})= \left[ \begin {array}{1} y_1 \\ y_2 \\ \vdots \\ y_m \end{array} \right ] = \left[ \begin {array}{1} f_1(x_{11},x_{12},\cdots,x_{21},\cdots,x_{nn}) \\ f_2(x_{11},x_{12},\cdots,x_{21},\cdots,x_{nn}) \\ \vdots \\ f_m(x_{11},x_{12},\cdots,x_{21},\cdots,x_{nn}) \end{array} \right ]_{(m,1)m\times 1} \\ \frac{\partial \mathbfcal{y}}{ \partial \symbf{X}} = \left ( \begin{matrix} \frac{\partial y_1}{\partial x_{11}} & \frac{\partial y_1}{\partial x_{12}} & \cdots & \frac{\partial y_1}{\partial x_{1k}} \\ \frac{\partial y_2}{\partial x_{11}} & \frac{\partial y_2}{\partial x_{12}} & \cdots & \frac{\partial y_2}{\partial x_{1k}} \\ \vdots & \vdots & & \vdots \\ \frac{\partial y_m}{\partial x_{11}} & \frac{\partial y_m}{\partial x_{12}} & \cdots & \frac{\partial y_m}{\partial x_{1k}} \\ \end{matrix} \right ) \left ( \begin{matrix} \frac{\partial y_1}{\partial x_{21}} & \frac{\partial y_1}{\partial x_{22}} & \cdots & \frac{\partial y_1}{\partial x_{2k}} \\ \frac{\partial y_2}{\partial x_{21}} & \frac{\partial y_2}{\partial x_{22}} & \cdots & \frac{\partial y_2}{\partial x_{2k}} \\ \vdots & \vdots & & \vdots \\ \frac{\partial y_m}{\partial x_{21}} & \frac{\partial y_m}{\partial x_{22}} & \cdots & \frac{\partial y_m}{\partial x_{2k}} \\ \end{matrix} \right ) \cdots \left ( \begin{matrix} \frac{\partial y_1}{\partial x_{n1}} & \frac{\partial y_1}{\partial x_{n2}} & \cdots & \frac{\partial y_1}{\partial x_{nk}} \\ \frac{\partial y_2}{\partial x_{n1}} & \frac{\partial y_2}{\partial x_{n2}} & \cdots & \frac{\partial y_2}{\partial x_{nk}} \\ \vdots & \vdots & & \vdots \\ \frac{\partial y_m}{\partial x_{n1}} & \frac{\partial y_m}{\partial x_{n2}} & \cdots & \frac{\partial y_m}{\partial x_{nk}} \\ \end{matrix} \right ) _{(m,k,n)m\times k\times n}$$

3 $\text{function}$是一个矩阵

我们称$\text{function}$是一个实矩阵函数。用粗体大写字母$\mathbf{F}$表示。

含义： $\mathbf{F}$是由 若干个$f$组成的一个矩阵

3.1 $\text{input}$是一个标量

计算：输入是标量（$(1,)$），函数是一个实矩阵函数，结果是一个矩阵（$(m,l)$）

求导： 分母（函数值）是矩阵（$(m,l)$），分子是标量（$(1,)$），结果是矩阵（$(m,l)$）

$$x \\ \symbf{Y} = \mathbf{F}(x)= \left ( \begin{matrix} f_{11}(x) & f_{12}(x) & \cdots & f_{1l}(x) \\ f_{21}(x) & f_{22}(x) & \cdots & f_{2l}(x) \\ \vdots & \vdots & & \vdots \\ f_{m1}(x) & f_{m2}(x) & \cdots & f_{ml}(x) \\ \end{matrix} \right ) = \left ( \begin{matrix} y_{11} & y_{12} & \cdots & y_{1l} \\ y_{21} & y_{22} & \cdots & y_{2l} \\ \vdots & \vdots & & \vdots \\ y_{m1} & y_{m2} & \cdots & y_{ml} \\ \end{matrix} \right )_{(m,l)m\times l} \\ \frac{ \partial\symbf{Y}}{\partial x} =\mathbf{F}'(x) = \left ( \begin{matrix} f'_{11}(x) & f'_{12}(x) & \cdots & f'_{1l}(x) \\ f'_{21}(x) & f'_{22}(x) & \cdots & f'_{2l}(x) \\ \vdots & \vdots & & \vdots \\ f'_{m1}(x) & f'_{m2}(x) & \cdots & f'_{ml}(x) \\ \end{matrix} \right ) = \left ( \begin{matrix} \frac{ \partial y_{11}}{ \partial x} & \frac{ \partial y_{12}}{ \partial x} & \cdots & \frac{ \partial y_{1l}}{ \partial x} \\ \frac{ \partial y_{21}}{ \partial x} & \frac{ \partial y_{22}}{ \partial x} & \cdots & \frac{ \partial y_{2l}}{ \partial x} \\ \vdots & \vdots & & \vdots \\ \frac{ \partial y_{m1}}{ \partial x} & \frac{ \partial y_{m2}}{ \partial x} & \cdots & \frac{ \partial y_{ml}}{ \partial x} \\ \end{matrix} \right )_{(m,l)m\times l}$$

3.2 $\text{input}$是一个向量

计算：输入是向量（$(n,1)$），函数是一个实矩阵函数，结果是一个矩阵（$(m,l)$）

求导： 分母（函数值）是矩阵（$(m,l)$），分子是向量（$(n,1)$），结果是矩阵（$(m,l,n)m\times l \times n$）

3.3 $\text{input}$​是一个矩阵

计算：输入是矩阵（$(n,k)$），函数是一个实矩阵函数，结果是一个矩阵（$(m,l)$）

求导： 分母（函数值）是矩阵（$(m,l)$），分子是矩阵（$(n,k)$），结果是矩阵（$(m,l,k,n)m\times l \times k \times n$）

总结

样例

标量关于向量求导1.2

向量关于向量求导2.2

二 向量链式法则

标量链式法则

$x,u,y$都是标量

$$y=f(u) , u=g(x) \\ \frac{\partial y}{\partial x} = \frac{\partial y}{\partial u}\frac{\partial u}{\partial x}$$

向量链式法则

标量关于向量求导

• 中间变量是标量 1.1 1.2

  $$y=f(u) , u=g(\mathbfcal{x}) \\ \mathbfcal{x}_{(n,1)}、u_{(1,)}、y_{(1,)} \\ \frac{\partial y}{\partial \mathbfcal{x}}_{(1,n)} = \frac{\partial y}{\partial u}_{(1,)} \frac{\partial u}{\partial \mathbfcal{x}}_{(1,n)}$$

  

• 中间变量是向量 1.2 ， 2.2

  $$y=f(\mathbfcal{u}) , \mathbfcal{u}_{(k,1)}=\mathbfcal{g}(\mathbfcal{x}) \\ \mathbfcal{x}_{(n,1)}、\mathbfcal{u}_{(k,1)}、y_{(1,)} \\ \frac{\partial y}{\partial \mathbfcal{x}}_{(1,n)} = \frac{\partial y}{\partial \mathbfcal{u}}_{(1,k)} \frac{\partial \mathbfcal{u}}{\partial \mathbfcal{x}}_{(k,n)}$$

  

向量关于向量求导

• 中间变量是向量 2.2 2.2
  $$\mathbfcal{y}_{(m,1)}=\mathbfcal{f}_{(m,1)}(\mathbfcal{u}_{(k,1)}) , \mathbfcal{u}_{(k,1)}=\mathbfcal{g}_{(k,1)}(\mathbfcal{x}_{(n,1)}) \\ \mathbfcal{x}_{(n,1)}、\mathbfcal{u}_{(k,1)}、\mathbfcal{y}_{(m,1)} \\ \frac{\partial \mathbfcal{y}}{\partial \mathbfcal{x}}_{(m,n)} = \frac{\partial \mathbfcal{y}}{\partial \mathbfcal{u}}_{(m,k)} \frac{\partial \mathbfcal{u}}{\partial \mathbfcal{x}}_{(k,n)}$$

样例

三 自动求导

自动求导，是求导计算一个函数在指定值上的导数

计算图

两种模式

反向累积

复杂度

代码实现