ML@矩阵微积分@Matrix calculus@part2

文章目录

• • ref@part1
  • 向量求导@Derivatives with vectors
  • • 向量对标量求导@切向量@Vector-by-scalar
    • 标量对向量求导@梯度向量@Scalar-by-vector
    • • 向量求导@梯度记法🎈
      • 补充@数量函数对于向量的导数
      • 导数法则
      • 例
    • 向量对向量求导@Vector-by-vector
  • 矩阵求导
  • • 矩阵对标量求导(切矩阵)@Matrix-by-scalar
    • 标量对矩阵求导@梯度矩阵@Scalar-by-matrix
    • • 矩阵求导@梯度记法🎈

ref@part1

• ML@矩阵微积分@Matrix calculus@Part1_xuchaoxin1375的博客-CSDN博客

向量求导@Derivatives with vectors

向量对标量求导@切向量@Vector-by-scalar

• 由于向量可看成仅有一列的矩阵，最简单的矩阵求导为向量求导。

• 通过如下方式表达大部分向量微积分：

  • 把n维向量构成的空间M(n,1)等同为欧氏空间 $R^n$， 标量$M(1,1)$等同于R。

• 向量$\mathbf{y}={\left[\begin{array}{cccc}{y}_1& y_2& \cdots & y_m\end{array}\right]}^{\mathsf{T}}$关于标量 $x$的导数可以（用分子记法(in numerator layout notation)）写成

  • $y_i=y_i(\mathbf{x})$多元(输入)标量(输出)函数

    • 即,$y_i$是个向量输入,标量输出的函数
    • $i=1,2,\cdots ,m$
    • 对标量$x$进行广播,再分别求导

  • $$\frac{\partial \mathbf{y}}{\partial x}=\left[\begin{array}{c}\frac{\partial y_1}{\partial x}\\ \frac{\partial y_2}{\partial x}\\ ⋮\\ \frac{\partial y_m}{\partial x}\end{array}\right]$$

• 在向量微积分中，向量$\mathbf{y}$关于标量变量$x$的导数也被称为向量$\mathbf{y}$的切向量(在$x$方向的)，$\frac{\partial \mathbf{y}}{\partial x}$

  • In vector calculus the derivative of a vector y with respect to a scalar x is known as the tangent vector of the vector $\mathbf{y}$

• 例子

  • 简单的样例包括欧式空间中的速度向量，它是位移向量（看作关于时间的函数）的切向量。
  • 更进一步而言， 加速度是速度的切向量。

标量对向量求导@梯度向量@Scalar-by-vector

• 讨论数量函数$y$对向量$\mathbf{x}$求导

• 函数$y$接收$\mathbf{x}$作为输入参数,$y$对向量${\mathbf{x}=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]}^T$的导数可以（用分子记法）写成

  • $\frac{\partial y}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y}{\partial x_1}& \frac{\partial y}{\partial x_2}& \cdots & \frac{\partial y}{\partial x_n}\end{array}\right]$

    • 这里使用分子记法,因此$\frac{\partial y}{\partial \mathbf{x}}$的行数m是$y$决定的(m=1),而列数n由$\mathbf{x}$决定(n=n)
    • 即,对被求导的多元函数$y=y(\mathbf{x})$进行广播(broadcasting),再进行求导
    • 相当于梯度:${\nabla }_{\mathbf{x}}y(\mathbf{x})$

• 在向量微积分中，标量$y$在的空间$R^n$(其独立坐标是$\mathbf{x}$的分量)中的梯度是标量y对向量$\mathbf{x}$的导数的转置。

  • In vector calculus, the gradient of a scalar field $f$ in the space $R^n$ (whose independent coordinates are the components of $\mathbf{x}$) is the transpose of the derivative of a scalar by a vector.

  • $$\nabla f=\left[\begin{array}{c}\frac{\partial f}{\partial x_1}\\ ⋮\\ \frac{\partial f}{\partial x_n}\end{array}\right]={\left(\frac{\partial f}{\partial \mathbf{x}}\right)}^{\mathsf{T}}$$

  • 这里将$\mathbf{x}$定义成列向量,有的地方也定义成行向量,但是表达的内涵是一样的

• 在物理学中，电场是电势(electric potential)的负梯度向量。

• 标量函数$y=f(x)$对空间向量$\mathbf{x}$在单位向量$\mathbf{u}$（在这里表示为列向量）方向上的方向导数可以用梯度定义：

  • ${\nabla }_{\mathbf{u}}f(\mathbf{x})=\nabla f(\mathbf{x})\cdot \mathbf{u}$

    • ${\nabla }_{\mathbf{x}}f(\mathbf{x})$通常在没有歧义时被$\nabla f(\mathbf{x})$取代。

    • $\mathbf{x}=(x_1,x_2,x_3)$

    • $\mathbf{u}=(\cos \alpha ,\cos \beta ,\cos \gamma )$,即该单位向量是由$\mathbf{u}$方向的方向余弦构成的

    • $$\begin{gathered} \nabla f(x)\cdot \mathbf{u}=(\frac{\partial y}{\partial x_1},\frac{\partial y}{\partial x_2},\frac{\partial y}{\partial x_3})\cdot (\cos \alpha ,\cos \beta ,\cos \gamma ) \\ =\left(\begin{array}{c}\frac{\partial y}{\partial x_1}\\ \frac{\partial y}{\partial x_2}\\ \frac{\partial y}{\partial x_3}\end{array}\right)(\cos \alpha ,\cos \beta ,\cos \gamma )=(\frac{\partial y}{\partial \mathbf{x}}{)}^T\mathbf{u} \end{gathered}$$

向量求导@梯度记法🎈

• 使用刚才定义的标量对向量的导数的记法，可以把方向导数写作:

• $$\begin{gathered} {\nabla }_{\mathbf{u}}f(\mathbf{x})={\left(\frac{\partial }{\partial \mathbf{x}}f(\mathbf{x})\right)}^{\top }\mathbf{u} \\ 简写: \\ {\nabla }_{\mathbf{u}}f={\left(\frac{\partial f}{\partial \mathbf{x}}\right)}^{\top }\mathbf{u} \end{gathered}$$

• 这类记法在证明乘法法则和链式法则的时候非常直观，因为它们与我们熟悉的标量导数的形式较为相似。

补充@数量函数对于向量的导数

• 在场论中,对数量函数$f(x,y,z)$定义梯度向量为:

  • $$gradf=\nabla f=(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y},\frac{\partial f}{\partial z})$$

  • 可以理解为数量函数$f(x,y,z)$对向量$(x,y,z)$的导数(是一种简单的数量(标量)函数对向量求导)

  • 设向量$\mathbf{x}=(x_1,\cdots ,x_n{)}^T$,$f(\mathbf{x})=f(x_1,\cdots ,x_n)$是以向量$\mathbf{x}$为自变量的数量函数,(即n元函数),规定数量函数($f(\mathbf{x})$)对于向量$\mathbf{x}$的导数为:

    • $${\frac{dy}{d\mathbf{x}}=\left(\begin{array}{cccc}\frac{\partial y}{\partial x_1}& \frac{\partial y}{\partial x_2}& \cdots & \frac{\partial y}{\partial x_n}\end{array}\right)}^T$$

导数法则

• $\mathbf{x}=(x_1,\cdots ,x_n)$

  • 注意粗体和细体的含义区别

• $f(\mathbf{x})=f(x_1,\cdots ,x_n)$

• $h(\mathbf{x})=h(x_1,\cdots ,x_n)$

• $$\begin{array}{l}\frac{\mathrm{d}[f(\mathbf{x})\pm h(\mathbf{x})]}{\mathrm{d}\mathbf{x}}=\frac{\mathrm{d}f(\mathbf{x})}{\mathrm{d}\mathbf{x}}\pm \frac{\mathrm{d}h(\mathbf{x})}{\mathrm{d}\mathbf{x}}\\ \\ \frac{\mathrm{d}f(\mathbf{x})h(\mathbf{x})}{\mathrm{d}\mathbf{x}}=\frac{\mathrm{d}f(\mathbf{x})}{\mathrm{d}\mathbf{x}}h(\mathbf{x})+f(\mathbf{x})\frac{\mathrm{d}h(\mathbf{x})}{\mathrm{d}\mathbf{x}}\end{array}$$

• 令$\mathbf{x}=\xi =({\xi }_1(t),\cdots ,{\xi }_n(t){)}^T$,是一个函数向量(列向量)

  • 简记${\xi }_i={\xi }_i(t)$

  • 即$f(\mathbf{x})=f(\xi )=f({\xi }_1,\cdots ,{\xi }_n)$结果是标量

  • $$\frac{df}{dt}=\frac{d}{dt}f(\mathbf{x})=(\frac{df}{d\mathbf{x}}{)}^T\frac{d\mathbf{x}}{dt}$$

• 推导:

  • 首先确定,$\frac{d}{dt}f(\mathbf{x})$是一个接收向量输入的标量函数对自变量t进行求导(中间变量为${\xi }_i$),结果是一个标量(和t相同)

  • $(\frac{df}{d\mathbf{x}})=(\frac{df}{d{\xi }_1},\cdots ,\frac{df}{d{\xi }_n}{)}^T$

  • 由偏导数复合函数求导法则(偏导数的链式法则):

  • $$\begin{gathered} \frac{df}{dt}=\frac{d}{dt}f(\mathbf{x})=\sum _{i=1}^n\frac{df}{d{\xi }_i}\frac{d{\xi }_i}{dt}=(\frac{df}{d{\xi }_1},\cdots ,\frac{df}{d{\xi }_n})(\frac{d{\xi }_1}{dt},\cdots ,\frac{d{\xi }_n}{dt}{)}^T \\ =(\frac{df}{d\mathbf{x}}{)}^T\frac{d\mathbf{x}}{dt} \end{gathered}$$

例

• 设$A=(a_{ij}{)}_{n\times }$是常量矩阵,$\mathbf{x}=(x_1,\cdots ,x_n{)}^T$

  • 证明$f(\mathbf{x})={\mathbf{x}}^{\mathbf{T}}A\mathbf{x}$的导数$\frac{\partial f}{\partial \mathbf{x}}=(A+A^T)\mathbf{x}$

  • 首先考察二次型$f(\mathbf{x})$本质上是一个二次多项式,是一个数值函数(只不过这个多项式可以用矩阵乘法表达)

  • 对$f(\mathbf{x})=$使用标量函数对向量的求导法则

  • $$\begin{gathered} f(\mathbf{x})={\mathbf{x}}^{\mathbf{T}}A\mathbf{x}=\sum _{i,j=1}^n{a}_{ij}{x}_i{x}_j \\ 记矩阵S={\left(\begin{array}{cccc}{a}_{11}{x}_1{x}_1& a_{12}{x}_1{x}_2& \cdots & a_{1n}{x}_1{x}_n\\ a_{21}{x}_2{x}_1& a_{22}{x}_2{x}_2& \cdots & a_{2n}{x}_2{x}_n\\ ⋮& ⋮& & ⋮\\ a_{n1}{x}_n{x}_1& a_{n2}{x}_n{x}_2& \cdots & a_{nn}{x}_n{x}_n\end{array}\right)}_{n\times n} \\ 记矩阵J_n为n阶全1矩阵 \\ 则f(\mathbf{x})=\sum _{i,j}{S}_{ij}=\sum _i^n\sum _j^n{S}_{ij}=Tr(S{J}_n) \end{gathered}$$

    • 上面展示了计算矩阵所有元素之和的记号和方法
    • 矩阵S有助于理解对$\frac{\partial }{\partial x_1}{\sum }_{i,j=1}^n{a}_{ij}{x}_i{x}_j$的求导结果

  • $$\begin{gathered} \frac{df}{d\mathbf{x}}=(\frac{\partial }{\partial x_1}\sum _{i,j=1}^n{a}_{ij}{x}_i{x}_j,\cdots ,\frac{\partial }{\partial x_n}\sum _{i,j=1}^n{a}_{ij}{x}_i{x}_j{)}^T \\ =\left(\begin{array}{c}2a_{11}{x}_1+(a_{12}+a_{21})x_2+\cdots +(a_{1n}+a_{n1})x_n\\ ⋮\\ (a_{1n}+a_{n1})x_1+(a_{n2}+a_{2n})x_2+\cdots +2a_{nn}{x}_n\end{array}\right) \\ =\left(\begin{array}{c}{\sum }_{j=1}^n(a_{1j}+a_{j1})x_j\\ ⋮\\ {\sum }_{j=1}^n(a_{nj}+a_{jn})x_j\end{array}\right)=\left(\begin{array}{c}{\sum }_{j=1}^n(a_{1j})x_j+{\sum }_{j=1}^n(a_{j1})x_j\\ ⋮\\ {\sum }_{j=1}^n(a_{nj})x_j+{\sum }_{j=1}^n(a_{jn})x_j\end{array}\right) \\ =\left(\begin{array}{c}{\sum }_{j=1}^n(a_{1j})x_j\\ ⋮\\ {\sum }_{j=1}^n(a_{nj})x_j\end{array}\right)+\left(\begin{array}{c}{\sum }_{j=1}^n(a_{j1})x_j\\ ⋮\\ {\sum }_{j=1}^n(a_{jn})x_j\end{array}\right) \\ =\left(\begin{array}{c}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n\\ ⋮\\ a_{n1}{x}_1+a_{n2}{x}_2+\cdots +a_{nn}{x}_n\end{array}\right) \\ +\left(\begin{array}{c}{a}_{11}{x}_1+a_{21}{x}_2+\cdots +a_{n1}{x}_n\\ ⋮\\ a_{1n}{x}_1+a_{2n}{x}_2+\cdots +a_{nn}{x}_n\end{array}\right) \\ =A\mathbf{x}+A^T\mathbf{x}=(A+A^T)\mathbf{x} \end{gathered}$$

向量对向量求导@Vector-by-vector

• 前面两种情况可以看作是向量对向量求导在其中一个是一维向量情况下的特例。

• 类似地我们将会发现有关矩阵的求导可被以一种类似的方式化归(reduce)为向量求导。

• 分量为函数的向量 $\mathbf{y}={\left[\begin{array}{cccc}{y}_1& y_2& \cdots & y_m\end{array}\right]}^{\mathsf{T}}$对输入向量$\mathbf{x}={\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]}^{\mathsf{T}}$的导数$\mathbf{x}\to y_i(\mathbf{x})$，可以（用分子记法) 写作

  • Note:$y_i=y_i(\mathbf{x})$,$i=1,2,\cdots ,m$

  • 这部分在开头做过展示(Jacobi Matrix)

  • $$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x_1}& \frac{\partial y_1}{\partial x_2}& \cdots & \frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_2}{\partial x_1}& \frac{\partial y_2}{\partial x_2}& \cdots & \frac{\partial y_2}{\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_m}{\partial x_1}& \frac{\partial y_m}{\partial x_2}& \cdots & \frac{\partial y_m}{\partial x_n}\end{array}\right]$$

    • 每一行相当于函数$y_i$对向量$\mathbf{x}$求导
    • $\mathbf{y}$中包含了n个向量,所以$\mathbf{y}$对$\mathbf{x}$会产生n行,它们构成矩阵$\frac{\partial \mathbf{y}}{\partial \mathbf{x}}$

• 在向量微积分中，向量函数y对分量表示一个空间的向量$\mathbf{x}$的导数也被称为前推 (微分)，或雅可比矩阵。

  • In vector calculus, the derivative of a vector function y with respect to a vector x whose components(分量) represent a space is known as the pushforward (or differential), or the Jacobian matrix.
  • 在向量微积分中，向量函数y关于向量x的导数(其分量表示空间)被称为推进(或微分)，或称为雅克比矩阵。

• 向量函数$\mathbf{f}$对$R^n$空间中向量v的前推为$d\mathbf{f}(\mathbf{v})=\frac{\partial \mathbf{f}}{\partial \mathbf{v}}d\mathbf{v}$

矩阵求导

• 有两种类型的矩阵求导可以被写成相同大小的矩阵：矩阵对标量求导和标量对矩阵求导。
• 它们在解决应用数学的许多领域常见的最小化问题中十分有用。
• 类比于向量求导，相应的概念有切矩阵和梯度矩阵。

矩阵对标量求导(切矩阵)@Matrix-by-scalar

• 函数矩阵$\mathbf{Y}$对标量变量$x$的导数被称为切矩阵，(用分子记法)可写成：

  • $y_{ij}=y_{ij}(\mathbf{x})$,$\mathbf{x}$是1维还是多维不影响公式

    • $y_{ij}=y_{ij}(x)$是上述形式的特例

    • $$\frac{\partial \mathbf{Y}}{\partial x}=\left[\begin{array}{cccc}\frac{\partial y_{11}}{\partial x}& \frac{\partial y_{12}}{\partial x}& \cdots & \frac{\partial y_{1n}}{\partial x}\\ \frac{\partial y_{21}}{\partial x}& \frac{\partial y_{22}}{\partial x}& \cdots & \frac{\partial y_{2n}}{\partial x}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y_{m1}}{\partial x}& \frac{\partial y_{m2}}{\partial x}& \cdots & \frac{\partial y_{mn}}{\partial x}\end{array}\right]$$

标量对矩阵求导@梯度矩阵@Scalar-by-matrix

• 标量函数对变量矩阵求导

• 标量(函数$y$)对(变量)矩阵$\mathbf{X}$求导

  • 标量函数$y(X)$可以接收一个矩阵,计算该矩阵(的某个属性值(标量))返回标量

• 定义在元素是独立变量的$p\times q$矩阵$X\in {\mathbb{R}}^{n\times n}$上的标量函数$y$对$X$的导数可以(用分子记法)写作

  • $$\frac{\partial y}{\partial \mathbf{X}}=\left[\begin{array}{cccc}\frac{\partial y}{\partial x_{11}}& \frac{\partial y}{\partial x_{21}}& \cdots & \frac{\partial y}{\partial x_{p1}}\\ \frac{\partial y}{\partial x_{12}}& \frac{\partial y}{\partial x_{22}}& \cdots & \frac{\partial y}{\partial x_{p2}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial y}{\partial x_{1q}}& \frac{\partial y}{\partial x_{2q}}& \cdots & \frac{\partial y}{\partial x_{pq}}\end{array}\right]$$

• 定义矩阵上的标量函数例如矩阵的迹和行列式(它们都接收方阵作为参数,而返回一个标量值)

  • $y(X)=|X|$
  • $y(X)=Tr(X)$

矩阵求导@梯度记法🎈

• 类比于向量微积分$\frac{\partial \mathbf{x}}{\partial \mathbf{y}}$

  • $${\nabla }_{\mathbf{u}}f(\mathbf{x})={\left(\frac{\partial }{\partial \mathbf{x}}f(\mathbf{x})\right)}^{\top }\mathbf{u}$$

• 矩阵对变量求导常被写成如下形式：

  • $${\nabla }_{\mathbf{X}}y(\mathbf{X})=\frac{\partial y(\mathbf{X})}{\partial \mathbf{X}}$$

• 类似地，标量函数$f(X)$关于矩阵X在方向$\mathbf{Y}$的方向导数可写成

  • $${\nabla }_{\mathbf{Y}}f=\mathrm{tr}\left(\frac{\partial f}{\partial \mathbf{X}}\mathbf{Y}\right)$$

• 梯度矩阵经常被应用在估计理论的最小化问题中，比如卡尔曼滤波算法的推导，因此在这些领域中有着重要的地位。