【351】实数对向量求导公式及推导

实数对向量求导公式，得到结果的形式与 分母（自变量） 一致，意思就是，自变量是列向量，结果也是列向量

因变量是否转置对于结果无影响，这一条是我自己总结的。

公式一：将 $x$ 约掉后，剩下一个跟 $x$ 维度一直的就可以了，所以都是 $a$。

$$
\nabla_{\mathbf{x}} (\mathbf{a}^T \mathbf{x}) = \color{red}{\nabla_{\mathbf{x}} (\mathbf{a}^T \mathbf{x})^T} = \nabla_{\mathbf x} (\mathbf{x}^T \mathbf{a}) = \color{blue}{\mathbf{a}}
$$

$$
\frac {\partial \mathbf{a}^T \mathbf{x}} {\partial \mathbf{x}} = \color{red}{\frac {\partial (\mathbf{a}^T \mathbf{x})^T} {\partial \mathbf{x}}} = \frac {\partial \mathbf{x}^T \mathbf{a}} {\partial \mathbf{x}} = \color{blue}{\mathbf{a}}
$$

公式二：理解成 $x*x=x^2$ 吧，所以就是 $2x$。

$$
\nabla_{\mathbf{x}} ||\mathbf{x}||_2^2 = \color{red} {\nabla_{\mathbf x} (\mathbf{x}^T \mathbf{x})} = \color{blue} {2 \mathbf{x}}
$$

$$
\frac {\partial ||\mathbf{x}||_2^2} {\partial \mathbf{x}} = \color{red} {\frac {\partial (\mathbf{x}^T \mathbf{x})} {\partial \mathbf{x}}} = \color{blue} { 2 \mathbf{x}}
$$

公式三：本来结果应该类似 $2Ax$，然而由于转置不影响，也可以得 $2A^Tx$，所以综合来看就是 $(A+A^T)x$。

$$
\nabla_{\mathbf x} (\mathbf{x}^T \mathbf{A} \mathbf{x}) = \color{red}{\nabla_{\mathbf x} (\mathbf{x}^T \mathbf{A} \mathbf{x})^T} = \nabla_{\mathbf x} (\mathbf{x}^T \mathbf{A}^T \mathbf{x}) = \color{blue} {(\mathbf{A} + \mathbf{A}^T) \mathbf{x}}
$$

$$
\frac {\partial (\mathbf{x}^T \mathbf{A} \mathbf{x})} {\partial \mathbf{x}} = \color{red}{\frac {\partial (\mathbf{x}^T \mathbf{A} \mathbf{x})^T} {\partial \mathbf{x}}} = \frac {\partial (\mathbf{x}^T \mathbf{A}^T \mathbf{x})} {\partial \mathbf{x}} = \color{blue} {(\mathbf{A} + \mathbf{A}^T) \mathbf{x}}
$$

---

 

实值函数对向量求导

- 未作特殊说明即为对变量 $\boldsymbol{x}$ 求导

- 一个基本的雅克比矩阵（由定义易得）：

- $\nabla_\boldsymbol{x}(A\boldsymbol{x})=A$
- 特别地，$\nabla_{\boldsymbol{x}} \boldsymbol{x} = \nabla_{\boldsymbol{x}} (I\boldsymbol{x}) = I $

- 向量内积的求导法则

- 注：内积是一个实数，因此本节相当于实数对向量求导，结果是与自变量同型的向量。

- $\nabla(\boldsymbol{a}^T\boldsymbol{x}) = \nabla(\boldsymbol{x}^T\boldsymbol{a}) = \boldsymbol{a}$

- 证明：$\dfrac{\partial\boldsymbol{a^Tx}}{\partial x_i} = \dfrac{\partial\sum_j a_j x_j}{\partial x_i} = \dfrac{\partial a_i x_i}{\partial x_i} = a_i$

- $\nabla ||\boldsymbol{x}||_2^2 = \nabla(\boldsymbol{x}^T\boldsymbol{x}) = 2\boldsymbol{x}$

- 证明一（直接计算）：$\dfrac{\partial ||\boldsymbol{x}||_2^2}{\partial x_i} = \dfrac{\partial\sum_j x_j^2}{\partial x_i} = \dfrac{\partial x_i^2}{\partial x_i} = 2x_i$
- 证明二（变量多次出现的求导法则）：$\nabla(\boldsymbol{x}^T\boldsymbol{x}) = \nabla_{\boldsymbol{x}}(\boldsymbol{x}_c^T\boldsymbol{x}) + \nabla_{\boldsymbol{x}}(\boldsymbol{x}^T\boldsymbol{x}_c) = 2\nabla_{\boldsymbol{x}}(\boldsymbol{x}_c^T\boldsymbol{x}) = 2\boldsymbol{x}_c = 2\boldsymbol{x}$，其中 $\boldsymbol{x}_c$ 表示将 $\boldsymbol{x}$ 的此次出现不视作自变量，而是视作与 $\boldsymbol{x}$ 无关的常数，下同。

- $\nabla (\boldsymbol{x}^TA\boldsymbol{x}) = (A+A^T)\boldsymbol{x}$

- 证明（变量多次出现的求导法则）：$$\begin{align*}
LHS & = & \nabla (\boldsymbol{x}_c^TA\boldsymbol{x}) + \nabla (\boldsymbol{x}^TA\boldsymbol{x}_c) \\
& = & \nabla ((A^T\boldsymbol{x}_c)^T\boldsymbol{x}) + \nabla ((A\boldsymbol{x}_c)^T\boldsymbol{x}) \\
& = & A^T\boldsymbol{x}_c + A\boldsymbol{x}_c \\
& = & RHS
\end{align*}$$
- 若 $A$ 是对称矩阵，即 $A=A^T$，上式右边还可以进一步化简为 $2A\boldsymbol{x}$

- **向量函数内积的求导法则**

- 若 $\boldsymbol{u}(\boldsymbol{x}):\mathbb{R}^n \rightarrow \mathbb{R}^m, \boldsymbol{v}(\boldsymbol{x}):\mathbb{R}^n \rightarrow \mathbb{R}^m$，则 $\nabla(\boldsymbol{u}^T\boldsymbol{v}) = (\nabla_{\boldsymbol{x}} \boldsymbol{u})^T \boldsymbol{v} + (\nabla_{\boldsymbol{x}} \boldsymbol{v})^T \boldsymbol{u}$

- 证明（变量多次出现的求导法则 + 一次复合的求导法则）：$LHS=\nabla(\boldsymbol{u}^T\boldsymbol{v}_c)+\nabla(\boldsymbol{u}_c^T\boldsymbol{v}) = (\nabla_{\boldsymbol{x}} \boldsymbol{u})^T \boldsymbol{v}_c + (\nabla_{\boldsymbol{x}} \boldsymbol{v})^T \boldsymbol{u}_c = RHS$

#### 向量数乘求导公式

- $\nabla_{\boldsymbol{x}} (\alpha(\boldsymbol{x})\boldsymbol{f(x)}) = \boldsymbol{f(x)} \nabla_{\boldsymbol{x}^T} \alpha(\boldsymbol{x}) + \alpha(\boldsymbol{x})\nabla_{\boldsymbol{x}}\boldsymbol{f(x)}$

- 说明：向量对向量求导，结果是一个雅克比矩阵，形状为 $\boldsymbol{f}$ 的维度乘 $\boldsymbol{x}$ 的维度

- 推导：$\dfrac{\partial \alpha f_i}{\partial x_j} = f_i \dfrac{\partial \alpha}{\partial x_j} + \alpha \dfrac{\partial f_i}{\partial x_j} $，两边逐分量对比一下便知等式成立。

- 记忆：按两个标量函数相乘的求导法则记，再注意一下**维度相容原理**即可。另外注意，等式左边 $\alpha(\boldsymbol{x})\boldsymbol{f(x)}$ 是向量的数乘（若 $\boldsymbol{f(x)}$ 为行向量也可视作矩阵乘法）；右边 $\alpha(\boldsymbol{x})\nabla_{\boldsymbol{x}}\boldsymbol{f(x)}$ 是矩阵的数乘。