矩阵求导笔记

1. 标量对矩阵的求导

考虑一个标量函数 \(f(A)\)，其输入是一个 \(m \times n\) 矩阵。函数关于矩阵的导数定义为：

\[\frac{\partial f}{\partial A} = \begin{bmatrix} \frac{\partial f}{\partial A_{11}} & \cdots & \frac{\partial f}{\partial A_{1n}} \\ \vdots & \ddots & \vdots \\ \frac{\partial f}{\partial A_{m1}} & \cdots & \frac{\partial f}{\partial A_{mn}} \end{bmatrix} \]

这是一个 \(m \times n\) 矩阵，其每个元素都是标量 \(f\) 关于 \(A\) 的相应元素的导数。

2. 标量对向量的求导

考虑一个标量函数 \(f(x)\)，其输入是一个 \(n \times 1\) 向量。其导数是一个 \(n \times 1\) 向量，称为梯度：

\[ \nabla f(x) = \begin{bmatrix} \frac{\partial f}{\partial x_{1}} \\ \vdots \\ \frac{\partial f}{\partial x_{n}} \end{bmatrix} \]

3. 标量-矩阵函数的导数的转置形式

对于标量-矩阵函数，我们通常采用转置形式，因为它与线性代数中的常用操作相一致。

4. 二次型及其导数

考虑二次型函数:

\[f(x) = x^T A x \]

其导数为:

\[\nabla f(x) = (A + A^T)x \]

如果 \(A\) 是对称的，那么导数简化为:

\[\nabla f(x) = 2Ax \]