矩阵运算常用性质
以下内容是把这里的结论整理了一下。
矩阵乘法
-
已知\(\mathbf{C}=\mathbf{A}\mathbf{B}\)，则：
\[\mathbf{C}^T=\mathbf{B}^T\mathbf{A}^T \] -
已知\(\mathbf{C}=\mathbf{A}\mathbf{B}\)，则：
\[\mathbf{C}^{-1}=\mathbf{B}^{-1}\mathbf{A}^{-1} \]
分块矩阵
已知\(\mathbf{A}=\begin{bmatrix}\mathbf{A_{11}}&\mathbf{A_{12}}\\\mathbf{A_{21}}&\mathbf{A_{22}}\end{bmatrix}\)，则：
\[\mathbf{A}^{-1}=\left[\begin{array}{cc}
\left(\mathbf{A}_{11}-\mathbf{A}_{12} \mathbf{A}_{22}^{-1} \mathbf{A}_{21}\right)^{-1} & -\mathbf{A}_{11}^{-1} \mathbf{A}_{12}\left(\mathbf{A}_{22}-\mathbf{A}_{21} \mathbf{A}_{11}^{-1} \mathbf{A}_{12}\right)^{-1} \\
-\mathbf{A}_{22}^{-1} \mathbf{A}_{21}\left(\mathbf{A}_{11}-\mathbf{A}_{12} \mathbf{A}_{22}^{-1} \mathbf{A}_{21}\right)^{-1} & \left(\mathbf{A}_{22}-\mathbf{A}_{21} \mathbf{A}_{11}^{-1} \mathbf{A}_{12}\right)^{-1}
\end{array}\right]
\]
向量微分
向量对向量求微分（雅克比矩阵）的定义：
\(y\)是一个有\(m\)个元素的向量，\(x\)是一个有\(n\)个元素的向量，则雅克比矩阵定义为：
\[\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\left[\begin{array}{cccc} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} & \cdots & \frac{\partial y_1}{\partial x_n} \\ \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} & \cdots & \frac{\partial y_2}{\partial x_n} \\ \vdots & \vdots & & \vdots \\ \frac{\partial y_m}{\partial x_1} & \frac{\partial y_m}{\partial x_2} & \cdots & \frac{\partial y_m}{\partial x_n} \end{array}\right] \]
下列表达式中均有\(\mathbf{A}\)与\(\mathbf{x}\)无关。
-
已知\(\mathbf{y}=\mathbf{A}\mathbf{x}\)，则
\[\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\mathbf{A} \]- 令\(\mathbf A=\mathbf I\)，还可以知道\(\frac{\partial \mathbf{x}}{\partial \mathbf{x}}=\mathbf{I}\)
-
已知\(\mathbf{y}=\mathbf{x}^T\mathbf{A}\)，则
\[\frac{\partial \mathbf{y}}{\partial \mathbf{x}}=\mathbf{A}^T \] -
已知\(\mathbf{x}\)是\(\mathbf{z}\)的函数，\(\mathbf{y}=\mathbf{A}\mathbf{x}\)，则：
\[\frac{\partial \mathbf{y}}{\partial \mathbf{z}}=\mathbf{A}\frac{\partial \mathbf{x}}{\partial \mathbf{z}} \] -
已知\(\mathbf y=\mathbf{x}^{T}\mathbf{A}\mathbf{x}\)，则：
\[\frac{\partial \mathbf y}{\partial \mathbf{x}}=\mathbf{x}^T(\mathbf{A}+\mathbf{A}^T) \]- 若\(\mathbf A\)对称，则：\(\frac{\partial (\mathbf{x}^{T}\mathbf{A}\mathbf{x})}{\partial \mathbf{x}}=2\mathbf x^T\mathbf A\)
- 结合性质3，还可以知道\(\frac{\partial(\mathbf{x}^{T}\mathbf{x})}{\partial \mathbf{z}}=2\mathbf{x}^T\frac{\partial\mathbf x}{\partial\mathbf z}\)
-
已知\(\mathbf{x}\)和\(\mathbf{y}\)是\(\mathbf{z}\)的函数，则：
\[\frac{\partial (\mathbf y^T\mathbf A\mathbf x)}{\partial \mathbf{z}}=\mathbf{x}^{T}\mathbf A^T \frac{\partial \mathbf{y}}{\partial \mathbf{z}}+\mathbf{y}^{T}\mathbf A\frac{\partial \mathbf{x}}{\partial \mathbf{z}} \]
矩阵微分
矩阵对标量求微分的定义：
\[\frac{\partial \mathbf{A}}{\partial \alpha}=\left[\begin{array}{cccc} \frac{\partial a_{11}}{\partial \alpha} & \frac{\partial a_{12}}{\partial \alpha} & \cdots & \frac{\partial a_{1 \mathrm{n}}}{\partial \alpha} \\ \frac{\partial a_{21}}{\partial \alpha} & \frac{\partial a_{22}}{\partial \alpha} & \cdots & \frac{\partial a_{2 n}}{\partial \alpha} \\ \vdots & \vdots & & \vdots \\ \frac{\partial a_{\mathrm{m} 1}}{\partial \alpha} & \frac{\partial a_{\mathrm{m} 2}}{\partial \alpha} & \cdots & \frac{\partial a_{m n}}{\partial \alpha} \end{array}\right] \]
已知\(\mathbf{A}\)是\(\alpha\)的函数，则：
\[\frac{\partial \mathbf{A}^{-1}}{\partial \alpha}=-\mathbf{A}^{-1} \frac{\partial \mathbf{A}}{\partial \alpha} \mathbf{A}^{-1}
\]
矩阵求逆
求逆引理：若矩阵\(\mathbf R\)和\(\mathbf Q\)可逆，则对于任意的矩阵\(\mathbf P\)有：
\[(\mathbf R+\mathbf P\mathbf Q\mathbf P^T)^{-1}=\mathbf R^{-1}-\mathbf R^{-1}\mathbf P(\mathbf Q^{-1}+\mathbf P^T\mathbf R^{-1}\mathbf P)^{-1}\mathbf P^T\mathbf R^{-1}
\]
