矩阵微积分

1.函数矩阵

定义

$若矩阵A=(a_{ij})的所有元素a_{ij}均是变量t的函数，则A(t)是函数矩阵$
$A(t)=\begin{pmatrix} a_{11}(t) & a_{12}(t) & ... \\ ...\\ a_{n1}(t) & a_{n2}(t) & ... & a_{nn}(t)\\ \end{pmatrix}$
$变量t可是是实数，也可以是向量，甚至还可以是矩阵$

极限

$若所有元素a_{ij}(t)在t=t_0时，存在极限,即有$

$$\lim\limits_{t\to t_0}a_{ij}(t)=a_{ij}$$

$则称矩阵A(t)有极限,且极限值为A(常数矩阵)$

$$\lim\limits_{t\to t_0}A(t)=A=\begin{pmatrix} a_{11} & a_{12} & ... \\ ...\\ a_{n1} & a_{n2} & ... & a_{nn}\\ \end{pmatrix}$$

求导

$A(t_0)'=\frac{d A(t)}{dt}|_{t=t_0}=\begin{pmatrix} a_{11}^{'}(t_0) & a_{12}^{'}(t_0) & ... \\ ...\\ a_{n1}^{'}(t_0) & a_{n2}^{'}(t_0) & ... & a_{nn}^{'}(t_0)\\ \end{pmatrix}$

$A(t),B(t),f(x),A^{-1}(x)均可导的情况下$

• $\frac{d}{dt}(A(t)\pm B(t)) = A(t)^{'}\pm B(t)^{'}$
• $\frac{d}{dt}(k(t)A(t))=k(t)^{'}A(t)+k(t)A(t)^{'}$
• $\frac{d}{dt}(A(t)B(t))=A(t)^{'}B(t)+A(t)B(t)^{'}$
• $\frac{dA^{-1}(t)}{dt} = -A^{-1}(t)A'(t)A^{-1}(t)$
• $t=f(x)是x的实值函数,\frac{dA(t)}{dx}=\frac{dA(t)}{dt}f'(x)=f'(x)\frac{dA(t)}{dt}$
  $A任一常量方阵,注意A是方阵，是实值，不是函数矩阵$
• $\frac{d}{dt}e^{At}=Ae^{At}=e^{At}A,e^{At}表示矩阵的每个元素都做f(x)=e^x处理,x是矩阵At的每个元素$
• $\frac{d}{dt}\cos At=-A(\sin At)=-(\sin At)A$
• $\frac{d}{dt}\sin At=A(\cos At)=(\cos At)A$

2.数量函数求导

2.1数量函数对于向量的求导

$x=(x_1,x_2,...,x_n)^T,f(x)=f(x_1,x_2,....,x_n)是以向量x为自变量的数量函数$
$则$

$$\frac{df}{dx}=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_n})^T$$

$基本上是梯度的意思$
$\color{red}{注意布局:出来的导数形式和自变量向量x的形式一样}$
$若还有向量x的数量函数$

$$h(x)=h(x_1,x_2,...,x_n)$$

$则有$

• $\frac{d[f(x)\pm h(x)]}{dx}=\frac{d f(x)}{dx}\pm \frac{d h(x)}{dx}$
• $\frac{d[f(x) h(x)]}{dx}=\frac{d f(x)}{dx} h(x) + f(x)\frac{d h(x)}{dx}$

2.2 数量函数对于矩阵的求导

$设A\in R^{m\times n},f(A)为矩阵A的数量函数，则规定数量函数f(A)对于矩阵A的导数为$

$$\frac{df}{dA}=\begin{pmatrix} \frac{\partial f}{\partial a_{11}} & ... & \frac{\partial f}{\partial a_{1n}} \\ ...\\ \frac{\partial f}{\partial a_{m1}} & ... & \frac{\partial f}{\partial a_{mn}}\\ \end{pmatrix}$$

$\color{red}{注意布局:出来的导数形式和自变量矩阵A的形式一样}$

3.矩阵函数求导

3.1矩阵函数对矩阵求导

$设矩阵F是以A\in C^{m\times n}为自变量的p\times q矩阵,即$

$$F(A)=\begin{pmatrix} f_{11}(A) & f_{12}(A) & ... & f_{1q}(A) \\ ...\\ f_{p1}(A) & f_{p2}(A) & ... & f_{pq}(A) \\ \end{pmatrix}_{p\times q}$$

$其中，自变量是矩阵A=(a_{ij})_{m\times n}，则规定F(A)对于矩阵A的导数为$

$$\frac{dF(A)}{dA}=\begin{pmatrix} \frac{\partial F}{\partial a_{11}} & \frac{\partial F}{\partial a_{12}} & ... & \frac{\partial F}{\partial a_{1n}} \\ ...\\ \frac{\partial F}{\partial a_{m1}} & \frac{\partial F}{\partial a_{m2}} & ... & \frac{\partial F}{\partial a_{mn}} \\ \end{pmatrix}_{m\times n}$$

$其中矩阵中的每个元素又是一个矩阵$

$$\frac{dF}{d a_{ij}}=\begin{pmatrix} \frac{\partial f_{11}}{\partial a_{ij}} & \frac{\partial f_{12}}{\partial a_{ij}} & ... & \frac{\partial f_{1q}}{\partial a_{ij}} \\ ...\\ \frac{\partial f_{p1}}{\partial a_{ij}} & \frac{\partial f_{p1}}{\partial a_{ij}} & ... & \frac{\partial f_{p1}}{\partial a_{ij}} \\ \end{pmatrix}_{p\times q}$$

$\color{red}{注意布局:出来的导数形式和自变量矩阵A的形式一样,导数内的嵌套矩阵布局和矩阵F(A)布局一样}$

3.2矩阵函数对向量求导

将向量视作矩阵，套入上面的公式

案例1

案例2

计算矩阵导数的思路

• 1.看目标变量，判断函数是普通函数还是函数矩阵(包括函数向量)
• 2.看自变量，判断自变量是一元变量还是，向量变量，还是矩阵变量
• 3.看自变量的格式，是行排列，还是列排列，决定求导后的布局，布局很重要
• 4.套用上面的求导公式