矩阵微积分

1.函数矩阵

定义

\(若矩阵A=(a_{ij})的所有元素a_{ij}均是变量t的函数，则A(t)是函数矩阵\)
\(A(t)=\begin{pmatrix} a_{11}(t) & a_{12}(t) & ... \\ ...\\ a_{n1}(t) & a_{n2}(t) & ... & a_{nn}(t)\\ \end{pmatrix}\)
\(变量t可是是实数，也可以是向量，甚至还可以是矩阵\)

极限

\(若所有元素a_{ij}(t)在t=t_0时，存在极限,即有\)

\[\lim\limits_{t\to t_0}a_{ij}(t)=a_{ij} \]

\(则称矩阵A(t)有极限,且极限值为A(常数矩阵)\)

\[\lim\limits_{t\to t_0}A(t)=A=\begin{pmatrix} a_{11} & a_{12} & ... \\ ...\\ a_{n1} & a_{n2} & ... & a_{nn}\\ \end{pmatrix}\]

求导

\(A(t_0)'=\frac{d A(t)}{dt}|_{t=t_0}=\begin{pmatrix} a_{11}^{'}(t_0) & a_{12}^{'}(t_0) & ... \\ ...\\ a_{n1}^{'}(t_0) & a_{n2}^{'}(t_0) & ... & a_{nn}^{'}(t_0)\\ \end{pmatrix}\)

\(A(t),B(t),f(x),A^{-1}(x)均可导的情况下\)

• \(\frac{d}{dt}(A(t)\pm B(t)) = A(t)^{'}\pm B(t)^{'}\)
• \(\frac{d}{dt}(k(t)A(t))=k(t)^{'}A(t)+k(t)A(t)^{'}\)
• \(\frac{d}{dt}(A(t)B(t))=A(t)^{'}B(t)+A(t)B(t)^{'}\)
• \(\frac{dA^{-1}(t)}{dt} = -A^{-1}(t)A'(t)A^{-1}(t)\)
• \(t=f(x)是x的实值函数,\frac{dA(t)}{dx}=\frac{dA(t)}{dt}f'(x)=f'(x)\frac{dA(t)}{dt}\)
  \(A任一常量方阵,注意A是方阵，是实值，不是函数矩阵\)
• \(\frac{d}{dt}e^{At}=Ae^{At}=e^{At}A,e^{At}表示矩阵的每个元素都做f(x)=e^x处理,x是矩阵At的每个元素\)
• \(\frac{d}{dt}\cos At=-A(\sin At)=-(\sin At)A\)
• \(\frac{d}{dt}\sin At=A(\cos At)=(\cos At)A\)

2.数量函数求导

2.1数量函数对于向量的求导

\(x=(x_1,x_2,...,x_n)^T,f(x)=f(x_1,x_2,....,x_n)是以向量x为自变量的数量函数\)
\(则\)

\[\frac{df}{dx}=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_n})^T \]

\(基本上是梯度的意思\)
\(\color{red}{注意布局:出来的导数形式和自变量向量x的形式一样}\)
\(若还有向量x的数量函数\)

\[h(x)=h(x_1,x_2,...,x_n) \]

\(则有\)

• \(\frac{d[f(x)\pm h(x)]}{dx}=\frac{d f(x)}{dx}\pm \frac{d h(x)}{dx}\)
• \(\frac{d[f(x) h(x)]}{dx}=\frac{d f(x)}{dx} h(x) + f(x)\frac{d h(x)}{dx}\)

2.2 数量函数对于矩阵的求导

\(设A\in R^{m\times n},f(A)为矩阵A的数量函数，则规定数量函数f(A)对于矩阵A的导数为\)

\[\frac{df}{dA}=\begin{pmatrix} \frac{\partial f}{\partial a_{11}} & ... & \frac{\partial f}{\partial a_{1n}} \\ ...\\ \frac{\partial f}{\partial a_{m1}} & ... & \frac{\partial f}{\partial a_{mn}}\\ \end{pmatrix}\]

\(\color{red}{注意布局:出来的导数形式和自变量矩阵A的形式一样}\)

3.矩阵函数求导

3.1矩阵函数对矩阵求导

\(设矩阵F是以A\in C^{m\times n}为自变量的p\times q矩阵,即\)

\[F(A)=\begin{pmatrix} f_{11}(A) & f_{12}(A) & ... & f_{1q}(A) \\ ...\\ f_{p1}(A) & f_{p2}(A) & ... & f_{pq}(A) \\ \end{pmatrix}_{p\times q}\]

\(其中，自变量是矩阵A=(a_{ij})_{m\times n}，则规定F(A)对于矩阵A的导数为\)

\[\frac{dF(A)}{dA}=\begin{pmatrix} \frac{\partial F}{\partial a_{11}} & \frac{\partial F}{\partial a_{12}} & ... & \frac{\partial F}{\partial a_{1n}} \\ ...\\ \frac{\partial F}{\partial a_{m1}} & \frac{\partial F}{\partial a_{m2}} & ... & \frac{\partial F}{\partial a_{mn}} \\ \end{pmatrix}_{m\times n}\]

\(其中矩阵中的每个元素又是一个矩阵\)

\[\frac{dF}{d a_{ij}}=\begin{pmatrix} \frac{\partial f_{11}}{\partial a_{ij}} & \frac{\partial f_{12}}{\partial a_{ij}} & ... & \frac{\partial f_{1q}}{\partial a_{ij}} \\ ...\\ \frac{\partial f_{p1}}{\partial a_{ij}} & \frac{\partial f_{p1}}{\partial a_{ij}} & ... & \frac{\partial f_{p1}}{\partial a_{ij}} \\ \end{pmatrix}_{p\times q}\]

\(\color{red}{注意布局:出来的导数形式和自变量矩阵A的形式一样,导数内的嵌套矩阵布局和矩阵F(A)布局一样}\)

3.2矩阵函数对向量求导

将向量视作矩阵，套入上面的公式

案例1

案例2

计算矩阵导数的思路

• 1.看目标变量，判断函数是普通函数还是函数矩阵(包括函数向量)
• 2.看自变量，判断自变量是一元变量还是，向量变量，还是矩阵变量
• 3.看自变量的格式，是行排列，还是列排列，决定求导后的布局，布局很重要
• 4.套用上面的求导公式