矩阵函数

前言

$在图像处理，模式识别中，常需要利用特定的线性变换将高维向量压缩成低维向量或者将低维向量还原为高维向量，并且使误差尽可能小，描述此类问题的数学模型时:相当于求以矩阵U为自变量的函数$

$$J(U)=||U\alpha -\beta||,其中U\in R^{m\times n},\alpha\in R^n,\beta\in R^m$$

$在约束条件U^TU=I,或者UU^T=I的最小值点.解决此类优化问题的一个可行办法就是求矩阵函数J(U)关于未知矩阵U的导数，这就是需要研究矩阵的微积分$

1.向量序列的极限

定义

$定义，设x^{(k)},x\in C^n,k=1,2,...,若$

$$||x^{(k)}-x||\to 0,k\to +\infty$$

$则称向量序列\{x^{(k)}\}收敛于向量x,或者说向量x是向量序列\{x^{(k)}\}当k\to +\infty时的极限,可记为$

$$\lim\limits_{k\to \infty}x^{(k)} =x$$

或

$$x^{(k)} \to x,k\to +\infty$$

性质

• $向量序列\{x^{(k)}\}收敛于x的充要条件是每一个坐标分量\{x_i^{(k)}\}收敛于x_i,即$

$$\lim\limits_{k\to +\infty}x_i^{(k)} =x_i,i=1,2,...,n$$

2.矩阵序列的极限

定义

$设有矩阵序列\{A^{(k)}\},其中A^{(k)}=(a_{ij}^{k})\in C^{n\times n},且当k\to \infty时,a_{ij}^{(k)}\to a_{ij},则称\{A^{(k)}\}收敛,并把矩阵A=(a_{ij})叫做\{A^{(k)}\}的极限$

$$\lim\limits_{k\to \infty}A^{(k)} =A,或,A^{(k)} \to A,k\to +\infty$$

性质

• $设\lim\limits_{k\to +\infty}A^{(k)}=A,\lim\limits_{k\to +\infty}B^{(k)}=B,则$

$$\lim\limits_{k\to +\infty}(aA^{(k)}+bB^{(k)})=aA+bB$$

• $设\lim\limits_{k\to +\infty}A^{(k)}=A,\lim\limits_{k\to +\infty}B^{(k)}=B,A^{(k)},B^{(k)}是方阵,同阶,则$

$$\lim\limits_{k\to +\infty}(A^{(k)}B^{(k)})=AB$$

• $设\lim\limits_{k\to +\infty}A^{(k)}=A,且A^{(k)}(k=1,2,...)均可逆,则\{(A^{(k)})^{-1}\}也收敛,且有$

$$\lim\limits_{k\to +\infty}(A^{(k)})^{-1}=A^{-1}$$

• $矩阵序列\{A^{(k)}\}，则\lim\limits_{k\to\infty}A^{(k)}的充要条件是矩阵A的所有特征值的模都小于1，即A的谱半径小于1$

$$\rho(A)<1$$

3.矩阵级数

定义

$设有矩阵序列$

$$A^{(1)},A^{(2)},...,A^{(k)},...$$

$其中A^{(k)}=(a_{ij}^{(k)})\in C^{n\times n},称无穷和$

$$A^{(0)}+A^{(1)}+A^{(2)}+...+A^{(k)}+...$$

$为矩阵级数,记为\sum\limits_{k=0}^{\infty}A^{(1)}$

性质

$矩阵级数\sum\limits_{k=0}^{+\infty}=A^{(0)}+A^{(1)}+...+A^{(k)}+...,其中A^{(k)}=(a_{ij}^{(k)})\in C^{n\times n},如果n个数项级数$

$$a_{ij}^{(0)}+a_{ij}^{(1)}+...+a_{ij}^{(k)}+...$$

$都绝对收敛，则称矩阵级数绝对收敛$

$补充一下，绝对收敛时指级数\sum u_i,收敛，并且\sum|u_i|也收敛$

• $矩阵级数\sum\limits_{k=0}^{\infty}A^{(k)}绝对收敛的充要条件是\sum\limits_{k=0}^{\infty}||A^{(k)}||=||A^0||+||A^{(1)}||+...+||A^{(k)}||+...收敛，其中||A^{(k)}||是A^{(k)}的任意一种范数$
• $设两个矩阵级数$

$$A^{(1)}+A^{(2)}+...+A^{(k)}+...,A^{(k)}\in C^{n\times n}$$

$$B^{(1)}+B^{(2)}+...+B^{(k)}+...,B^{(k)}\in C^{n\times n}$$

$都绝对收敛,其和分别为A,B,则将他们按项相乘后做成的矩阵级数$

$$A^{(1)}B^{(1)}+(A^{(1)}B^{(2)}+A^{(2)}B^{(1)})+...+(A^{(1)}B^{(k)}+A^{(2)}B^{(k-1)}+...+A^{(k)}B^{(1)})+...$$

$绝对收敛,且具有和AB$

• $设P,Q为n阶非奇异矩阵，若级数\sum\limits_{k=0}^{+\infty}A^{(k)}收敛(或绝对收敛),则矩阵级数\sum\limits_{k=0}^{+\infty}PA^{(k)}Q也收敛(或绝对收敛)$

幂级数

$形如$

$$c_0I+c_1A+c_2A^2+...+c_kA^k+....$$

$的级数称为矩阵幂级数,$

• $矩阵幂级数I+A+A^2+...+A^k+...绝对收敛的充要条件是A的谱半径\rho(A)<1，且该级数的和为(I-A)^{-1}$

4.矩阵函数

一些矩阵函数的定义

$$e^A=I+A+\frac{A^2}{2!}+...+\frac{A^k}{k!}+...$$

$$\sin\ A=A-\frac{A^3}{3!}+...+(-1)^{k-1}\frac{A^{2k-1}}{(2k-1)!}+...$$

$$\cos\ A=I-\frac{A^2}{2!}+...+(-1)^{k-1}\frac{A^{2k}}{(2k)!}+...$$

• $如果AB=BA$

$$e^A\cdot e^B=e^B\cdot e^A =e^{A+B}$$

• $对于任意方阵A,e^A总是可逆的,(e^A)^{-1}=e^{-A}$
• $(e^A)^{m}=e^{mA},m为整数$
• $\begin{cases} e^{iA}=\cos A+i\sin A\\ \cos A=\frac{1}{2}(e^{iA}+e^{-iA})\\ \sin A=\frac{1}{2i}(e^{iA}-e^{-iA}) \cos(-A)=\cos A\\ \sin(-A)=-\sin A\\ \end{cases}$
• $如果AB=BA,还有$
  $\begin{cases} \cos(A+B)=\cos A \cos B-\sin A\sin B\\ \cos 2A =\cos^2A-\sin^2 A\\ \sin(A+B)=\sin A\cos B+\cos A\sin B\\ \sin 2A=2\sin A\cos A \end{cases}$

矩阵函数的求法

• 先引入定理$设方阵A的n个特征值为\lambda_i(i=1,2,...,n),f(z)为一多项式函数,则多项式方阵函数f(A)的n个特征值为f(\lambda_i),(i=1,2,...,n)$

矩阵A非亏损的情况下

即A可以对角化
$存在非奇异矩阵C,使得$

$$C^{-1}AC=diag(\lambda_1,\lambda_2,...,\lambda_n)$$

于是有

$$C^{-1}A^mC=diag(\lambda_1^m,\lambda_2^m,...,\lambda_n^m)$$

$$C^{-1}f(A)C=diag(f(\lambda_1),f(\lambda_2),...,f(\lambda_n))$$

$若f(z)=\sum\limits_{k=0}^{+\infty}c_kz^k在整个复平面上收敛,则f(A)也收敛(矩阵论定理5.2.4)$

$$f(A)=C\cdot diag(f(\lambda_1),f(\lambda_2),...,f(\lambda_n))\cdot C^{-1}$$

矩阵亏损情况下

$显然这时候有若尔当标准型分解A=TJT^{-1}$
$定义矩阵函数为$

$$f(A)=T\cdot f(J) \cdot T^{-1}$$

$其中$

$$f(J)=diag(f(J_1(\lambda_1)),f(J_2(\lambda_2)),...,f(J_r(\lambda_r)))$$

$$f(J_i(\lambda_i))=\begin{pmatrix} f(\lambda_i) & f'(\lambda_i) & \frac{1}{2!}f''(\lambda_i) & ... & \frac{1}{(n_i-1)!}f^{(n_i-1)}(\lambda_i)\\ & f(\lambda_i) & f'(\lambda_i) & ... & \frac{1}{(n_i-2)!}f^{(n_i-2)}(\lambda_i) \\ & & & ... & ... \\ & & &...& f'(\lambda_i) \\ & & & & f(\lambda_i) \\ \end{pmatrix}$$

$要求矩阵函数\to 要求若尔当标准型 \to 要求初等因子$