矩阵分解与矩阵求导

基础

1. 向量运算：（模长 $|\mathit{x}|=\Vert \mathit{x}{\Vert }_2$）
   • 内积（inner product，数量积，点乘）：$\mathit{x}\cdot \mathit{y}=\sum _{i=1}^n{\mathit{x}}_i^{\ast }{\mathit{y}}_i={\mathit{x}}^{\mathrm{H}}\mathit{y}=|\mathit{x}||\mathit{y}|\cos \theta$（投影）
   • 外积（exterior product，向量积，叉乘）：$|\mathit{x}\times \mathit{y}|=|\mathit{x}||\mathit{y}|\sin \theta$（右手定则）
   • 外积（outer product）：$\mathit{x}\circ \mathit{y}=\mathit{x}{\mathit{y}}^{\mathrm{H}}=\mathit{x}\otimes {\mathit{y}}^{\mathrm{H}}$
2. 矩阵运算：（$A=({\mathit{c}}_1,\cdots ,{\mathit{c}}_m)={({\mathit{r}}_1,\cdots ,{\mathit{r}}_n)}^{\mathrm{\top }}\in {\mathbb{C}}^{n\times m}$）
   • 乘积：${\left(AB\right)}_{ij}=\sum _{k=1}^m{a}_{ik}{b}_{kj}$
     • 左乘变行 ${\mathit{x}}^{\mathrm{\top }}A={\mathit{x}}^{\mathrm{\top }}{({\mathit{r}}_1,\cdots ,{\mathit{r}}_n)}^{\mathrm{\top }}=\sum _{k=1}^n{x}_i{\mathit{r}}_i^{\mathrm{\top }}={\mathit{x}}^{\mathrm{\top }}({\mathit{c}}_1,\cdots ,{\mathit{c}}_m)=({\mathit{x}}^{\mathrm{\top }}{\mathit{c}}_1,\cdots ,{\mathit{x}}^{\mathrm{\top }}{\mathit{c}}_m)$
     • 右乘变列 $A\mathit{x}=({\mathit{c}}_1,\cdots ,{\mathit{c}}_m)\mathit{x}=\sum _{k=1}^m{x}_i{\mathit{c}}_i={({\mathit{r}}_1,\cdots ,{\mathit{r}}_n)}^{\mathrm{\top }}\mathit{x}={({\mathit{r}}_1^{\mathrm{\top }}\mathit{x},\cdots ,{\mathit{r}}_n^{\mathrm{\top }}\mathit{x})}^{\mathrm{\top }}$
   • Hadamard 积（逐分量积，Schur 积）：${(A\odot B)}_{ij}=a_{ij}{b}_{ij}$
     • $\left(\mathit{x}{\mathit{x}}^{\mathrm{H}}\right)\circ \left(\mathit{y}{\mathit{y}}^{\mathrm{H}}\right)=(\mathit{x}\circ \mathit{y}){(\mathit{x}\circ \mathit{y})}^{\mathrm{H}}$
     • ${\mathit{x}}^{\ast }(\mathit{y}\circ \mathit{z})={(\mathit{x}\circ {\mathit{y}}^{\ast })}^{\mathrm{H}}\mathit{z}$
   • 内积（inner product，数量积，点乘）：$⟨A,B⟩=A\cdot B=\sum _{i=1}^n\sum _{j=1}^m{a}_{ij}^{\ast }{b}_{ij}=\mathrm{tr}\left(A^{\mathrm{H}}B\right)$
     • $⟨A,B⟩⩽\Vert A{\Vert }_p\Vert B{\Vert }_q$
   • Kronecker 积（直积，圈乘）：$A\otimes B=\left(\begin{array}{ccc}{a}_{11}B& \cdots & a_{1m}B\\ ⋮& \ddots & ⋮\\ a_{n1}B& \cdots & a_{nm}B\end{array}\right)$
     • ${(A\otimes B)}^{\mathrm{H}}=A^{\mathrm{H}}\otimes B^{\mathrm{H}},{(A\otimes B)}^{-}=A^{-}\otimes B^{-}$
     • $\mathrm{rank}(A\otimes B)=\mathrm{rank}\left(A\right)\mathrm{rank}\left(B\right),\mathrm{tr}(A\otimes B)=\mathrm{tr}\left(A\right)\mathrm{tr}\left(B\right)$
     • $\left(AB\right)\otimes \left(CD\right)=(A\otimes C)(B\otimes D)$
     • 设 $A\in {\mathbb{C}}^{n\times n}$ 的特征值和特征向量分别为 ${\lambda }_i,{\mathit{u}}_i$，$B\in {\mathbb{C}}^{n\times n}$ 的特征值和特征向量分别为 ${\mu }_i,{\mathit{v}}_i$，那么 $A\otimes B$ 的特征值为 ${\lambda }_i{\mu }_j$，特征向量为 ${\mathit{u}}_i\otimes {\mathit{v}}_j$（$1⩽i,j⩽n$）。
   • 向量化（vectorization，列堆栈）：$\mathrm{vec}\left(A\right)=[{\mathit{c}}_1^{\mathrm{\top }},\cdots ,{\mathit{c}}_m^{\mathrm{\top }}{]}^{\mathrm{\top }}$
     • $\mathrm{tr}\left(A^{\mathrm{H}}B\right)={\left(\mathrm{vec}\left(A\right)\right)}^{\mathrm{H}}\left(\mathrm{vec}\left(B\right)\right)$
     • $\mathrm{vec}\left(A^{\mathrm{\top }}\right)=K_{nm}\mathrm{vec}\left(A\right)$
     • $K_{nm}=\sum _{j=1}^m(e_i^{\mathrm{\top }}\otimes I_n\otimes e_i)=K_{mn}^{-1}=K_{mn}^{\mathrm{\top }}$
     • $K_{pn}(A_{n\times m}\otimes B_{p\times q})K_{mq}=B\otimes A$
     • $\mathrm{vec}\left(ABC\right)=(C^{\mathrm{\top }}\otimes A)\mathrm{vec}\left(B\right)$
3. 范数：非负性，绝对（模）齐次性，次可加性（三角不等式）；
   • 复数模的推广，$a⩽|z|=\sqrt{a^2+b^2}=\sqrt{z^{\ast }z},z=a+b\mathrm{i}$
   • 有限维赋范线性空间范数等价（诱导相同的拓扑）
   • 向量范数 $\mathit{x}\in {\mathbb{C}}^n$：（$\Vert \mathit{x}{\Vert }_p=\sqrt[p]{\sum _{i=1}^n|x_i{|}^p}$）
     • $1⩽p⩽+\mathrm{\infty }$ 时为范数
     • $\Vert \mathit{x}{\Vert }_1=\sum _{i=1}^n|x_i|$（曼哈顿距离）
     • $\Vert \mathit{x}{\Vert }_2=\sqrt{{\mathit{x}}^{\mathrm{H}}\mathit{x}}=\sqrt{\sum _{i=1}^n|x_i{|}^2}$（欧氏距离）
     • $\Vert \mathit{x}{\Vert }_{\mathrm{\infty }}={\displaystyle \underset{1⩽i⩽n}{max}|x_i|}$（切比雪夫距离 ）
     • 
     • $1⩽p<q⩽+\mathrm{\infty }:n^{1/q-1/p}\Vert \mathit{x}{\Vert }_p⩽\Vert \mathit{x}{\Vert }_q⩽\Vert \mathit{x}{\Vert }_p$
   • 矩阵范数 $A\in {\mathbb{C}}^{n\times m}$：（相容性/次可乘性：$\Vert AB\Vert ⩽\Vert A\Vert \Vert B\Vert$）
     • 逐元素（entrywise）范数 $\Vert A{\Vert }_{l_p}=\sqrt[p]{\sum _{i=1}^n\sum _{j=1}^m|a_{ij}{|}^p}$（列堆栈后向量范数）
       • ${\ell }_1$ 范数 $\Vert A{\Vert }_{{\ell }_1}=\sum _{i=1}^n\sum _{j=1}^m|a_{ij}|$
       • F 范数 $\Vert A{\Vert }_{{\ell }_2}=\Vert A{\Vert }_F=\sqrt{\mathrm{tr}\left(A^{\mathrm{H}}A\right)}=\sqrt{\sum _{i=1}^n\sum _{j=1}^m|a_{ij}{|}^2}$
       • ${\ell }_{\mathrm{\infty }}$ 范数 $\Vert A{\Vert }_{{\ell }_{\mathrm{\infty }}}={\displaystyle \underset{1⩽i⩽n,1⩽j⩽m}{max}|a_{ij}|}$（其 $m$ 倍相容）
     • 算子（operator）范数 $\Vert A{\Vert }_{a,b}={\displaystyle \underset{\Vert \mathit{x}{\Vert }_a⩽1}{max}\Vert A\mathit{x}{\Vert }_b}$（由向量范数诱导的从属范数，作为线性变换作用到单位向量上的最大拉伸倍数）
       • 最大绝对列和范数 $\Vert A{\Vert }_1={\displaystyle \underset{1⩽j⩽m}{max}\sum _{i=1}^n|a_{ij}|}$
       • 谱范数（2 范数） $\Vert A{\Vert }_2=\sqrt{{\lambda }_{max}\left(A^{\mathrm{H}}A\right)}={\sigma }_{max}\left(A\right)$
       • 最大绝对行和范数 $\Vert A{\Vert }_{\mathrm{\infty }}={\displaystyle \underset{1⩽i⩽n}{max}\sum _{j=1}^m|a_{ij}|}$
     • Schatten 范数 $\Vert A{\Vert }_{s_p}=\sqrt[p]{\sum _{i=1}^r{\sigma }_i^p\left(A\right)}$（由矩阵奇异值定义的范数，酉不变）
       • 核范数 $\Vert A{\Vert }_{s_1}=\Vert A{\Vert }_{\ast }=\mathrm{tr}\left(\sqrt{A^{\mathrm{H}}A}\right)=\sum _{i=1}^r{\sigma }_i\left(A\right)$（矩阵秩的凸包络，即最佳凸逼近 / 凸松弛）
       • $s_2$ 范数 $\Vert A{\Vert }_{s_2}=\Vert A{\Vert }_F=\sqrt{\sum _{i=1}^r{\sigma }_i{\left(A\right)}^2}$（自对偶）
       • $s_{\mathrm{\infty }}$ 范数 $\Vert A{\Vert }_{s_{\mathrm{\infty }}}=\Vert A{\Vert }_2$（与核范数互为对偶范数）
   • 矩阵范数不等式：
     • $1⩽p<q⩽\mathrm{\infty }:m^{\frac{1}{q}-\frac{1}{p}}\Vert A{\Vert }_q⩽\Vert A{\Vert }_p⩽n^{\frac{1}{p}-\frac{1}{q}}\Vert A{\Vert }_q$
     • $\Vert A{\Vert }_2⩽\Vert A{\Vert }_F⩽\sqrt{min\{m,n\}}\Vert A{\Vert }_2$
4. 矩阵 $A\in {\mathbb{C}}^{n\times n}$ 的性能指标
   • 二次型 ${\mathit{x}}^{H}A\mathit{x}\to$ （半）正定性
     • 每个二次型对应唯一的 Hermite 矩阵以及该矩阵的合同等价类
   • 行列式 $det(A)=|A|={\displaystyle \prod _{1⩽i⩽n}{\lambda }_i\left(A\right)\to }$ 奇异性
     • 行列式是矩阵行（列）向量组构成的平行多面体的有向体积，是矩阵作为线性变换对有向体积拉伸倍数
     • 余子式 $M_{ij}$，代数余子式 $A_{ij}={(-1)}^{i+j}{M}_{ij}$
     • 矩阵行列式等于其任意行（列）的元素与相对应的代数余子式乘积之和
     • $det(AB)=det(A)det(B)$
   • 迹 $\mathrm{tr}(A)={\displaystyle \sum _{1⩽i⩽n}{a}_{ii}={\displaystyle \sum _{1⩽i⩽n}{\lambda }_i\left(A\right)}}$
     • $\mathrm{tr}(AB)=\mathrm{tr}(BA)$
   • 秩 $\mathrm{rank}(A)=\mathrm{♯}({\lambda }_i\left(A\right)\ne 0)$（非零特征值的代数重数）
5. 矩阵 $A,B\in {\mathbb{C}}^{n\times n}$ 的等价关系
   • 相抵：$B=PAQ$，其中 $P,Q$ 可逆 $⟺$ 秩相同
   • 相似：$B=P^{-1}AP$ $⟺$ Jordan 标准型相同
     • 同一个线性变换在不同基下的对应矩阵
   • 合同：$B=P^{\mathrm{H}}AP$ $⟺$ 正负惯性指数相同
     • 同一个二次型（双线性型）在不同基下的对应矩阵
6. 对于方阵 $A\in {\mathbb{C}}^{n\times n}$，谱半径定义为 $\rho \left(A\right)={\displaystyle \underset{1⩽i⩽n}{max}|{\lambda }_i\left(A\right)|}$；
   • 对于任意相容范数 $\Vert \cdot \Vert$，均成立 $\rho \left(A\right)⩽\Vert A\Vert$
   • 对于任意 $\epsilon >0$，总存在一个相容范数 $\Vert \cdot \Vert$ 使得 $\Vert A\Vert <\rho \left(A\right)+\epsilon$，即 $\rho \left(A\right)={\displaystyle \underset{\Vert \cdot \Vert \text{为相容范数}}{inf}\Vert A\Vert }$
   • $\rho \left(A\right)={\displaystyle \underset{k\to +\mathrm{\infty }}{lim}\Vert A^k{\Vert }^{\frac{1}{k}}}$
   • $\rho \left(A\right)<1⟺\sum _{k=0}^{\mathrm{\infty }}{A}^k$ 收敛；收敛时极限为 ${(I-A)}^{-1}$
7. 对于方阵 $A\in {\mathbb{C}}^{n\times n}$，条件数定义为 $\kappa \left(A\right)=\Vert A\Vert \Vert A^{-1}\Vert$，表征矩阵 $A$ 对向量的拉伸能力和缩放能力；
   • 条件数刻画了求解线性方程组 $A\mathit{x}=\mathit{b}$ 时，误差经过矩阵 $A$ 的传播扩大为解向量的误差的程度，是衡量线性方程组数值稳定性的重要指标
   • 取 $\Vert \cdot \Vert =\Vert \cdot {\Vert }_2$，$\kappa \left(A\right)={\sigma }_{max}\left(A\right)/{\sigma }_{min}\left(A\right)$
   • $A(\mathit{x}+\mathrm{\Delta }\mathit{x})=\mathit{b}+\mathrm{\Delta }\mathit{b}⟹\frac{1}{\kappa \left(A\right)}\frac{\Vert \mathrm{\Delta }\mathit{b}\Vert }{\Vert \mathit{b}\Vert }⩽\frac{\Vert \mathrm{\Delta }\mathit{x}\Vert }{\Vert \mathit{x}\Vert }⩽\kappa \left(A\right)\frac{\Vert \mathrm{\Delta }\mathit{b}\Vert }{\Vert \mathit{b}\Vert }$
   • $(A+\mathrm{\Delta }A)(\mathit{x}+\mathrm{\Delta }\mathit{x})=\mathit{b}⟹\frac{\Vert \mathrm{\Delta }\mathit{x}\Vert }{\Vert \mathit{x}+\mathrm{\Delta }\mathit{x}\Vert }⩽\kappa \left(A\right)\frac{\Vert \mathrm{\Delta }A\Vert }{\Vert A\Vert }$
8. von Neumann 定理：设 $A,B\in {\mathbb{C}}^{m\times n}$ 分别有奇异值 ${\alpha }_1⩾\cdots ⩾{\alpha }_n⩾0$ 和 ${\beta }_1⩾\cdots ⩾{\beta }_n⩾0$，那么 ${\displaystyle \underset{U\in {\mathcal{U}}_m,V\in {\mathcal{U}}_n}{max}\mathrm{Re}\mathrm{tr}(UAV{B}^{\mathrm{H}})=\sum _{i=1}^n{\alpha }_i{\beta }_i.}$
   • 酉变换：旋转、反射和相位变换的组合
   • $A\in {\mathbb{C}}^{n\times n}$ 为酉矩阵 $⟺A$ 正规且 $|\lambda (A)|=1$
   • 酉矩阵 $W\in {\mathcal{U}}_n$ 的列（行）向量标准正交，进而 $|w_{ii}|⩽1$
   • $\mathrm{\forall }W\in {\mathcal{U}}_n,\mathrm{Re}\mathrm{tr}(WA)⩽\mathrm{Re}\mathrm{tr}(A)⟺A⪰\mathbf{0}$
     • 矩阵经酉变换后迹的实部只减不增当且仅当半正定
   • 序列重排不等式：逆序和 $⩽$ 乱序和 $⩽$ 顺序和
9. 矩阵打洞技巧（分块初等变换）
   • $\left(\begin{array}{cc}I& O\\ -V{A}^{-1}& I\end{array}\right)\left(\begin{array}{cc}A& U\\ V& C\end{array}\right)\left(\begin{array}{cc}I& -A^{-1}U\\ O& I\end{array}\right)=\left(\begin{array}{cc}A& O\\ O& A/A\end{array}\right)$
   • Schur 补：$A/A=C-V{A}^{-1}U$
10. S-procedure（利用优化对偶理论）；
11. SMW 公式：${(A+UCV)}^{-1}=A^{-1}-A^{-1}U(C^{-1}+V{A}^{-1}U)V{A}^{-1}$；
    • 

矩阵分解

矩阵的满秩分解

• 对于 $A\in {\mathbb{C}}_r^{n\times m}$，使用$\mathrm{初}\mathrm{等}\mathrm{行}\mathrm{变}\mathrm{换}$可以分解为列满秩矩阵 $F\in {\mathbb{C}}_r^{n\times r}$ 和行满秩矩阵 $G\in {\mathbb{C}}_r^{r\times m}$ 的乘积，即 $A=FG$；
  • 满秩分解一定存在但不唯一，因为 $A=(FD)(D^{-1}G)$，其中 $D\in {\mathbb{C}}_r^{r\times r}$。
  • 相抵标准形：取 $P=(F,F^{\prime })\in {\mathbb{C}}_n^{n\times n},Q=\left(\begin{array}{c}G\\ G^{\prime }\end{array}\right)\in {\mathbb{C}}_m^{m\times m}$，则 $A=P\left(\begin{array}{cc}{I}_r& \mathbf{0}\\ \mathbf{0}& \mathbf{0}\end{array}\right)Q$。
  • 算法：经初等行变换化 $A$ 为（简化）行阶梯形矩阵
• 应用：计算广义逆，解线性方程组

矩阵的三角分解

• LU（Doolittle）分解：对于 $A\in {\mathbb{C}}_r^{n\times m}$，使用$\mathrm{初}\mathrm{等}\mathrm{行}\mathrm{变}\mathrm{换}$将矩阵 $A$ 分解为单位下三角形矩阵 $L\in {\mathbb{C}}_n^{n\times n}$ 和上三角形矩阵 $U\in {\mathbb{C}}_r^{n\times m}$ 的乘积，即 $A=LU$；
  • 设 $A\in {\mathbb{C}}_r^{n\times m}$，则存在行置换阵 $P\in {\mathbb{C}}_n^{n\times n}$（左）和列置换阵 $Q\in {\mathbb{C}}_m^{m\times m}$（右）使得 $PAQ=LU=\left(\begin{array}{cc}{L}_r& \mathbf{0}\\ C_3& L_4\end{array}\right)\left(\begin{array}{cc}{U}_r& U_{r}B\\ \mathbf{0}& \mathbf{0}\end{array}\right)=\left(\begin{array}{c}{L}_r\\ C_3\end{array}\right)\left(\begin{array}{cc}{U}_r& U_{r}B\end{array}\right)$。
  • 设 $A\in {\mathbb{C}}_r^{n\times m}$，如果矩阵 $A$ 的前 $r$ 阶顺序主子式 $d_k\ne 0,k=1,2,\cdots ,r$，那么存在 LU 分解 $A=LU=\left(\begin{array}{cc}{L}_r& \mathbf{0}\\ C_3& L_4\end{array}\right)\left(\begin{array}{cc}{U}_r& U_{r}B\\ \mathbf{0}& \mathbf{0}\end{array}\right)=\left(\begin{array}{c}{L}_r\\ C_3\end{array}\right)\left(\begin{array}{cc}{U}_r& U_{r}B\end{array}\right)$（不一定唯一）。
  • 设 $A\in {\mathbb{C}}^{n\times n}$，那么 $A$ 的 LU 分解存在且唯一 $⟺$ 其前 $n-1$ 阶顺序主子式 $d_k\ne 0,k=1,2,\cdots ,n-1$。
  • 设 $A\in {\mathbb{C}}_n^{n\times n}$，则存在行置换阵 $P\in {\mathbb{C}}_n^{n\times n}$，使得 $PA=LU$。
  • 算法：Gauss 消去法（经初等行变换化 $A$ 为行阶梯形矩阵），（选主元）直接递推法
• LDU* 分解：将上三角形矩阵 $U$ 分解为对角矩阵 $D\in {\mathbb{C}}_r^{n\times n}$ 和单位上三角形矩阵 $U^{\ast }\in {\mathbb{C}}_r^{n\times m}$ 的乘积，即 $A=LU=LD{U}^{\ast }$；
  • 块 LDU 分解：
  $$\begin{array}{rl}\left(\begin{array}{cc}A& B\\ C& D\end{array}\right)& =\left(\begin{array}{cc}I& \mathbf{0}\\ C{A}^{-1}& I\end{array}\right)\left(\begin{array}{cc}A& \mathbf{0}\\ \mathbf{0}& D-C{A}^{-1}B\end{array}\right)\left(\begin{array}{cc}I& A^{-1}B\\ \mathbf{0}& I\end{array}\right)\end{array}$$

• L*U*（Crout）分解：记 $L^{\ast }=LD$，有分解 $A=LD{U}^{\ast }=L^{\ast }{U}^{\ast }$；
• Cholesky 分解（Hermite 三角分解）：对于 $A\in {\mathcal{H}}_{++}^n$，有唯一的 LU 分解 $A=LD{U}^{\ast }$，由于 $A^{\mathrm{H}}=(LD{U}^{\ast }{)}^{\mathrm{H}}=(U^{\ast }{)}^{\mathrm{H}}D{L}^{\mathrm{H}}=A=LD{U}^{\ast }$ ，有 $U^{\ast }=L^{\mathrm{H}}$，进而有 $A=LD{L}^{\mathrm{H}}=L{D}^{1/2}{D}^{1/2}{L}^{\mathrm{H}}\triangleq T{T}^{\mathrm{H}}$，其中 $T=L{D}^{1/2}$ 为下三角形矩阵。
  • 设 $A\in {\mathcal{H}}_{++}^n$，如果规定下三角形矩阵的对角元素均取正，那么 Cholesky 分解存在且唯一。
  • 设 $A\in {\mathcal{H}}_{+}^n$，如果允许下三角形矩阵的对角元素取零，那么 Cholesky 分解存在。
  • 算法：直接递推算法，顺序 Cholesky 分解算法（平方根分解算法）
• 应用：行列式计算，回代法解线性方程组

矩阵的酉三角分解

• QR 分解：对于 $A\in {\mathbb{C}}_r^{n\times m}$，使用$\mathrm{酉}\mathrm{变}\mathrm{换}$将矩阵 $A$ 分解为酉矩阵 $Q\in {\mathbb{C}}_r^{n\times n}$ 和上三角形矩阵 $R\in {\mathbb{C}}_r^{n\times m}$ 的乘积，即 $A=QR$；
  • 设 $A\in {\mathbb{C}}_r^{n\times m}$，则存在列置换阵 $P\in {\mathbb{C}}_n^{n\times n}$ 使得 $AP=QR=\left(\begin{array}{cc}{Q}_r& Q_2\\ Q_3& Q_4\end{array}\right)\left(\begin{array}{cc}{R}_r& R_{r}B\\ \mathbf{0}& \mathbf{0}\end{array}\right)==\left(\begin{array}{c}{Q}_r\\ Q_3\end{array}\right)\left(\begin{array}{cc}{R}_r& R_{r}B\end{array}\right)$。
  • 设 $A\in {\mathbb{C}}_m^{n\times m}$（$m⩽n$），则 $A$ 可以分解为 $A=QR$，其中 $Q$ 为 $n\times m$ 阶列正交矩阵（即 $Q^{\mathrm{H}}Q=I_m$），$R$ 为 $m$ 阶上三角形矩阵；如果规定 $R$ 的对角元素取正，那么分解式唯一。
  • 算法：Householder 变换法，Givens 变换法，Gram-Schmidt 正交化方法，修正的 Gram-Schmidt 正交化算法（MGS 算法）
• 应用：行列式计算，回代法解线性方程

基于特征值（奇异值）的分解

• Jordan 分解：对于 $A\in {\mathbb{C}}_r^{n\times n}$，使用$\mathrm{相}\mathrm{似}\mathrm{变}\mathrm{换}$将矩阵 $A$ 分解为非奇异矩阵 $P\in {\mathbb{C}}_n^{n\times n}$、Jordan 标准形 $J\in {\mathbb{C}}_r^{n\times n}$ 和 $P$ 的逆矩阵的乘积，即 $A=PJ{P}^{-1}$，其中 $J=\begin{pmatrix}J

\end{pmatrix}$ 为特征值 ${\lambda }_i$ 对应的特征向量；

• Schur 分解：对于 $A\in {\mathbb{C}}_r^{n\times n}$，使用$\mathrm{相}\mathrm{似}\mathrm{变}\mathrm{换}$将矩阵 $A$ 分解为非奇异矩阵 $P\in {\mathbb{C}}_n^{n\times n}$、Jordan 标准形 $J\in {\mathbb{C}}_r^{n\times n}$ 和 $P$ 的逆矩阵的乘积，即 $A=PJ{P}^{-1}$，其中 $J=\begin{pmatrix}J

\end{pmatrix}$ 为特征值 ${\lambda }_i$ 对应的特征向量；

• 特征值分解：对于可相似对角化矩阵 $A\in {\mathbb{C}}_r^{n\times n}$，使用$\mathrm{相}\mathrm{似}\mathrm{变}\mathrm{换}$将矩阵 $A$ 分解为非奇异矩阵 $P\in {\mathbb{C}}_n^{n\times n}$、对角矩阵 $\mathrm{\Lambda }\in {\mathbb{C}}_r^{n\times n}$ 和 $P$ 的逆矩阵的乘积，即 $A=P\mathrm{\Lambda }{P}^{-1}$，其中 $P=({\mathit{u}}_1,\cdots ,{\mathit{u}}_n)$，${\mathit{u}}_i$ 为特征值 ${\lambda }_i$ 对应的特征向量；
  • 设可相似对角化的矩阵 $A\in {\mathbb{C}}_r^{n\times n}$ 有 $s$ 个相异的特征值，那么谱分解 $A=\sum _{i=1}^s{\lambda }_i{E}_i$ 存在且唯一，其中 $E_1,\cdots ,E_s$ 称为 $A$ 的谱族，其满足如下条件:
    • $E_i{E}_j={\delta }_{ij}{E}_i$（$s$ 个互补的特征子空间的投影矩阵）
    • $\sum _{i=1}^s{E}_i=I_n$
    • $E_{i}A=A{E}_i={\lambda }_i{E}_i$
    • $\mathrm{rank}{E}_i=m_i$（代数重数）
  • 对于正规矩阵的酉相似特征值分解 $A=U\mathrm{\Lambda }{U}^{\mathrm{H}}$，如果规定 $\mathrm{\Lambda }$ 中特征值按顺序排列，那么分解式的不唯一性来自于各特征值对应的特征向量取法，对于 $m_i$ 重特征值 ${\lambda }_i$，其特征向量集 $U_i$ 可取为 $({\mathit{u}}_1^i,\cdots ,{\mathit{u}}_{m_i}^i)Q_{m_i}$，其中 $Q_{m_i}\in {\mathbb{C}}_{m_i}^{m_i\times m_i}$ 为酉矩阵。
  • $A\in {\mathbb{C}}_r^{n\times n}$ 的特征值分解存在（可相似对角化）$⟺A$ 有 $n$ 个线性无关的特征向量
  • $A\in {\mathbb{C}}_r^{n\times n}$ 可酉相似对角化（即 $P$ 可取为酉矩阵）$⟺A$ 为正规矩阵
    • $A$ 为 Hermite 矩阵 $⟺A$ 正规且 $\mathit{\lambda }(A)\subseteq \mathbb{R}$
  • $A\in {\mathbb{R}}_r^{n\times n}$ 可正交相似对角化（即 $P$ 可取为正交矩阵）$⟺A$ 为实对称矩阵
  • 可相似对角化的同阶方阵 $A,B$ 可同时相似对角化$⟺AB=BA$；实对称矩阵 $A,B$ 可同时正交相似对角化$⟺AB=BA$
  • 对于可相似对角化且特征值全为正值的矩阵的平方根矩阵，有 $(\mathit{P}\mathit{D}{\mathit{P}}^{-1}{)}^{\frac{1}{2}}=\mathit{P}{\mathit{D}}^{\frac{1}{2}}{\mathit{P}}^{-1}$
  • 算法：Jacobi 算法，循环 Jacobi 算法，变限值循环 Jacobi 算法（过关 Jacobi 算法），QR 算法
• 奇异值分解：对于 $A\in {\mathbb{C}}_r^{n\times m}$，使用$\mathrm{酉}\mathrm{变}\mathrm{换}$将矩阵 $A$ 分解为酉矩阵 $U\in {\mathbb{C}}_n^{n\times n}$、对角矩阵 $\mathrm{\Sigma }\in {\mathbb{C}}_r^{n\times n}$ 和 酉矩阵 $V\in {\mathbb{C}}_n^{n\times n}$ 的乘积，即 $A=U\mathrm{\Sigma }{V}^{\mathrm{H}}=\sum _{i=1}^r{\sigma }_i{\mathit{u}}_i{\mathit{v}}_i^{\mathrm{H}}$，其中 ${\mathit{u}}_i,{\mathit{v}}_i$ 为奇异值 ${\sigma }_i$ （矩阵 $A{A}^{\mathrm{H}},A^{\mathrm{H}}A$ 的特征值 ${\lambda }_i$ 的算术平方根，即 $\sqrt{{\lambda }_i}$）对应的左、右奇异向量（矩阵 $A{A}^{\mathrm{H}},A^{\mathrm{H}}A$ 的特征向量）；
  • 如果规定 $\mathrm{\Sigma }$ 中奇异值按顺序排列，那么分解式的不唯一性来自于各奇异值对应的左右奇异向量取法，即 $A=\sum _{i=1}^s{\sigma }_i{U}_i{Q}_{m_i}(V_i{Q}_{m_i}{)}^{\mathrm{H}}$，其中 $s$ 为相异奇异值的个数，$Q_{m_i}\in {\mathbb{C}}_{m_i}^{m_i\times m_i}$ 为酉矩阵。
  • 算法：特征值分解法，经 Householder 变换化 $A$ 为双对角形后进行奇异值分解
  • 应用：计算广义逆（解线性方程组），计算矩阵幂级数，主成分分析

矩阵求导