北航研究生《矩阵理论》期末复习整理与2024考题记录

课件

线性空间

定义：交换律+结合律+零元素+负元素
特殊的矩阵：
- 对称矩阵： $A=A^T$
- 正交矩阵： $AA^T=I$
- Hermite矩阵： $A^H=A$ ，对角元素为实数，特征值为实数
- 反(斜)Hermite矩阵： $A^H=-A$ ，对角元素为纯虚数，特征值为纯虚数或者0
- 酉矩阵： $A^HA=I$ ，酉相似 $U^H A U = B$ ，酉相抵 $U A V = B$
- 奇异矩阵： $|A|=0$ 没有逆矩阵
- 正定矩阵： $x^T A x > 0$ 对非零向量x恒成立
- 正规矩阵： $A^HA=AA^H$ ，(反)实对阵阵、(反)Hermite阵、正交矩阵、酉矩阵都是正规矩阵，正规三角矩阵是对角矩阵
- 单纯矩阵：可对角化 $P^{-1}AP=D$ ，其中 $P=(z_1,\dots,z_n)$ 为标准正交基组成
过渡矩阵：基 $\alpha=(\alpha_1,\dots,\alpha_n)$ 到基 $\beta=(\beta_1,\dots,\beta_n)$ 的过渡矩阵 $A$ 满足 $\beta = \alpha A$

计算： $[\alpha | \beta]$ 初等行变换到 $[I | A]$ ，原理 $P\alpha=I,~P\beta=P\alpha A=A$
核空间： $N(A) = \{x\in \mathbb{C}^n | Ax=0\}, ~A \in \mathbb{C}^{m \times n}$

像空间（列空间）： $R(A) = span(a_1, \dots, a_n)=\{ A\mathbf{x} \mid \mathbf{x} \in \mathbb{R}^n \}$ ，有 $R(A)\subseteq \mathbb{R}^m,~dim(R(A))=rank(A)=dim(R(A^T))$

行空间（ $A^T$ 的值域）： $R(A^T) = \{ A^T \mathbf{x} \mid \mathbf{x} \in \mathbb{R}^m \} \subseteq \mathbb{R}^n$

线性映射：零度（亏）为 $dimN(T)$ ，秩为 $dimR(T)$

亏加秩定理： $dimN(T) + dimR(T) = dimV, ~T\in L(V,W)$ ，即为定义域维数
子空间：

$dim(W_1 + W_2) = dimW_1 + dimW_2 - dim(W_1 \cap W_2)$

直和：当 $W_1 \cap W_2 = \{0\}$ 时， $W_1 + W_2$ 是直和 $W_1 \oplus W_2$
线性映射： $T(u_1,\dots,u_n) = (Tu_1,\dots, Tu_n) = (v_1,\dots,v_m) A$ ，矩阵 $A=(a_{ij})_{m \times n}$ 为线性映射T在两组基下的矩阵表示

同构：双射+保持线性运算， $V \cong W$

相似：T在不同基下的矩阵相似，即存在可逆矩阵C是的 $B=C^{-1}AC$ ，相似矩阵的迹相同
特征值： $Tx=\lambda x$ ，特征多项式 $f(\lambda) = |A-\lambda I|=0$ ， $f(A)=0$

性质：行列式 $|A|=det(A)=\prod \lambda_i$ ，迹 $tr(A)=\sum \lambda_i$

对应特征子空间 $E(\lambda)$ ，几何重数 $dimE(\lambda)=n-r(\lambda I-A)$ ，代数重数是 $f(\lambda)=0$ 重根数 $d_i$

Schur引理：满秩阵P使 $P^{-1}AP$ 为上三角阵，对角为A全部特征值，推论为多项式 $\varphi(x)$ 的特征值为 $\varphi(\lambda)$

最小多项式：使A零化的最小次数的首1多项式 $m_A(\lambda) = f(\lambda)$
不变子空间： $\forall x \in W, ~T(x) \in W$

V和零空间是平凡不变子空间， $N(T), R(T), E(\lambda)$ 都是T的不变子空间

$V=W_1 \oplus \cdots \oplus W_s \Leftrightarrow A = diag\{A_1,\cdots,A_s\}$ ，其中W是T的不变子空间，A是T在某组基下的矩阵， $A_i$ 是 $T|_{W_i}$ 在对应基下的矩阵
可对角化：

等价于：
- n个线性无关的特征向量
- $\sum dimE(\lambda_i)=n$
- 代数重数=几何重数
- $m_A(\lambda)$ 无重根
- $\lambda I - A$ 的初等因子为一次的
对角化 $P^{-1}AP=D,~P=(x_1,\dots,x_n)$
$A(\lambda)$ 中不等于零的子式的最高阶数r为A的秩（？）

初等变换（行列交换，数乘，乘多项式相加）

初等变换等价 $A(\lambda) \cong B(\lambda)$ <=> 秩相同+有完全一致的初等因子

Smith标准形： $A \cong S$

左上角是 $diag\{d_1(\lambda),\dots,d_r(\lambda)\}$ ，首一多项式 $d_i(\lambda) | d_{i+1}(\lambda)$ ，称 $d_i(\lambda)$ 为不变因子，指数大于零称为初等因子

求解流程：A初等变换成对角阵，获取初等因子，降幂排列每列相乘获得不变因子

当Smith标准形为对角阵(r=n)时， $m_A(\lambda) = d_n(\lambda)$

Jordan标准形： $A\sim J$

$J=\begin{pmatrix} J_1 & & \\ & J_2 & \\ & & \ddots & \\ & & & J_m \end{pmatrix},~ J_i = \begin{pmatrix} \lambda_i & 1\\ & \lambda_i & 1 \\ & & \ddots & \ddots \\ & & & \ddots & 1 \\ & & & & \lambda_i \\ \end{pmatrix}_{n_i \times n_i} d_n(\lambda)=\prod_{i=1}^{s} (\lambda - \lambda_i)^{n_i}$
欧氏空间：对称(y,x) + 可加(x+y, z) + 齐次(kx, y) + 非负(x,x)

酉空间：共轭对称 $\overline{(y, x)}$ + 可加(x+y, z) + 齐次(kx, y) + 非负(x,x)

向量长度 $||s||=\sqrt{(x,x)}$

正交向量组是线性无关的

Gram-Schmidt正交化： $\displaystyle y_i = x_i - \sum_{j=1}^{i-1}\frac{(x_i,y_j)}{(y_j,y_j)}y_j$

正交子空间：正交直和分解 $V=W\oplus W^{\perp}$ 是唯一的， $R(A^T)=N(A)^{\perp}$

正交变换： $T(X,y)=(Tx,Ty)=(x,y)$ ，保持长度不变、维持标准正交基、在标准正交基的矩阵为正交矩阵

正交矩阵： $AA^T=I$ ，非奇异阵 $|A|=\pm1$ ， $|lambdda|=\pm1$

分解

三角分解：
- LR分解： $A=LR$ ，非奇异矩阵 $A\in\mathbb{C}^{n \times n}$ 的顺序主子式均非零，单位下三角矩阵L，上三角矩阵R
  
  求解： $\displaystyle l_{ik}=\frac{a_{ik}-\sum_{t=1}^{k-1} l_{it} r_{tk}}{r_{kk}}, ~r_{kj}=a_{kj}-\sum_{t=1}^{k-1} l_{kt} r_{tj}$
  
  解方程： $Ax=LRx=b$ 转化为方程组 $Ly=b,Rx=y$
- LDR分解：LR分解中R=>对角矩阵D*单位上三角矩阵R
- Cholesky分解（乔列斯基）： $A=GG^H=LDL^H$ ，A是Hermite正定矩阵，G是下三角矩阵
QR分解：满秩方阵 $A\in\mathbb{R}^{n \times n}$ ，正交矩阵Q，正线上三角阵R

$A = QR = \begin{pmatrix} | & | & & | \\ z_1 & z_2 & \cdots & z_n \\ | & | & & | \end{pmatrix} \begin{pmatrix} \|y_1\| & (x_2, z_1) & \cdots & (x_n, z_1) \\ 0 & \|y_2\| & \cdots & (x_n, z_2) \\ 0 & 0 & \ddots & \vdots \\ 0 & 0 & \cdots & \|y_n\| \end{pmatrix}$
解方程： $x=R^{-1}U^Hb$

复数：满秩方阵 $A\in\mathbb{C}^{n \times n}$ ，酉矩阵U，正线上三角阵R，A=UR
Schur分解：

实方阵 $A\in\mathbb{R}^{n \times n}$ ，正交矩阵

$Q^TAQ= Q^{-1}AQ= \begin{pmatrix} \lambda_1 & & & * \\ & \lambda_2 & & \\ & & \ddots & \\ 0 & & & \lambda_n \end{pmatrix}$
复方阵 $A\in\mathbb{C}^{n \times n}$ ，酉矩阵U（A是正规矩阵<=>右式是对角阵即酉相似）

$U^H A U = \begin{pmatrix} \lambda_1 & & & * \\ & \lambda_2 & & \\ & & \ddots & \\ 0 & & & \lambda_n \end{pmatrix}$
正规矩阵：n个特征向量组成一组标基，不同特征值的特征向量正交
满秩分解： $A=FG, A\in\mathbb{C}_r^{m \times n}$ ，不唯一

F是Hermite标准型，G是取A中对应F中1所在的列

Hermite标准型：前r行为非零行，第一个非零元素是1，1所在列其他因素是零
奇异值分解： $A=US_rV^H, A\in\mathbb{C}_r^{m \times n}$

求解步骤：
- $|\lambda I - A^HA|=0$ 得出r个正奇异值 $\sigma_i = \sqrt{\lambda_i}$ ， $S_r$ 左上角为奇异值的对角阵，n个特征向量标准化得 $V=(z_1,\dots,z_n)$
- 对r个非零特征值对应特征向量计算 $Ax_1,\dots,Ax_r$ ，扩充为 $\mathbb{C}^{m}$ 的一组基，标准化得矩阵U
简化奇异值分解： $A = \begin{pmatrix} U_1 & U_2 \end{pmatrix} \begin{pmatrix} \Delta & 0 \ 0 & 0 \end{pmatrix} \begin{pmatrix} V_1^\top \ V_2^\top \end{pmatrix} = U_1 \Delta V_1^\top$

极分解： $A=GU = (U_1S_rU_1^H) (U_1V_1^H)$
谱分解： $A=\sum_{i=1}^r \lambda_i E_i$
- 求解：
  - 正规矩阵： $\lambda_i$ 对应特征子空间的标准正交基 $z_i^1,\dots,z_i^{n_i}$ ，则 $\displaystyle E_i = \sum_{k=1}^{n_i}(z_i^k) (z_i^k)^H$
  - 单纯矩阵：标准正交基列向量组成 $P=(\alpha_1,\dots,\alpha_n)$ ， $P^{-1}$ 的行向量 $\beta_1,\dots,\beta_n$ ， $\displaystyle E_i = \sum_{k=1}^{n_i} \alpha_i^k \beta_i^k$
  - $\displaystyle E_i=\frac{\prod_{j\neq i} A- \lambda_j}{\prod_{j\neq i} \lambda_i- \lambda_j}$
- 性质：投影变换：幂等阵 $Ex=E^2x$ ，正交 $E_iE_j=0$ ，和 $\sum E_i = I$
- 例题求解 $A^{100} = \sum_{i=1}^r \lambda_i^{100} E_i, ~f(A)=\sum_{i=1}^r f(\lambda_i) E_i$
最小二乘解： $\min_{\mathbf{x}} | A \mathbf{x} - \mathbf{b} |_2^2$
- 解正规方程 $A^T A \mathbf{x} = A^T \mathbf{b}$ ，原理是目标函数梯度为0
- 奇异值分解： $\mathbf{x} = V \Sigma^{+} U^T \mathbf{b}$

广义逆

定义： $AXA=A,~XAX=X,~(AX)^H=AX,~(XA)^H=XA$ 之一，则X是A的广义逆矩阵
求解 $A^+$ ：
- 满秩分解： $A^+ = G^H(GG^H)^{-1}(B^HB)^{-1}B^H=G^H(F^HAG^H)^{-1}F^H$
  
  列满秩： $A^+=(A^HA)^{-1}A^H$
  
  行满秩： $A^+=A^H(AA^H)^{-1}$
- 简化奇异值分解： $A^+ = V_1 \Delta^{-1} U_1^H = V_1~diag\{\lambda_1^{-1},\dots,\lambda_r^{-1}\}~V_1^HA^H$
  
  秩1公式： $\displaystyle A^+ = \frac{A^H}{\sum{|a_{ij}|^2}}$
性质：对称，半正定 $\overline{x}A^+x\geq0$ ， $(A^H)^+=(A^+)^H, ~(A^+)^+=A, ~rank(A^+)=rank(A), ~||A^+||\leq ||A||^+$
线性方程组:
- 相容：
  
  定义：存在 $x\in \mathbb{C}^n$ 使得非齐次线性方程组 $Ax=b$ 成立，其中 $A\in \mathbb{C}^{m\times n},~b\in \mathbb{C}^m$
  
  当且仅当 $r(A | b) = r(A)$
  
  性质：有 $AA^+b=b$ ，解的通式 $x=A^+b+(I-A^+A)y$
  
  相容方程组 $Ax=b$ 的解唯一 <=> A列满秩
  
  唯一的极小范数解： $x=A^{(1,4)}b$
- 不相容：
  
  不相容方程组的最小二乘解： $x=A^{(1,3)}b=A^+b+(I-A^+A)y$
  
  列满秩有 $A^{(1,3)}=A^+$ 时最小二乘解唯一，行满秩有 $A^{(1,4)}=A^+$
  
  唯一的极小最小二乘解： $x=A^+b$

函数

范数
- 向量：
  
  x范数： $||x||$ ，满足正定(>0) + 齐次(数乘) + 三角不等式，称V是赋范线性空间
  
  p-范数： $||x||_p = (\sum_{i=1}^n |x_i|^p)^{1/p}$ ，有 $||x||_{\infty}=\displaystyle\max_{1\leq i \leq n}{|x_i|}$ ，其中 $x=(x_1,\dots,x_n)^T\in \mathbb{C}^n$
  
  命题： $||\cdot||_{\alpha}$ 是 $\mathbb{C}^m$ 中的向量范数，则 $||x||_{\beta} = ||Ax||_{\alpha}$ 是 $\mathbb{C}^m$ 中的向量范数
  
  加权范数（椭圆范数）： $||x||_A=\sqrt{x^HAx}$ ，其中A为n阶Hermite矩阵
  
  极限： $\displaystyle\lim_{m \rightarrow \infty}{||x_m-x||_{\alpha}}$
- 矩阵：
  
  矩阵范数（乘积范数）： $||A||$ ，满足正定(>0) + 齐次(数乘) + 三角不等式 + 相容性 $||AB||\leq ||A||~||B||$
  
  F-范数（Frobenious范数）： $||A||_F=(\sum_{i,j=1}^n |a_{ij}|^2)^{1/2}$
  
  算子范数： $||A||=\displaystyle\max_{||x||_V=1}{||Ax||_V}$ ，称此矩阵范数为从属于向量范数 $||x||_V$ 的算子范数，相容性 $|| A \mathbf{x}||_p \leq ||A||_p ||\mathbf{x}||_p$
  
  列范数： $||A||_1 = \displaystyle\max_{1\leq j \leq n} \sum_{i=1}^n {|a_{ij}|}$
  
  行范数： $||A||_{\infty} = \displaystyle\max_{1\leq i \leq n} \sum_{j=1}^n {|a_{ij}|}$
  
  谱范数： $||A||_2=\sqrt{\lambda_1}$ ，其中 $\lambda_1$ 为 $A^HA$ 的最大特征值
- 谱半径： $\rho(A)$ 为A的特征值的模的最大值，有 $\rho(A) \leq ||A||$
盖尔圆盘： $a_{ii}$ 为圆心，第 $i$ 行非对角线元素的模的和 $\delta_i$ 为半径，特征值一定在某个圆里
矩阵函数：
- 级数求和 $\displaystyle f(A) = \sum_{k=0}^{\infty} \frac{f^{(k)}(0)}{k!} A^k$ （前提是谱半径 $\rho(A)$ 小于收敛半径R）
$\begin{align} e^A &= \sum_{k=0}^{\infty} \frac{A^k}{k!} \\ \sin(A) &= \sum_{k=0}^{\infty} \frac{(-1)^k}{(2k+1)!} A^{2k+1} \\ \cos(A) &= \sum_{k=0}^{\infty} \frac{(-1)^k}{(2k)!} A^{2k} \\ (I - A)^{-1} &= \sum_{k=0}^{\infty} A^k \end{align}$
- 单纯矩阵：
  - 对角阵： $f(A)=P diag\{f(\lambda_1),\dots,f(\lambda_n)\} P^{-1}$ ，其中 $P=(z_1,\dots,z_n)$
  - 谱分解： $\rho(A)<R$ 时 $f(A)$ 的特征值为 $f(\lambda_1),\dots,f(\lambda_n)$
    
    $A=\sum_{i=1}^r \lambda_i E_i,~f(A)=\sum_{i=1}^r f(\lambda_i) E_i$
- Jordan标准形：
  
  $\begin{align} f(At) &= P \begin{pmatrix} f(J_1(\lambda_1)t) & 0 & \cdots & 0 \\ 0 & f(J_2(\lambda_2)t) & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & f(J_s(\lambda_s)t) \end{pmatrix} P^{-1}\\ f(J_i(\lambda_i)t) &= \begin{pmatrix} f(\lambda_i t) & t f'(\lambda_i t) & \frac{t^2}{2!} f''(\lambda_i t) & \cdots & \frac{t^{n_i-1}}{(n_i-1)!} f^{(n_i-1)}(\lambda_i t) \\ 0 & f(\lambda_i t) & t f'(\lambda_i t) & \cdots & \frac{t^{n_i-2}}{(n_i-2)!} f^{(n_i-2)}(\lambda_i t) \\ 0 & 0 & f(\lambda_i t) & \cdots & \frac{t^{n_i-3}}{(n_i-3)!} f^{(n_i-3)}(\lambda_i t) \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & f(\lambda_i t) \end{pmatrix}_{n_i \times n_i}, \quad 1 \leq i \leq s. \end{align}$
直积 / Kronecker积 / 张量积：

$A \otimes B = \begin{pmatrix} a_{11}B & a_{12}B & \cdots & a_{1n}B \\ a_{21}B & a_{22}B & \cdots & a_{2n}B \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1}B & a_{m2}B & \cdots & a_{mn}B \end{pmatrix}$
性质：可以分块运算，满足数乘、交换律、结合律、吸收率，保持H、rank、+、对角化

$tr(A \otimes B) = trA~trB, \quad rank(A \otimes B) = rank(A)~rank(B)$

特征根为所有 $\lambda_i \mu_j$ 的组合， $|A \otimes B| = |A|^m |B|^n$ ， $\rho(A \otimes B)=\max_{i,j}{\lambda_i \mu_j}$

拉直公式： $\overrightarrow{ABC} = (A \otimes C^T) \overrightarrow{B}$

矩阵方程相容 AXB=D <=> $rank(A \otimes B^T, \overrightarrow{D}) = rank(A \otimes B^T)$

考题

2024.6.17考题记录：

用Householder变换将向量 $a = (1, 2, 1)^T$ 变换为与 $(1, 0, 0)^T$ 共线
求短奇异值分解

$A = \begin{pmatrix} 1 & 0 \\ 1 & 1 \\ 0 & -1 \end{pmatrix}$
求 $e^{At}$

$A = \begin{pmatrix} 2 & 4 & 1 \\ 0 & 1 & 0 \\ 0 & 1 & 1 \end{pmatrix}$
（1）满秩分解求 $A^+$ （2）方程式 $AX=b$ 是否相容（3）求极小范数解或极小最小二乘解

$A = \begin{pmatrix} 1 & 1 & 0 & 1 & 1 \\ 0 & 1 & 1 & 0 & 0 \\ 1 & 2 & 1 & 1 & 1 \end{pmatrix}, \quad b = \begin{pmatrix} 3 \\ 1 \\ 4 \end{pmatrix}$
证明 $(AA^H)(AA^H)^-A=A$