北航研究生《矩阵理论》期末复习整理与2024考题记录
课件
线性空间
-
定义：交换律+结合律+零元素+负元素
-
特殊的矩阵：
- 对称矩阵：\(A=A^T\)
- 正交矩阵：\(AA^T=I\)
- Hermite矩阵：\(A^H=A\)，对角元素为实数，特征值为实数
- 反(斜)Hermite矩阵：\(A^H=-A\)，对角元素为纯虚数，特征值为纯虚数或者0
- 酉矩阵：\(A^HA=I\)，酉相似 \(U^H A U = B\)，酉相抵 \(U A V = B\)
- 奇异矩阵：\(|A|=0\) 没有逆矩阵
- 正定矩阵：\(x^T A x > 0\) 对非零向量x恒成立
- 正规矩阵：\(A^HA=AA^H\)，(反)实对阵阵、(反)Hermite阵、正交矩阵、酉矩阵都是正规矩阵，正规三角矩阵是对角矩阵
- 单纯矩阵：可对角化\(P^{-1}AP=D\)，其中\(P=(z_1,\dots,z_n)\)为标准正交基组成
-
过渡矩阵：基\(\alpha=(\alpha_1,\dots,\alpha_n)\)到基\(\beta=(\beta_1,\dots,\beta_n)\)的过渡矩阵\(A\)满足 \(\beta = \alpha A\)
计算：\([\alpha | \beta]\) 初等行变换到 \([I | A]\)，原理\(P\alpha=I,~P\beta=P\alpha A=A\)
-
核空间：\(N(A) = \{x\in \mathbb{C}^n | Ax=0\}, ~A \in \mathbb{C}^{m \times n}\)
像空间（列空间）：\(R(A) = span(a_1, \dots, a_n)=\{ A\mathbf{x} \mid \mathbf{x} \in \mathbb{R}^n \}\)，有\(R(A)\subseteq \mathbb{R}^m,~dim(R(A))=rank(A)=dim(R(A^T))\)
行空间（\(A^T\)的值域）：\(R(A^T) = \{ A^T \mathbf{x} \mid \mathbf{x} \in \mathbb{R}^m \} \subseteq \mathbb{R}^n\)
线性映射：零度（亏）为\(dimN(T)\)，秩为\(dimR(T)\)
亏加秩定理：\(dimN(T) + dimR(T) = dimV, ~T\in L(V,W)\)，即为定义域维数
-
子空间：
\(dim(W_1 + W_2) = dimW_1 + dimW_2 - dim(W_1 \cap W_2)\)
直和：当\(W_1 \cap W_2 = \{0\}\)时，\(W_1 + W_2\)是直和\(W_1 \oplus W_2\)
-
线性映射：\(T(u_1,\dots,u_n) = (Tu_1,\dots, Tu_n) = (v_1,\dots,v_m) A\)，矩阵\(A=(a_{ij})_{m \times n}\)为线性映射T在两组基下的矩阵表示
同构：双射+保持线性运算，\(V \cong W\)
相似：T在不同基下的矩阵相似，即存在可逆矩阵C是的\(B=C^{-1}AC\)，相似矩阵的迹相同
-
特征值：\(Tx=\lambda x\)，特征多项式\(f(\lambda) = |A-\lambda I|=0\)，\(f(A)=0\)
性质：行列式 \(|A|=det(A)=\prod \lambda_i\)，迹 \(tr(A)=\sum \lambda_i\)
对应特征子空间\(E(\lambda)\)，几何重数\(dimE(\lambda)=n-r(\lambda I-A)\)，代数重数是\(f(\lambda)=0\)重根数\(d_i\)
Schur引理：满秩阵P使\(P^{-1}AP\)为上三角阵，对角为A全部特征值，推论为多项式\(\varphi(x)\)的特征值为\(\varphi(\lambda)\)
最小多项式：使A零化的最小次数的首1多项式 \(m_A(\lambda) = f(\lambda)\)
-
不变子空间：\(\forall x \in W, ~T(x) \in W\)
V和零空间是平凡不变子空间，\(N(T), R(T), E(\lambda)\)都是T的不变子空间
\(V=W_1 \oplus \cdots \oplus W_s \Leftrightarrow A = diag\{A_1,\cdots,A_s\}\)，其中W是T的不变子空间，A是T在某组基下的矩阵，\(A_i\)是\(T|_{W_i}\)在对应基下的矩阵
-
可对角化：
等价于：
- n个线性无关的特征向量
- \(\sum dimE(\lambda_i)=n\)
- 代数重数=几何重数
- \(m_A(\lambda)\)无重根
- \(\lambda I - A\)的初等因子为一次的
对角化\(P^{-1}AP=D,~P=(x_1,\dots,x_n)\)
-
\(A(\lambda)\)中不等于零的子式的最高阶数r为A的秩（？）
初等变换（行列交换，数乘，乘多项式相加）
初等变换等价\(A(\lambda) \cong B(\lambda)\) <=> 秩相同+有完全一致的初等因子
Smith标准形：\(A \cong S\)
左上角是\(diag\{d_1(\lambda),\dots,d_r(\lambda)\}\)，首一多项式\(d_i(\lambda) | d_{i+1}(\lambda)\)，称\(d_i(\lambda)\)为不变因子，指数大于零称为初等因子
求解流程：A初等变换成对角阵，获取初等因子，降幂排列每列相乘获得不变因子
当Smith标准形为对角阵(r=n)时，\(m_A(\lambda) = d_n(\lambda)\)
Jordan标准形：\(A\sim J\)
\[J=\begin{pmatrix} J_1 & & \\ & J_2 & \\ & & \ddots & \\ & & & J_m \end{pmatrix},~ J_i = \begin{pmatrix} \lambda_i & 1\\ & \lambda_i & 1 \\ & & \ddots & \ddots \\ & & & \ddots & 1 \\ & & & & \lambda_i \\ \end{pmatrix}_{n_i \times n_i} d_n(\lambda)=\prod_{i=1}^{s} (\lambda - \lambda_i)^{n_i} \] -
欧氏空间：对称(y,x) + 可加(x+y, z) + 齐次(kx, y) + 非负(x,x)
酉空间：共轭对称\(\overline{(y, x)}\) + 可加(x+y, z) + 齐次(kx, y) + 非负(x,x)
向量长度\(||s||=\sqrt{(x,x)}\)
正交向量组是线性无关的
Gram-Schmidt正交化：\(\displaystyle y_i = x_i - \sum_{j=1}^{i-1}\frac{(x_i,y_j)}{(y_j,y_j)}y_j\)
正交子空间：正交直和分解\(V=W\oplus W^{\perp}\)是唯一的，\(R(A^T)=N(A)^{\perp}\)
正交变换：\(T(X,y)=(Tx,Ty)=(x,y)\)，保持长度不变、维持标准正交基、在标准正交基的矩阵为正交矩阵
正交矩阵：\(AA^T=I\)，非奇异阵\(|A|=\pm1\)，\(|lambdda|=\pm1\)
分解
-
三角分解：
-
LR分解：\(A=LR\)，非奇异矩阵\(A\in\mathbb{C}^{n \times n}\)的顺序主子式均非零，单位下三角矩阵L，上三角矩阵R
求解：\(\displaystyle l_{ik}=\frac{a_{ik}-\sum_{t=1}^{k-1} l_{it} r_{tk}}{r_{kk}}, ~r_{kj}=a_{kj}-\sum_{t=1}^{k-1} l_{kt} r_{tj}\)
解方程：\(Ax=LRx=b\) 转化为 方程组 \(Ly=b,Rx=y\)
-
LDR分解：LR分解中R=>对角矩阵D*单位上三角矩阵R
-
Cholesky分解（乔列斯基）：\(A=GG^H=LDL^H\)，A是Hermite正定矩阵，G是下三角矩阵
-
-
QR分解：满秩方阵\(A\in\mathbb{R}^{n \times n}\)，正交矩阵Q，正线上三角阵R
\[A = QR = \begin{pmatrix} | & | & & | \\ z_1 & z_2 & \cdots & z_n \\ | & | & & | \end{pmatrix} \begin{pmatrix} \|y_1\| & (x_2, z_1) & \cdots & (x_n, z_1) \\ 0 & \|y_2\| & \cdots & (x_n, z_2) \\ 0 & 0 & \ddots & \vdots \\ 0 & 0 & \cdots & \|y_n\| \end{pmatrix} \]解方程：\(x=R^{-1}U^Hb\)
复数：满秩方阵\(A\in\mathbb{C}^{n \times n}\)，酉矩阵U，正线上三角阵R，A=UR
-
Schur分解：
实方阵\(A\in\mathbb{R}^{n \times n}\)，正交矩阵
\[Q^TAQ= Q^{-1}AQ= \begin{pmatrix} \lambda_1 & & & * \\ & \lambda_2 & & \\ & & \ddots & \\ 0 & & & \lambda_n \end{pmatrix} \]复方阵\(A\in\mathbb{C}^{n \times n}\)，酉矩阵U（A是正规矩阵<=>右式是对角阵 即酉相似）
\[U^H A U = \begin{pmatrix} \lambda_1 & & & * \\ & \lambda_2 & & \\ & & \ddots & \\ 0 & & & \lambda_n \end{pmatrix} \]正规矩阵：n个特征向量组成一组标基，不同特征值的特征向量正交
-
满秩分解：\(A=FG, A\in\mathbb{C}_r^{m \times n}\)，不唯一
F是Hermite标准型，G是取A中对应F中1所在的列
Hermite标准型：前r行为非零行，第一个非零元素是1，1所在列其他因素是零
-
奇异值分解：\(A=US_rV^H, A\in\mathbb{C}_r^{m \times n}\)
求解步骤：
- \(|\lambda I - A^HA|=0\) 得出r个正奇异值 \(\sigma_i = \sqrt{\lambda_i}\)，\(S_r\)左上角为奇异值的对角阵，n个特征向量标准化得\(V=(z_1,\dots,z_n)\)
- 对r个非零特征值对应特征向量计算\(Ax_1,\dots,Ax_r\)，扩充为\(\mathbb{C}^{m}\)的一组基，标准化得矩阵U
简化奇异值分解：$$A = \begin{pmatrix} U_1 & U_2 \end{pmatrix} \begin{pmatrix} \Delta & 0 \ 0 & 0 \end{pmatrix} \begin{pmatrix} V_1^\top \ V_2^\top \end{pmatrix} = U_1 \Delta V_1^\top $$
极分解：\(A=GU = (U_1S_rU_1^H) (U_1V_1^H)\)
-
谱分解： \(A=\sum_{i=1}^r \lambda_i E_i\)
-
求解：
- 正规矩阵：\(\lambda_i\)对应特征子空间的标准正交基\(z_i^1,\dots,z_i^{n_i}\)，则\(\displaystyle E_i = \sum_{k=1}^{n_i}(z_i^k) (z_i^k)^H\)
- 单纯矩阵：标准正交基列向量组成\(P=(\alpha_1,\dots,\alpha_n)\)，\(P^{-1}\)的行向量\(\beta_1,\dots,\beta_n\)，\(\displaystyle E_i = \sum_{k=1}^{n_i} \alpha_i^k \beta_i^k\)
- \(\displaystyle E_i=\frac{\prod_{j\neq i} A- \lambda_j}{\prod_{j\neq i} \lambda_i- \lambda_j}\)
-
性质：投影变换：幂等阵\(Ex=E^2x\)，正交\(E_iE_j=0\)，和\(\sum E_i = I\)
-
例题求解 \(A^{100} = \sum_{i=1}^r \lambda_i^{100} E_i, ~f(A)=\sum_{i=1}^r f(\lambda_i) E_i\)
-
-
最小二乘解：$ \min_{\mathbf{x}} | A \mathbf{x} - \mathbf{b} |_2^2 $
-
解正规方程 $A^T A \mathbf{x} = A^T \mathbf{b} $，原理是目标函数梯度为0
-
奇异值分解：$\mathbf{x} = V \Sigma^{+} U^T \mathbf{b} $
-
广义逆
-
定义：\(AXA=A,~XAX=X,~(AX)^H=AX,~(XA)^H=XA\) 之一，则X是A的广义逆矩阵
-
求解\(A^+\)：
-
满秩分解：\(A^+ = G^H(GG^H)^{-1}(B^HB)^{-1}B^H=G^H(F^HAG^H)^{-1}F^H\)
列满秩：\(A^+=(A^HA)^{-1}A^H\)
行满秩：\(A^+=A^H(AA^H)^{-1}\)
-
简化奇异值分解：\(A^+ = V_1 \Delta^{-1} U_1^H = V_1~diag\{\lambda_1^{-1},\dots,\lambda_r^{-1}\}~V_1^HA^H\)
秩1公式：\(\displaystyle A^+ = \frac{A^H}{\sum{|a_{ij}|^2}}\)
-
-
性质：对称，半正定\(\overline{x}A^+x\geq0\)，\((A^H)^+=(A^+)^H, ~(A^+)^+=A, ~rank(A^+)=rank(A), ~||A^+||\leq ||A||^+\)
-
线性方程组:
-
相容：
定义：存在\(x\in \mathbb{C}^n\)使得非齐次线性方程组\(Ax=b\)成立，其中\(A\in \mathbb{C}^{m\times n},~b\in \mathbb{C}^m\)
当且仅当 \(r(A | b) = r(A)\)
性质：有\(AA^+b=b\)，解的通式\(x=A^+b+(I-A^+A)y\)
相容方程组\(Ax=b\)的解唯一 <=> A列满秩
唯一的极小范数解：\(x=A^{(1,4)}b\)
-
不相容：
不相容方程组的最小二乘解：\(x=A^{(1,3)}b=A^+b+(I-A^+A)y\)
列满秩有\(A^{(1,3)}=A^+\)时最小二乘解唯一，行满秩有\(A^{(1,4)}=A^+\)
唯一的极小最小二乘解：\(x=A^+b\)
-
函数
-
范数
-
向量：
x范数：\(||x||\)，满足正定(>0) + 齐次(数乘) + 三角不等式，称V是赋范线性空间
p-范数：\(||x||_p = (\sum_{i=1}^n |x_i|^p)^{1/p}\)，有\(||x||_{\infty}=\displaystyle\max_{1\leq i \leq n}{|x_i|}\)，其中\(x=(x_1,\dots,x_n)^T\in \mathbb{C}^n\)
命题：$$||\cdot||_{\alpha}$$是\(\mathbb{C}^m\)中的向量范数，则\(||x||_{\beta} = ||Ax||_{\alpha}\)是\(\mathbb{C}^m\)中的向量范数
加权范数（椭圆范数）：\(||x||_A=\sqrt{x^HAx}\)，其中A为n阶Hermite矩阵
极限：\(\displaystyle\lim_{m \rightarrow \infty}{||x_m-x||_{\alpha}}\)
-
矩阵：
矩阵范数（乘积范数）：\(||A||\)，满足正定(>0) + 齐次(数乘) + 三角不等式 + 相容性\(||AB||\leq ||A||~||B||\)
F-范数（Frobenious范数）：\(||A||_F=(\sum_{i,j=1}^n |a_{ij}|^2)^{1/2}\)
算子范数：\(||A||=\displaystyle\max_{||x||_V=1}{||Ax||_V}\)，称此矩阵范数为从属于向量范数\(||x||_V\)的算子范数，相容性\(|| A \mathbf{x}||_p \leq ||A||_p ||\mathbf{x}||_p\)
列范数：\(||A||_1 = \displaystyle\max_{1\leq j \leq n} \sum_{i=1}^n {|a_{ij}|}\)
行范数：\(||A||_{\infty} = \displaystyle\max_{1\leq i \leq n} \sum_{j=1}^n {|a_{ij}|}\)
谱范数：\(||A||_2=\sqrt{\lambda_1}\)，其中\(\lambda_1\)为\(A^HA\)的最大特征值
-
谱半径：\(\rho(A)\)为A的特征值的模的最大值，有\(\rho(A) \leq ||A||\)
-
-
盖尔圆盘：\(a_{ii}\)为圆心，第 \(i\) 行非对角线元素的模的和 \(\delta_i\) 为半径，特征值一定在某个圆里
-
矩阵函数：
- 级数求和 \(\displaystyle f(A) = \sum_{k=0}^{\infty} \frac{f^{(k)}(0)}{k!} A^k\) （前提是谱半径\(\rho(A)\)小于收敛半径R）
\[\begin{align} e^A &= \sum_{k=0}^{\infty} \frac{A^k}{k!} \\ \sin(A) &= \sum_{k=0}^{\infty} \frac{(-1)^k}{(2k+1)!} A^{2k+1} \\ \cos(A) &= \sum_{k=0}^{\infty} \frac{(-1)^k}{(2k)!} A^{2k} \\ (I - A)^{-1} &= \sum_{k=0}^{\infty} A^k \end{align} \]
-
单纯矩阵：
-
对角阵：\(f(A)=P diag\{f(\lambda_1),\dots,f(\lambda_n)\} P^{-1}\)，其中\(P=(z_1,\dots,z_n)\)
-
谱分解：\(\rho(A)<R\) 时 \(f(A)\)的特征值为\(f(\lambda_1),\dots,f(\lambda_n)\)
\(A=\sum_{i=1}^r \lambda_i E_i,~f(A)=\sum_{i=1}^r f(\lambda_i) E_i\)
-
-
Jordan标准形：
\[\begin{align} f(At) &= P \begin{pmatrix} f(J_1(\lambda_1)t) & 0 & \cdots & 0 \\ 0 & f(J_2(\lambda_2)t) & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & f(J_s(\lambda_s)t) \end{pmatrix} P^{-1}\\ f(J_i(\lambda_i)t) &= \begin{pmatrix} f(\lambda_i t) & t f'(\lambda_i t) & \frac{t^2}{2!} f''(\lambda_i t) & \cdots & \frac{t^{n_i-1}}{(n_i-1)!} f^{(n_i-1)}(\lambda_i t) \\ 0 & f(\lambda_i t) & t f'(\lambda_i t) & \cdots & \frac{t^{n_i-2}}{(n_i-2)!} f^{(n_i-2)}(\lambda_i t) \\ 0 & 0 & f(\lambda_i t) & \cdots & \frac{t^{n_i-3}}{(n_i-3)!} f^{(n_i-3)}(\lambda_i t) \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & 0 & \cdots & f(\lambda_i t) \end{pmatrix}_{n_i \times n_i}, \quad 1 \leq i \leq s. \end{align} \]
-
直积 / Kronecker积 / 张量积：
\[A \otimes B = \begin{pmatrix} a_{11}B & a_{12}B & \cdots & a_{1n}B \\ a_{21}B & a_{22}B & \cdots & a_{2n}B \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1}B & a_{m2}B & \cdots & a_{mn}B \end{pmatrix} \]性质：可以分块运算，满足数乘、交换律、结合律、吸收率，保持H、rank、+、对角化
\(tr(A \otimes B) = trA~trB, \quad rank(A \otimes B) = rank(A)~rank(B)\)
特征根为所有\(\lambda_i \mu_j\)的组合，\(|A \otimes B| = |A|^m |B|^n\)，\(\rho(A \otimes B)=\max_{i,j}{\lambda_i \mu_j}\)
拉直公式：\(\overrightarrow{ABC} = (A \otimes C^T) \overrightarrow{B}\)
矩阵方程相容 AXB=D <=> \(rank(A \otimes B^T, \overrightarrow{D}) = rank(A \otimes B^T)\)
考题
2024.6.17考题记录：
-
用Householder变换将向量 $ a = (1, 2, 1)^T $ 变换为与 \((1, 0, 0)^T\)共线
-
求短奇异值分解
\[A = \begin{pmatrix} 1 & 0 \\ 1 & 1 \\ 0 & -1 \end{pmatrix} \] -
求\(e^{At}\)
\[A = \begin{pmatrix} 2 & 4 & 1 \\ 0 & 1 & 0 \\ 0 & 1 & 1 \end{pmatrix} \] -
（1）满秩分解求\(A^+\)（2）方程式\(AX=b\)是否相容 （3）求极小范数解或极小最小二乘解
\[ A = \begin{pmatrix} 1 & 1 & 0 & 1 & 1 \\ 0 & 1 & 1 & 0 & 0 \\ 1 & 2 & 1 & 1 & 1 \end{pmatrix}, \quad b = \begin{pmatrix} 3 \\ 1 \\ 4 \end{pmatrix} \] -
证明\((AA^H)(AA^H)^-A=A\)
