矩阵分析与应用笔记 | 国科大李保滨课程总结
1 课程介绍
2-3 线性方程组
高斯消去法
交换两行，任意行数乘，一行数乘加到另一行
==> 上三角形
==> 回代
复杂度
乘法 \(\frac {n^3} 3 + n^2 - \frac n 3\)
加法 \(\frac {n^3} 3 + \frac {n^2} 2 - \frac {5n} 6\)
Gauss-Jordan法
多了两个步骤
- pivot变为1
- 消去pivot上面的元素
变换为单位阵
复杂度
乘法 \(\frac {n^3} 2 + \frac {n^2} 2\)
加法 \(\frac {n^3} 2 - \frac {n} 2\)
部分主元法
交换行使主元最大（绝对值）
行阶梯形 定义了矩阵的秩
修改高斯消去法
每行从左到右找非零元，消去后不一定得到上三角形式
秩
- 主元pivot的数量
- 非零行的数量
- 基本列（包含主元）的数量
齐次方程
\([A|0]\)
非齐次方程
右边含有非零数值
平凡解
x=0
[A|b] ==> E[A|b]
解的形式
x = p非齐次方程特解 + (n-r)齐次方程通解
4 矩阵代数
矩阵加法性质
标量乘法性质
共轭转置
对称性
矩阵乘法
不可交换
乘积的行列
\([AB]_{i*} = A_{i*}B\)
\([AB]_{*j} = AB_{*j}\)
分配律 结合律
转置
\((AB)^T = B^TA^T\)
分块乘法
逆矩阵
逆存在性等价描述
- rank(A) = n
- Gauss-Jordan, A –> I
- Ax = 0 ==> x =0
逆的计算
\([A|I] –-> [I|A^{-1}]\)
复杂度 \(n^3\)
\((I+cd^T)^{-1} = I - \frac {cd^T}{1+d^Tc}\)
三种基本行变换
\(E1 = I - uu^T, u = e_1 - e_2\) 交换两行
\(E2 = I - (1-a)e_2e_2^T\) 乘上a倍
\(E3 = I +ae_3e_1^T\) 第一行a倍加到第三行
左乘：基本行变换
相似矩阵
秩相等
推论：与非奇异矩阵的乘法不改变秩
LU分解
A = LU
解方程
LUx = b
Ux = y, Ly = b
5 向量空间
定义 两个集合 \(x\in \mathcal V, \alpha \in \mathcal F\) 两个基本运算：加法和标量乘法
（1）加法封闭
（2）加法结合律
（3）加法交换律
（4）加法零元
（5）加法逆元
（6）数乘封闭
（7）数乘结合律
（8）数乘分配律
（9）数乘分配律
（10）单位元
子空间
是V的子集且满足
（1）加法封闭
（6）数乘封闭
张成集合
\(\mathcal S = {v_1, v_2, …, v_r}\),
子空间 \(span\{\mathcal S \}=\{\alpha_1v_1+\alpha_2v_2+...+\alpha_rv_r\ | \alpha_i \in \mathcal F \}\)
Range Spaces值域空间
列空间
R(A)，相当于\(f(x) = Ax, A \in R^{m \times n}\)，也叫 A 的像空间(image space)
行空间，左值域
\(R(A^T)\)
Nullspace 零空间
-
\(N(A)\)
\(N(f) = \{x_{n\times 1}|Ax=0\}, A \in R^{m\times n}\)
-
\(N(A^T)\) 左零空间
\(N(g) = \{x_{m\times 1}|A^Tx=0\}, A \in R^{m\times n}\)
线性无关
A 的列构成线性无关集合
等价于
-
rank(A)=n
-
N(A) =
对角占优矩阵是非奇异的
Vandermonde Matrices
Wronski matrix
basis 基
A linearly independent spanning set for a vector space V is called a basis of V.
一组线性无关的张成集合
标准基
\(R^n\) 空间： \(\mathcal S = {e_1, e_2, …, e_n}\)
多项式：{1, x, x^2, … x^n}
{0}：空集
等价命题
- 最小的张成集合
- 最大线性无关子集
维度
等价命题
-
V 基的向量个数
-
V 最小张成集合的向量个数
-
V 最大线性无关子集的向量个数
秩
等价命题
rank(A) \(A \in R^{m \times n}\)
- 等价A的行阶梯矩阵的非零行
- 行阶梯矩阵主元数量
- 基本列数量
- 线性无关列数量
- 线性无关行数量
- dim R(A)
- dim R(A^T)
- n - dim N(A)
- m - dim N(A^T)
- A中最大非奇异矩阵
incidence matrix 入射矩阵
包含 m 个节点 n 条边
每条边对应一列中，一列中包含一组 1， -1 ，对应出点和入点
连通图，rank(E) = m - 1
Normal Equations
\(A^TAx = A^Tb\)
\(x = (A^TA)^{-1}A^Tb\)
Rank等价定义
6 线性变换
零变换
恒等变换
线性变换 \(A \in R^{m \times n}\)
从 \(R^n ==> R^m\)
线性算子 \(A \in R^{n \times n}\)
旋转 Q
投影 P
反射 R
有限维空间的线性变换都有矩阵表示
\(\mathcal U\) 空间的向量u 在基 \(\mathcal B = {u_1, u_2, …, u_n}\) 下表示为
\(u = \alpha_1u_1+\alpha_2u_2+...+\alpha_ru_n\)
\(\alpha_i\) 称为 关于B的坐标 \([v]_B = (\alpha_1, \alpha_2, …, \alpha_n)^T\)
线性变换空间
\(\mathcal L(\mathcal U, \mathcal V)\) 表示所有从U变换到V的集合
\(B_{ji}(u) = \xi_jv_i\)， 其中 \((\xi_1, \xi_2, …, \xi_n)^T = [u]_B\)
-
基 \(B_L = \{B_{ji}\}_{j=1...n}^{i=1...m}\)
-
dim L(U,V) = (dim U) (dim V)
坐标矩阵表示
每个 u 在 B’ 下的坐标表示作为每一列
坐标变换转化为矩阵乘法
\([T(u)]_{B’} = [T]_{BB’} [u]_{B}\)，其中 \([T]_{BB’}\) 为 u 经过 T 变换后在 v 下的坐标表示。
\([T]_B\) 代表 \([T]_{BB}\)，为方阵
基变换
坐标变换
相似性
\(B \simeq C\) ：存在非奇异矩阵Q，使得 \(B = Q^{-1}CQ\) 。
相似变换：\(f: R^{n\times n} \to R^{n \times n}\) ，\(f(C) = Q^{-1}CQ\) 。
不变子空间
定义
-
在变换T下的不变子空间 \(\mathcal{X \subseteq V}\), 且 \(\bold T(\mathcal X) \subseteq \mathcal X\)
-
T 这时可以作为一个线性算子，表示为 \(\bold T_{/ \mathcal X}\) 。
上三角和对角块形式
T 是 n x n矩阵，下面的命题是等价的
- \(\mathbf{Q}^{-1} \mathbf{T Q}=\left(\begin{array}{cc} \mathbf{A}_{r \times r} & \mathbf{B}_{r \times q} \\ \mathbf{0} & \mathbf{C}_{q \times q} \end{array}\right)\) 当且仅当 Q 的前 r 列张成 T 下的不变子空间
- \(\mathbf{Q}^{-1} \mathbf{T Q}=\left(\begin{array}{cccc} \mathbf{A}_{r_{1} \times r_{1}} & \mathbf{0} & \cdots & \mathbf{0} \\ \mathbf{0} & \mathbf{B}_{r_{2} \times r_{2}} & \cdots & \mathbf{0} \\ \vdots & \vdots & \ddots & \vdots \\ \mathbf{0} & \mathbf{0} & \cdots & \mathbf{C}_{r_{k} \times r_{k}} \end{array}\right)\) 当且仅当 Q = (Q1|Q2|…|Qk)，每一个 Qi 张成 T 下的不变子空间
7-8 模和内积
Norms模--长度
模：空间几何的概念
范数：线性代数中的概念
向量的模满足
- 正定性 \(\|x\| \ge 0\) 当且仅当 x=0， \(\|x\| = 0\)
- 齐次性
- 三角不等式 \(\|x+y\| \le \|x\| + \|y\|\)
欧几里得模
\(\|x\| = \sqrt{x^Tx}\)
\(\|x\| = \sqrt{x^*x}\) 复数向量
p-模
\(\|x\|_p = (\sum_{i=1}^n\|x_i|^p)^{1/p}\)
矩阵的模满足
- 正定性
- 齐次性
- 三角不等式
- 相容性 \(\|AB\| \le \|A\| \|B\|\)
Frobenius矩阵模
\(\|A\|_F^2=\sum_{i,j}|a_{ij}|^2 = trace(A^*A)\)
矩阵2模
\(\|A\|_2 = \max_{\|x\|_2=1} \|Ax\|_2 = \sqrt {\lambda_{\max}}\) ，其中 \(\lambda\) 为 \(A^*A\) 的最大的特征值。
矩阵1模、无穷模
Inner Products内积--夹角/几何关系
内积
标准向量内积 \(<x|y> = x^Ty\)
椭圆内积 \(<x|y> = x^*A^*Ay\)
标准矩阵内积 \(<A|B>=trace(A^TB)\)
内积空间可以定义模：
模等于内积开方
满足平行四边形法则，才有：
内积等于模平方 \(<*|*> = \|*\|^2\)
只有在 p=2情况下 平行四边形法则才满足，因此内积只能产生欧几里得模（二模）
\(\|x+y\|^2 + \|x-y\|^2 = 2(\|x\|^2+\|y\|^2)\)
因为左边p-模等于2* 2^(2/p)，右边p-模恒等于4
正交
正交
\(x \perp y <==> x^Ty=0\)
角度
\(\cos \theta = \frac {<x|y>}{\|x\|\|y\|}\)
标准正交集合/规范正交基
\(<u_i|u_j> =\cases {1 \ \text{when i==j}\\ 0 \ \text{when i/= j}}\)
GramSchmidt施密特正交化
QR分解
把A写成n列，进行施密特正交化分解
将A分解为 Q R
\(A_{m×n} = Q_{m×n}R_{n×n}\)
如果 \(A \in R^{n\times n}\) 是非奇异矩阵，Q是单位正交基，所以 \(Q^T=Q^{-1}\) 。
\(Ax = b ⇐⇒ QRx = b ⇔ Rx = Q^T b\)
改进的施密特正交化
正交矩阵
酉矩阵和正交矩阵
Unitary and Orthogonal Matrices
酉矩阵（正交矩阵） 列构成标准正交基（复数域、实数域）
\(U^∗U = I ⇐⇒ U^{−1} = U^∗, ⇐⇒ UU^∗ = I\)
与酉矩阵相乘，不改变向量的长度
\(∥Ux∥^2 = x^∗U^∗Ux = x^∗x = ∥x∥2 ∀x ∈ Cn\)
等价命题
- 行 标准正交
- 列 标准正交
- 逆等于转置
- 不改变向量长度
单位矩阵(identity matrix) I是正交矩阵
置换矩阵是正交矩阵
初等正交投影算子
\(Q = I - uu^*\) 投影到u垂直上，其中 \(\|u\|=1\)
正交投影算子
\(P_u = \frac {uu^*}{u^*u}\) 投影到span{u}上
\(P_{u^{\perp}} = I- \frac {uu^*}{u^*u}\) 投影到u垂直上
初等镜面反射算子/Householder变换
\(R = I-2\frac {uu^*}{u^*u}\)
性质 \(R = R^{-1}\) \((由于R^2=I)\)
Householder reduction
\(A_{m×n} = [A∗1|A∗2| · · · |A∗n]\)
首先用第一列构造镜面反射算子：
\(R_1 = I − 2\frac {uu^∗} {u^*u}\), \(u = A_{∗1} ± µ\| A_{∗1}\|e_1\)，其中 \(\mu = \cases {1 \ ,x_1 是实数\\ x_1/|x_1| \ ,x_1是复数}\)
使得 \(R_1A_{*1} = ∓ µ\| A_{∗1}\|e_1 = (t_{11},0,\cdots,0)^T\)
平面旋转/Givens旋转
\(P_{ij}x\) 通过旋转，使 \(x_j\) 的坐标值为0
任意向量，旋转到第 i 个坐标轴上，得到 \(Px = \|x\| e_i\)， 其中 \(P = P_{in}\cdots P_{i,i+1}P{i,i-1}\cdots P_{i1}\)
互补子空间 Complementary Subspace
互补子空间
\(\mathcal {V = X+ Y}\) 并且 \(\mathcal {X\cap Y}=0\)
直和
\(\mathcal {V = X\oplus Y}\)
等价命题
- \(\mathcal {V = X\oplus Y}\)
- 任意v，有唯一x, y 使得 v = x + y
- \(B_X \cap B_Y = \emptyset\) 并且 \(B_X \cup B_Y\) 是 V 的基
投影
如果 \(\mathcal {V = X\oplus Y}\)， v = x + y
x 被称为 v 沿 Y 到 X 上的投影
y 被称为 v 沿 X 到 Y 上的投影
投影算子
Pv = x
性质
-
P^2 = P
-
I - P 是互补投影算子（投影到Y）
-
R(P)=N(I-P)=X R(I_P)=N(P)=Y
-
\(P = [X|0][X|Y]^{-1} = [X|Y]\left[\matrix{I \ 0 \\ 0 \ 0}\right][X|Y]^{-1}\)，其中 X, Y 分别为 \(\mathcal {X, Y}\) 的基。
满足幂等性质的线性算子就是投影算子 P^2 = P
值零分解Range-Nullspace Decomposition –方阵
值零分解
若A是奇异的，则存在k，使得
\(R^n=R(A^k)⊕N(A^k)\)，其中 最小的 k 为 A 的 index
若A是非奇异的， 定义index(A)=0
求index
计算 A^k, A^{k+1} 秩不变
幂零矩阵 N^k = 0
核零分解 Core-Nillpotent分解
通过相似变换
\(Q^{-1}AQ = \left(\matrix{C_{r\times r} 0\\ 0 N}\right)\)，其中 rank(A^k) = r , N^k = 0
Drazin Inverse
方阵
\(A^DAA^D = A^D,AA^D = A^DA, A^{k+1}A^D = A^k\)， 其中 k = index(A)
正交分解
正交补
与 W 正交的所有向量的集合 \(W^\perp\)
正交补子空间
M 是 V 的子空间，则
\(\mathcal {V = M\oplus M^{\perp}}\)
若 \(\mathcal {V = M\oplus N}\) 并且 \(\mathcal {N \perp M}\)
那么 \(\mathcal {N = M^{\perp}}\)
垂直运算
-
\(\dim M^{\perp} = n - \dim M\)
-
\(M^{\perp ^\perp} = M\)
正交分解理论
对于任意矩阵 A，都有：
- \(R(A) ^{\perp}= N(A^T)\)
- \(N(A)^{\perp}= R(A^T)\)
- \(R^m = R(A) \oplus N(A^T)\)
- \(R^n = N(A) \oplus R(A^T)\)
矩阵的四个基本子空间
- R(A) 是行空间 \(N(A^T)\) 的正交补
- N(A) 是行空间 \(R(A^T)\) 的正交补
URV分解 – 非方阵
数值计算稳定
每个 \(A \in R^{m \times n}\) 都有 正交矩阵U， V 和非奇异矩阵 C
- U 的前 r 列是 R(A) 的标准正交基
- U 的后 m-r 列是 R(A)垂直/N(A^T) 的标准正交基
- V 的前 r 列是 N(A)垂直/R(A^T) 的标准正交基
- V 的后 n-r 列是 N(A) 的标准正交基
RPN矩阵 Range Perpendicular to Nullspace
也叫 值域对称矩阵，EP矩阵
非奇异矩阵是平凡 RPN矩阵，零空间是 0
正规矩阵 AA* = A*A
Hermitian A=A*
对称矩阵 A = A^T
等价命题 R(A) = R(A^T)
- \(R(A) {\perp} N(A)\)
- \(R(A)= R(A^T)\)
- \(N(A)= N(A^T)\)
- \(\mathbf{A}=\mathbf{U}\left(\begin{array}{cc} \mathbf{C}_{r \times r} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{array}\right)U^{T}\)
奇异值分解
每个 \(A \in R^{m \times n}\) 都有 正交矩阵U， V 和对角矩阵 \(D=diag(\sigma_1, \sigma_2, …, \sigma_r)\)
\(\mathbf{A}=\mathbf{U}\left(\begin{array}{cc} \mathbf{D} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{array}\right)_{m \times n}V^{T}\)
应用
- 对单位球变换的拉伸度量
- 线性系统敏感性分析
- 最近的 rank(k)矩阵距离 $ \min |A-B|_2$
- 整理嘈杂的数据，提取相关信息，相当于傅里叶展开
伪逆（非方阵）
满足四条 Penrose方程
AA†A = A, A†AA† = A†, (AA†)T = AA†, (A†A)T = A†A
正交投影
每对互补子空间定义了一个投影算子
当子空间互相垂直，则为正交投影
定义
v = m + n， \(m \in M\) 并且 \(n \in M^{\perp}\)
- m 被称为 v 到 M 上的正交投影
- \(P_{M}\) 沿着 \(M^{\perp}\) 到 M 上的投影算子
- \(P_{M}v = m\)
构造投影算子
M 是 \(\mathcal M\) 的基，则
- \(P_{M}=M(M^TM)^{-1}M^T\) , \(P_{M^{\perp}}=N(N^TN)^{-1}N^T\)
M 包含标准正交基
- \(P_M = MM^T\)
- \(P_{M} = (M|N)\left( \matrix{I_r 0 \\ 0 0}\right)(M|N)^T\)
- \(P_{M^{\perp}}=I-P_M\)
正交投影算子
投影算子P 是正交投影算子
等价命题
- \(R(P) \perp N(P)\)
- \(P^T = P\)
- \(\|P\|_2 = 1\)
最近点理论
M 是 内积空间 V 的子空间， b 是 V 的向量，M 上离 b 最近的向量是
p = PMb， b 到 M 上的正交投影
b 和 M 的正交距离：
最小平方解
等价命题
-
\(\left\|\mathbf{A \hat x} - \mathbf{b}\right\|_{2}= \min _{x \in R^n}\left\|\mathbf{Ax} - \mathbf{b}\right\|_{2}\)
-
\(A\hat x = P_{R(A)}b\)
-
\(A^TA\hat x = A^Tb\)
-
\(\hat x \in A^{+}b + N(A)\)
9 矩阵行列式
定义
\(\det (\bold A) = \sum _p \sigma(p)a_{1p_1}a_{2p_2}\cdots a_{np_n}\)，其中 \(\sigma(p) = \cases {+1\ p是偶排列\\-1\ p是奇排列 }\)
行列式表示也可以用 \(|\bold A|\)
行操作对行列式的影响
两行交换：det(B) = - det(A)
某行数乘：det(B) = a det(A)
i 行 a 倍加到 j 行：det(B) = det(A)
可逆性与行列式
- 非奇异 <==> det(A) /= 0
- 奇异 <==> det(A) = 0
乘积法则
det(AB) = det(A)3det(B) 所有n x n矩阵
\(\det(\matrix{A \ B \\ 0 \ D}) = \det(A) \det(D)\) A，D为方阵
行列式计算
PA = LU
\(\det(A) = \sigma u_{11}u_{22}\cdots u_{nn}\)，\(\sigma\) 根据行交换次数奇偶性确定
行列式微分
\(A_{n\times n} = [a_{ij}(t)]\) 的元素是 t 的可微函数
\(\frac {d(\det(A)) } {dt} = \det(D_1) + \det(D_2) + \cdots + det(D_n)\)，其中 \(D_i\) 表示 A 的第 i 行被该行的微分替代。
秩1矩阵更新
\(\det(I+cd^T) = 1 + d^Tc\)
\(\det(A+cd^T) = \det(A)(1 + d^TA^{-1}c)\)
克莱姆法则
\(x_i = \frac {\det(A_i)} {\det(A)}\)，其中 \(A_i\) 表示 A 的第 i 列替换为 b
代数余子式
\(\AA_{ij}=(-1)^{i+j}M_{ij}\)
求逆
adjugate 伴随矩阵 adj(A) = \(\AA^T\) 代数余子式构成的矩阵的转置
adjoint 伴随矩阵 \(A^*\)
\(A^{-1} = \frac {\AA^T} {\det(A)}\)
10 特征值
定义
\(Ax = \lambda x\)，其中 \(\lambda\) 和 x 被称为特征值和特征向量
\(\sigma(A)\) 特征值集合， A的频谱spectrum
\(\lambda \in \sigma(A) <==> A-\lambda I 是奇异矩阵 <==> \det(A-\lambda I)=0\)
特征方程
A的行列式 为 特征值之积
A的迹 为 特征值之和
谱半径
A 的最大特征值的绝对值
相似变换对角化
相似性
\(P^{-1}AP = B\) 则A 与 B 相似，左边为A的相似变换
可对角化
A 相似于对角阵 <=> A 有 n 个特征向量 <=> \(P^{-1}AP=diag(\lambda…)\),P每一列为特征向量
代数重数
特征方程的指数
几何重数
\(geo\ mult_A(\lambda)=dim N(A-\lambda I) \leq alg \ mult_A(\lambda)\)
对于每个特征值，代数重数等于几何重数，等价于 A 可对角化
频谱分解
)
正规矩阵
\(A^*A = AA^*\) <==> A 可酉对角化，被称为正规矩阵
性质
-
A 是 RPN矩阵
-
R(A − λiI)⊥N(A − λiI).
对称矩阵和Hermitian矩阵
A 是 实对称矩阵 <==> A 正交相似于 实对角矩阵 \(P^TAP = D\)
正定矩阵
等价定义
-
\(x^TAx>0\)
-
对称矩阵A的特征值是正数
-
\(A=B^TB\) 能分解为非奇异矩阵
-
LU分解后，主元为正
-
顺序主子式为正
-
主子式为正
二次型
\(f(x) = x^TAx\)
