矩阵分析与应用笔记 | 国科大李保滨课程总结

目录

• 1 课程介绍
• 2-3 线性方程组
• 4 矩阵代数
• 5 向量空间
• 6 线性变换
  • 基变换
  • 不变子空间
• 7-8 模和内积
  • Norms模--长度
  • Inner Products内积--夹角/几何关系
  • 正交
  • 正交矩阵
  • 互补子空间 Complementary Subspace
  • 值零分解Range-Nullspace Decomposition –方阵
  • 正交分解
  • 奇异值分解
  • 正交投影
• 9 矩阵行列式
• 10 特征值

1 课程介绍

2-3 线性方程组

高斯消去法

交换两行，任意行数乘，一行数乘加到另一行

==> 上三角形

==> 回代

复杂度

乘法 $\frac {n^3} 3 + n^2 - \frac n 3$

加法 $\frac {n^3} 3 + \frac {n^2} 2 - \frac {5n} 6$

Gauss-Jordan法

多了两个步骤

• pivot变为1
• 消去pivot上面的元素

变换为单位阵

复杂度

乘法 $\frac {n^3} 2 + \frac {n^2} 2$

加法 $\frac {n^3} 2 - \frac {n} 2$

部分主元法

交换行使主元最大（绝对值）

行阶梯形 定义了矩阵的秩

修改高斯消去法

每行从左到右找非零元，消去后不一定得到上三角形式

秩

• 主元pivot的数量
• 非零行的数量
• 基本列（包含主元）的数量

齐次方程

$[A|0]$

非齐次方程

右边含有非零数值

平凡解

x=0

[A|b] ==> E[A|b]

解的形式

x = p非齐次方程特解 + (n-r)齐次方程通解

4 矩阵代数

矩阵加法性质

标量乘法性质

共轭转置

对称性

矩阵乘法

不可交换

乘积的行列

$[AB]_{i*} = A_{i*}B$

$[AB]_{*j} = AB_{*j}$

分配律 结合律

转置

$(AB)^T = B^TA^T$

分块乘法

逆矩阵

逆存在性等价描述

• rank(A) = n
• Gauss-Jordan, A –> I
• Ax = 0 ==> x =0

逆的计算

$[A|I] –-> [I|A^{-1}]$

复杂度 $n^3$

$(I+cd^T)^{-1} = I - \frac {cd^T}{1+d^Tc}$

三种基本行变换

$E1 = I - uu^T, u = e_1 - e_2$ 交换两行

$E2 = I - (1-a)e_2e_2^T$ 乘上a倍

$E3 = I +ae_3e_1^T$ 第一行a倍加到第三行

左乘：基本行变换

相似矩阵

秩相等

推论：与非奇异矩阵的乘法不改变秩

LU分解

A = LU

解方程

LUx = b

Ux = y, Ly = b

5 向量空间

定义 两个集合 $x\in \mathcal V, \alpha \in \mathcal F$ 两个基本运算：加法和标量乘法

（1）加法封闭

（2）加法结合律

（3）加法交换律

（4）加法零元

（5）加法逆元

（6）数乘封闭

（7）数乘结合律

（8）数乘分配律

（9）数乘分配律

（10）单位元

子空间

是V的子集且满足

（1）加法封闭

（6）数乘封闭

张成集合

$\mathcal S = {v_1, v_2, …, v_r}$,

子空间 $span\{\mathcal S \}=\{\alpha_1v_1+\alpha_2v_2+...+\alpha_rv_r\ | \alpha_i \in \mathcal F \}$

Range Spaces值域空间

列空间

R(A)，相当于$f(x) = Ax, A \in R^{m \times n}$，也叫 A 的像空间(image space)

行空间，左值域

$R(A^T)$

Nullspace 零空间

• $N(A)$

  $N(f) = \{x_{n\times 1}|Ax=0\}, A \in R^{m\times n}$

• $N(A^T)$ 左零空间

  $N(g) = \{x_{m\times 1}|A^Tx=0\}, A \in R^{m\times n}$

线性无关

A 的列构成线性无关集合

等价于

• rank(A)=n

• N(A) =

对角占优矩阵是非奇异的

Vandermonde Matrices

$$\mathbf{V}_{m \times n}=\left(\begin{array}{ccccc} 1 & x_{1} & x_{1}^{2} & \cdots & x_{1}^{n-1} \\ 1 & x_{2} & x_{2}^{2} & \cdots & x_{2}^{n-1} \\ \vdots & \vdots & \vdots & \cdots & \vdots \\ 1 & x_{m} & x_{m}^{2} & \cdots & x_{m}^{n-1} \end{array}\right)$$

Wronski matrix

$$\mathbf{W}=\left(\begin{array}{cccc} f_{1}(x) & f_{2}(x) & \cdots & f_{n}(x) \\ f_{1}^{\prime}(x) & f_{2}^{\prime}(x) & \cdots & f_{n}^{\prime}(x) \\ \vdots & \vdots & \ddots & \vdots \\ f_{1}^{(n-1)}(x) & f_{2}^{(n-1)}(x) & \cdots & f_{n}^{(n-1)}(x) \end{array}\right)$$

basis 基

A linearly independent spanning set for a vector space V is called a basis of V.

一组线性无关的张成集合

标准基

$R^n$ 空间： $\mathcal S = {e_1, e_2, …, e_n}$

多项式：{1, x, x^2, … x^n}

{0}：空集

等价命题

• 最小的张成集合
• 最大线性无关子集

维度

等价命题

• V 基的向量个数

• V 最小张成集合的向量个数

• V 最大线性无关子集的向量个数

秩

等价命题

rank(A) $A \in R^{m \times n}$

• 等价A的行阶梯矩阵的非零行
• 行阶梯矩阵主元数量
• 基本列数量
• 线性无关列数量
• 线性无关行数量
• dim R(A)
• dim R(A^T)
• n - dim N(A)
• m - dim N(A^T)
• A中最大非奇异矩阵

incidence matrix 入射矩阵

包含 m 个节点 n 条边

每条边对应一列中，一列中包含一组 1， -1 ，对应出点和入点

$$e_{k,j} = \cases{ 1 \text{, 边指向 N_k} \\-1 \text{, 边来自 N_k}\\0}$$

连通图，rank(E) = m - 1

Normal Equations

$A^TAx = A^Tb$

$x = (A^TA)^{-1}A^Tb$

Rank等价定义

6 线性变换

零变换

恒等变换

线性变换 $A \in R^{m \times n}$

从 $R^n ==> R^m$

线性算子 $A \in R^{n \times n}$

旋转 Q

投影 P

反射 R

有限维空间的线性变换都有矩阵表示

$\mathcal U$ 空间的向量u 在基 $\mathcal B = {u_1, u_2, …, u_n}$ 下表示为

$u = \alpha_1u_1+\alpha_2u_2+...+\alpha_ru_n$

$\alpha_i$ 称为 关于B的坐标 $[v]_B = (\alpha_1, \alpha_2, …, \alpha_n)^T$

线性变换空间

$\mathcal L(\mathcal U, \mathcal V)$ 表示所有从U变换到V的集合

$B_{ji}(u) = \xi_jv_i$， 其中 $(\xi_1, \xi_2, …, \xi_n)^T = [u]_B$

• 基 $B_L = \{B_{ji}\}_{j=1...n}^{i=1...m}$

• dim L(U,V) = (dim U) (dim V)

坐标矩阵表示

每个 u 在 B’ 下的坐标表示作为每一列

坐标变换转化为矩阵乘法

$[T(u)]_{B’} = [T]_{BB’} [u]_{B}$，其中 $[T]_{BB’}$ 为 u 经过 T 变换后在 v 下的坐标表示。

$[T]_B$ 代表 $[T]_{BB}$，为方阵

基变换

坐标变换

相似性

$B \simeq C$ ：存在非奇异矩阵Q，使得 $B = Q^{-1}CQ$ 。

相似变换：$f: R^{n\times n} \to R^{n \times n}$ ，$f(C) = Q^{-1}CQ$ 。

不变子空间

定义

• 在变换T下的不变子空间 $\mathcal{X \subseteq V}$, 且 $\bold T(\mathcal X) \subseteq \mathcal X$

• T 这时可以作为一个线性算子，表示为 $\bold T_{/ \mathcal X}$ 。

上三角和对角块形式

T 是 n x n矩阵，下面的命题是等价的

• $\mathbf{Q}^{-1} \mathbf{T Q}=\left(\begin{array}{cc} \mathbf{A}_{r \times r} & \mathbf{B}_{r \times q} \\ \mathbf{0} & \mathbf{C}_{q \times q} \end{array}\right)$ 当且仅当 Q 的前 r 列张成 T 下的不变子空间
• $\mathbf{Q}^{-1} \mathbf{T Q}=\left(\begin{array}{cccc} \mathbf{A}_{r_{1} \times r_{1}} & \mathbf{0} & \cdots & \mathbf{0} \\ \mathbf{0} & \mathbf{B}_{r_{2} \times r_{2}} & \cdots & \mathbf{0} \\ \vdots & \vdots & \ddots & \vdots \\ \mathbf{0} & \mathbf{0} & \cdots & \mathbf{C}_{r_{k} \times r_{k}} \end{array}\right)$ 当且仅当 Q = (Q1|Q2|…|Qk)，每一个 Qi 张成 T 下的不变子空间

7-8 模和内积

Norms模--长度

模：空间几何的概念

范数：线性代数中的概念

向量的模满足

• 正定性 $\|x\| \ge 0$ 当且仅当 x=0， $\|x\| = 0$
• 齐次性
• 三角不等式 $\|x+y\| \le \|x\| + \|y\|$

欧几里得模

$\|x\| = \sqrt{x^Tx}$

$\|x\| = \sqrt{x^*x}$ 复数向量

p-模

$\|x\|_p = (\sum_{i=1}^n\|x_i|^p)^{1/p}$

矩阵的模满足

• 正定性
• 齐次性
• 三角不等式
• 相容性 $\|AB\| \le \|A\| \|B\|$

Frobenius矩阵模

$\|A\|_F^2=\sum_{i,j}|a_{ij}|^2 = trace(A^*A)$

矩阵2模

$\|A\|_2 = \max_{\|x\|_2=1} \|Ax\|_2 = \sqrt {\lambda_{\max}}$ ，其中 $\lambda$ 为 $A^*A$ 的最大的特征值。

矩阵1模、无穷模

Inner Products内积--夹角/几何关系

内积

标准向量内积 $<x|y> = x^Ty$

椭圆内积 $<x|y> = x^*A^*Ay$

标准矩阵内积 $<A|B>=trace(A^TB)$

内积空间可以定义模：

模等于内积开方

满足平行四边形法则，才有：

内积等于模平方 $<*|*> = \|*\|^2$

只有在 p=2情况下 平行四边形法则才满足，因此内积只能产生欧几里得模（二模）

$\|x+y\|^2 + \|x-y\|^2 = 2(\|x\|^2+\|y\|^2)$

因为左边p-模等于2* 2^(2/p)，右边p-模恒等于4

正交

正交

$x \perp y <==> x^Ty=0$

角度

$\cos \theta = \frac {<x|y>}{\|x\|\|y\|}$

标准正交集合/规范正交基

$<u_i|u_j> =\cases {1 \ \text{when i==j}\\ 0 \ \text{when i/= j}}$

GramSchmidt施密特正交化

QR分解

把A写成n列，进行施密特正交化分解

将A分解为 Q R

$A_{m×n} = Q_{m×n}R_{n×n}$

如果 $A \in R^{n\times n}$ 是非奇异矩阵，Q是单位正交基，所以 $Q^T=Q^{-1}$ 。

$Ax = b ⇐⇒ QRx = b ⇔ Rx = Q^T b$

改进的施密特正交化

正交矩阵

酉矩阵和正交矩阵

Unitary and Orthogonal Matrices

酉矩阵（正交矩阵） 列构成标准正交基（复数域、实数域）

$U^∗U = I ⇐⇒ U^{−1} = U^∗, ⇐⇒ UU^∗ = I$

与酉矩阵相乘，不改变向量的长度

$∥Ux∥^2 = x^∗U^∗Ux = x^∗x = ∥x∥2 ∀x ∈ Cn$

等价命题

• 行 标准正交
• 列 标准正交
• 逆等于转置
• 不改变向量长度

单位矩阵(identity matrix) I是正交矩阵

置换矩阵是正交矩阵

初等正交投影算子

$Q = I - uu^*$ 投影到u垂直上，其中 $\|u\|=1$

正交投影算子

$P_u = \frac {uu^*}{u^*u}$ 投影到span{u}上

$P_{u^{\perp}} = I- \frac {uu^*}{u^*u}$ 投影到u垂直上

初等镜面反射算子/Householder变换

$R = I-2\frac {uu^*}{u^*u}$

性质 $R = R^{-1}$ $(由于R^2=I)$

Householder reduction

$A_{m×n} = [A∗1|A∗2| · · · |A∗n]$

首先用第一列构造镜面反射算子：

$R_1 = I − 2\frac {uu^∗} {u^*u}$, $u = A_{∗1} ± µ\| A_{∗1}\|e_1$，其中 $\mu = \cases {1 \ ,x_1 是实数\\ x_1/|x_1| \ ,x_1是复数}$

使得 $R_1A_{*1} = ∓ µ\| A_{∗1}\|e_1 = (t_{11},0,\cdots,0)^T$

平面旋转/Givens旋转

$P_{ij}x$ 通过旋转，使 $x_j$ 的坐标值为0

任意向量，旋转到第 i 个坐标轴上，得到 $Px = \|x\| e_i$， 其中 $P = P_{in}\cdots P_{i,i+1}P{i,i-1}\cdots P_{i1}$

互补子空间 Complementary Subspace

互补子空间

$\mathcal {V = X+ Y}$ 并且 $\mathcal {X\cap Y}=0$

直和

$\mathcal {V = X\oplus Y}$

等价命题

• $\mathcal {V = X\oplus Y}$
• 任意v，有唯一x, y 使得 v = x + y
• $B_X \cap B_Y = \emptyset$ 并且 $B_X \cup B_Y$ 是 V 的基

投影

如果 $\mathcal {V = X\oplus Y}$， v = x + y

x 被称为 v 沿 Y 到 X 上的投影

y 被称为 v 沿 X 到 Y 上的投影

投影算子

Pv = x

性质

• P^2 = P

• I - P 是互补投影算子（投影到Y）

• R(P)=N(I-P)=X R(I_P)=N(P)=Y

• $P = [X|0][X|Y]^{-1} = [X|Y]\left[\matrix{I \ 0 \\ 0 \ 0}\right][X|Y]^{-1}$，其中 X, Y 分别为 $\mathcal {X, Y}$ 的基。

满足幂等性质的线性算子就是投影算子 P^2 = P

值零分解Range-Nullspace Decomposition –方阵

值零分解

若A是奇异的，则存在k，使得

$R^n=R(A^k)⊕N(A^k)$，其中 最小的 k 为 A 的 index

若A是非奇异的， 定义index(A)=0

求index

计算 A^k, A^{k+1} 秩不变

幂零矩阵 N^k = 0

核零分解 Core-Nillpotent分解

通过相似变换

$Q^{-1}AQ = \left(\matrix{C_{r\times r} 0\\ 0 N}\right)$，其中 rank(A^k) = r , N^k = 0

Drazin Inverse

方阵

$$\mathbf{A}=\mathbf{Q}\left(\begin{array}{ll} \mathbf{C} & 0 \\ 0 & \mathbf{N} \end{array}\right) \mathbf{Q}^{-1}, \text { then } \mathbf{A}^{D}=\mathbf{Q}\left(\begin{array}{ll} \mathbf{C}^{-1} & 0 \\ 0 & 0 \end{array}\right) \mathbf{Q}^{-1}$$

$A^DAA^D = A^D,AA^D = A^DA, A^{k+1}A^D = A^k$， 其中 k = index(A)

正交分解

正交补

与 W 正交的所有向量的集合 $W^\perp$

正交补子空间

M 是 V 的子空间，则

$\mathcal {V = M\oplus M^{\perp}}$

若 $\mathcal {V = M\oplus N}$ 并且 $\mathcal {N \perp M}$

那么 $\mathcal {N = M^{\perp}}$

垂直运算

• $\dim M^{\perp} = n - \dim M$

• $M^{\perp ^\perp} = M$

正交分解理论

对于任意矩阵 A，都有：

• $R(A) ^{\perp}= N(A^T)$
• $N(A)^{\perp}= R(A^T)$
• $R^m = R(A) \oplus N(A^T)$
• $R^n = N(A) \oplus R(A^T)$

矩阵的四个基本子空间

• R(A) 是行空间 $N(A^T)$ 的正交补
• N(A) 是行空间 $R(A^T)$ 的正交补

URV分解 – 非方阵

数值计算稳定

每个 $A \in R^{m \times n}$ 都有 正交矩阵U， V 和非奇异矩阵 C

$$\mathbf{A}=\mathbf{U R V}^{T}=\mathbf{U}\left(\begin{array}{cc} \mathbf{C}_{r \times r} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{array}\right)_{m \times n}V^{T}$$

• U 的前 r 列是 R(A) 的标准正交基
• U 的后 m-r 列是 R(A)垂直/N(A^T) 的标准正交基
• V 的前 r 列是 N(A)垂直/R(A^T) 的标准正交基
• V 的后 n-r 列是 N(A) 的标准正交基

RPN矩阵 Range Perpendicular to Nullspace

也叫 值域对称矩阵，EP矩阵

非奇异矩阵是平凡 RPN矩阵，零空间是 0

正规矩阵 AA* = A*A

Hermitian A=A*

对称矩阵 A = A^T

等价命题 R(A) = R(A^T)

• $R(A) {\perp} N(A)$
• $R(A)= R(A^T)$
• $N(A)= N(A^T)$
• $\mathbf{A}=\mathbf{U}\left(\begin{array}{cc} \mathbf{C}_{r \times r} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{array}\right)U^{T}$

奇异值分解

每个 $A \in R^{m \times n}$ 都有 正交矩阵U， V 和对角矩阵 $D=diag(\sigma_1, \sigma_2, …, \sigma_r)$

$\mathbf{A}=\mathbf{U}\left(\begin{array}{cc} \mathbf{D} & \mathbf{0} \\ \mathbf{0} & \mathbf{0} \end{array}\right)_{m \times n}V^{T}$

应用

• 对单位球变换的拉伸度量
• 线性系统敏感性分析
• 最近的 rank(k)矩阵距离 $\min |A-B|_2$
• 整理嘈杂的数据，提取相关信息，相当于傅里叶展开

伪逆（非方阵）

满足四条 Penrose方程

AA†A = A, A†AA† = A†, (AA†)T = AA†, (A†A)T = A†A

正交投影

每对互补子空间定义了一个投影算子

当子空间互相垂直，则为正交投影

定义

v = m + n， $m \in M$ 并且 $n \in M^{\perp}$

• m 被称为 v 到 M 上的正交投影
• $P_{M}$ 沿着 $M^{\perp}$ 到 M 上的投影算子
• $P_{M}v = m$

构造投影算子

M 是 $\mathcal M$ 的基，则

• $P_{M}=M(M^TM)^{-1}M^T$ , $P_{M^{\perp}}=N(N^TN)^{-1}N^T$

M 包含标准正交基

• $P_M = MM^T$
• $P_{M} = (M|N)\left( \matrix{I_r 0 \\ 0 0}\right)(M|N)^T$
• $P_{M^{\perp}}=I-P_M$

正交投影算子

投影算子P 是正交投影算子

等价命题

• $R(P) \perp N(P)$
• $P^T = P$
• $\|P\|_2 = 1$

最近点理论

M 是 内积空间 V 的子空间， b 是 V 的向量，M 上离 b 最近的向量是

p = PMb， b 到 M 上的正交投影

b 和 M 的正交距离：

$$\min _{\mathbf{m} \in \mathcal{M}}\|\mathbf{b}-\mathbf{m}\|_{2}=\left\|\mathbf{b}-\mathbf{P}_{\mathcal{M}} \mathbf{b}\right\|_{2}=\operatorname{dist}(\mathbf{b}, \mathcal{M})$$

最小平方解

等价命题

• $\left\|\mathbf{A \hat x} - \mathbf{b}\right\|_{2}= \min _{x \in R^n}\left\|\mathbf{Ax} - \mathbf{b}\right\|_{2}$

• $A\hat x = P_{R(A)}b$

• $A^TA\hat x = A^Tb$

• $\hat x \in A^{+}b + N(A)$

9 矩阵行列式

定义

$\det (\bold A) = \sum _p \sigma(p)a_{1p_1}a_{2p_2}\cdots a_{np_n}$，其中 $\sigma(p) = \cases {+1\ p是偶排列\\-1\ p是奇排列 }$

行列式表示也可以用 $|\bold A|$

行操作对行列式的影响

两行交换：det(B) = - det(A)

某行数乘：det(B) = a det(A)

i 行 a 倍加到 j 行：det(B) = det(A)

可逆性与行列式

• 非奇异 <==> det(A) /= 0
• 奇异 <==> det(A) = 0

乘积法则

det(AB) = det(A)3det(B) 所有n x n矩阵

$\det(\matrix{A \ B \\ 0 \ D}) = \det(A) \det(D)$ A，D为方阵

行列式计算

PA = LU

$\det(A) = \sigma u_{11}u_{22}\cdots u_{nn}$，$\sigma$ 根据行交换次数奇偶性确定

行列式微分

$A_{n\times n} = [a_{ij}(t)]$ 的元素是 t 的可微函数

$\frac {d(\det(A)) } {dt} = \det(D_1) + \det(D_2) + \cdots + det(D_n)$，其中 $D_i$ 表示 A 的第 i 行被该行的微分替代。

秩1矩阵更新

$\det(I+cd^T) = 1 + d^Tc$

$\det(A+cd^T) = \det(A)(1 + d^TA^{-1}c)$

克莱姆法则

$x_i = \frac {\det(A_i)} {\det(A)}$，其中 $A_i$ 表示 A 的第 i 列替换为 b

代数余子式

$\AA_{ij}=(-1)^{i+j}M_{ij}$

求逆

adjugate 伴随矩阵 adj(A) = $\AA^T$ 代数余子式构成的矩阵的转置

adjoint 伴随矩阵 $A^*$

$A^{-1} = \frac {\AA^T} {\det(A)}$

10 特征值

定义

$Ax = \lambda x$，其中 $\lambda$ 和 x 被称为特征值和特征向量

$\sigma(A)$ 特征值集合， A的频谱spectrum

$\lambda \in \sigma(A) <==> A-\lambda I 是奇异矩阵 <==> \det(A-\lambda I)=0$

特征方程

A的行列式 为 特征值之积

A的迹 为 特征值之和

谱半径

A 的最大特征值的绝对值

相似变换对角化

相似性

$P^{-1}AP = B$ 则A 与 B 相似，左边为A的相似变换

可对角化

A 相似于对角阵 <=> A 有 n 个特征向量 <=> $P^{-1}AP=diag(\lambda…)$,P每一列为特征向量​

代数重数

特征方程的指数

几何重数

$geo\ mult_A(\lambda)=dim N(A-\lambda I) \leq alg \ mult_A(\lambda)$

对于每个特征值，代数重数等于几何重数，等价于 A 可对角化

频谱分解

)

正规矩阵

$A^*A = AA^*$ <==> A 可酉对角化，被称为正规矩阵

性质

• A 是 RPN矩阵

• R(A − λiI)⊥N(A − λiI).

对称矩阵和Hermitian矩阵

A 是 实对称矩阵 <==> A 正交相似于 实对角矩阵 $P^TAP = D$

正定矩阵

等价定义

• $x^TAx>0$

• 对称矩阵A的特征值是正数

• $A=B^TB$ 能分解为非奇异矩阵

• LU分解后，主元为正

• 顺序主子式为正

• 主子式为正

二次型

$f(x) = x^TAx$