1.11 The Four Fundamental Subspaces 阅读笔记

四个基本子空间

reference的内容为唯一教程，接下来的内容仅为本人的课后感悟，对他人或无法起到任何指导作用。

Reference

1. Course website: The Four Fundamental Subspaces | Unit I: Ax = b and the Four Subspaces | Linear Algebra | Mathematics | MIT OpenCourseWare
2. Course video: 【完整版-麻省理工-线性代数】全34讲 配套教材_哔哩哔哩_bilibili
3. Course summary: Lecture 10: The four fundamental subspaces (mit.edu)
4. Extra reading: Section 3.5 in Introduction to Linear Algebra, Fifth Edition by Gilbert Strang.

---

为什么 $(1,1,2)$，$(2,2,5)$，$(3,3,8)$ 也是线性相关的？

凑成方阵 $\begin{bmatrix} 1 & 2 & 3\\ 1 & 2 & 3\\ 2 & 5 & 8 \end{bmatrix}$ 发现前两行是一样的，reduced echelon form 至少消去一行。所以行向量线性相关，列向量也线性相关。

列怎么样和行怎么样有一些关系，这个在今天的讨论范围内。

Four Fundamental Subspaces

对于一个矩阵 $\boldsymbol{A}_{m\times n}$，有如下四个基本子空间：

Column Space（列空间）：$\boldsymbol{C}(\boldsymbol{A})\in\R^{m}$

Null Space（零空间）：$\boldsymbol{N}(\boldsymbol{A})\in\R^{n}$

Row Space（行空间）：$\boldsymbol{C}(\boldsymbol{A}^\mathrm{T})\in\R^{n}$（行向量线性组合的空间，也就是A转置的列空间）

Left Null Space（左零空间）：$\boldsymbol{N}(\boldsymbol{A}^\mathrm{T})\in\R^{m}$（先不说为什么叫“左”零，是A^Ty=0的解空间）

Basis, Dimension, and Big Picture

这是 Unit 1 的 big picture。

• 为什么行空间和列空间的维度是一样的？
• 为什么左零空间的维度是 $m-r$？
• $\dim \boldsymbol{C}(\boldsymbol{A}^\mathrm{T}) +\dim \boldsymbol{N}(\boldsymbol{A})=n$，$\dim \boldsymbol{C}(\boldsymbol{A}) +\dim \boldsymbol{N}(\boldsymbol{A}^\mathrm{T})=m$，为什么是这么组合？

第三个问题可以回答，因为行空间和零空间都属于 $\R^n$，另外两个属于 $\R^m$，因此这么组合。行空间和零空间构成 $\R^n$，列空间和左零空间构成 $\R^m$。

Column Space

$r$ 个主元构成的列形成了列空间的基，$\dim \boldsymbol{C}(\boldsymbol{A})=r$。

Null Space

$n-r$ 个 special solutions 形成了零空间的基，$\dim \boldsymbol{N}(\boldsymbol{A})=n-r$

Row Space

通过 row operation 可以得到 Reduced Echelon Form。

$\boldsymbol{A}= \begin{bmatrix} 1 & 2 & 3 & 1 \\ 1 & 1 & 2 & 1 \\ 1 & 2 & 3 & 1 \\ \end{bmatrix} \underrightarrow{\text{Reduced Echelon Form}} \begin{bmatrix} 1 & 0 & 1 & 1 \\ 0 & 1 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ \end{bmatrix}=\boldsymbol{R} \\$

左边，$\boldsymbol{C}(\boldsymbol{A})$ 可以表示出第三个分量非零的向量。但是右边，$\boldsymbol{C}(\boldsymbol{R})$ 无论怎么表示第三个分量永远是零。因此有 $\boldsymbol{C}(\boldsymbol{A})\ne\boldsymbol{C}(\boldsymbol{R})$。

但是 row operation 本质上是对行向量的线性组合，左边的行向量经过线性组合能表示出右边的行向量，因此两边行向量线性组合出的空间是一样的，因此必然有：$\boldsymbol{C}(\boldsymbol{A}^\mathrm{T})=\boldsymbol{C}(\boldsymbol{R}^\mathrm{T})$。

而零向量必不可能在基里面，因为零向量和任何向量线性相关。而 $r$ 个主元所在行也是线性无关的，因为行向量前 $r$ 个元素是单位向量，非零的线性组合不可能把这些元素组成零。因此：

$r$ 个 Reduced Echelon Form矩阵R的非零行构成行空间的基，$\dim \boldsymbol{C}(\boldsymbol{A}^\mathrm{T})=r$

列空间的维度等价于矩阵的秩，因此矩阵和矩阵转置的秩也是一样的。

Left Null Space

为什么叫做“左”零空间呢？因为有 $\boldsymbol{A}^\mathrm{T}\boldsymbol{y}=\boldsymbol{0}\Rightarrow \boldsymbol{y}^\mathrm{T}\boldsymbol{A}=\boldsymbol{0}^\mathrm{T}$。未知量在左边，零向量躺着，故叫做左零空间。

把 $\boldsymbol{A}^\mathrm{T}$ 看作 $\boldsymbol{A}'$，大小为 $n\times m$。因此其零空间的维度为 $m-r$（转置的秩等于原来的秩）。

但是基是什么呢？再次观察 Reduced Echelon Form：

我们知道 $(\boldsymbol{P})\boldsymbol{E}\boldsymbol{A}=\boldsymbol{R}$（讲义里面很仔细地解释了）

仍然用 Row Space 的例子：

$\boldsymbol{E}\boldsymbol{A}= \boldsymbol{E}\cdot\begin{bmatrix} 1 & 2 & 3 & 1 \\ 1 & 1 & 2 & 1 \\ 1 & 2 & 3 & 1 \\ \end{bmatrix}=\begin{bmatrix} 1 & 0 & 1 & 1 \\ 0 & 1 & 1 & 0 \\ 0 & 0 & 0 & 0 \\ \end{bmatrix}=\boldsymbol{R} \\$

$R$ 的最后一行全是零，这是因为 $E$ 的最后一行同 $A$ 的每一列相乘的结果都是 0。所以 $E$ 最后一行的行向量乘以 $A$ 得到行零向量，也就是说 $E$ 的最后一行就是 $\boldsymbol{y}^\mathrm{T}$！$E$ 代表着行变换，$E$ 的最后一行正记录怎样对行向量线性组合凑出零行向量（最后一行）

对于任意的矩阵 $A$，$R$ 最下面 $m-r$ 行全是零，所以 $E$ 最下面 $m-r$ 行必然满足 $\boldsymbol{y}^\mathrm{T}\boldsymbol{A}=\boldsymbol{0}^\mathrm{T}$。而且必然是线性无关的。因为 $E$ 是由单位矩阵 I 的单位向量线性组合出来的，其行向量一定还可以可逆地组合回去成为单位向量，因此这些行向量的表示能力等同于单位向量的表示能力，单位向量线性无关那么构成 $E$ 的行向量也线性无关。因此：

得到Reduced Echelon Form的行变换矩阵E的后 $m-r$ 行构成左零空间的基，$\dim \boldsymbol{N}(\boldsymbol{A}^\mathrm{T})=m-r$

New Vector Space

线性空间，向量空间的元素不一定是实数向量。也可以是所有 $3\times 3$ 的矩阵！

只要满足线性空间的八条规律，对线性运算封闭，就可以将其当做线性空间中的元素。因为矩阵本身也满足线性空间的八条运算律，假设不算矩阵乘法，我们就可以将所有 $3\times 3$ 的矩阵看做一个线性空间。它的子空间有上三角矩阵和对称矩阵。

子空间的交仍然是子空间，上三角矩阵和对称矩阵的交为对角矩阵，仍然为子空间。

其维度为3，一组基为：

$$\begin{bmatrix} 1 & 0 & 0\\ 0 & 0 & 0\\ 0 & 0 & 0 \end{bmatrix}, \begin{bmatrix} 0 & 0 & 0\\ 0 & 1 & 0\\ 0 & 0 & 0 \end{bmatrix}, \begin{bmatrix} 0 & 0 & 0\\ 0 & 0 & 0\\ 0 & 0 & 1 \end{bmatrix}$$

研究角度从 $\R^n$ 变成了 $\R^{n\times n}$。