1.10 Independence, Basis and Dimension 阅读笔记

线性相关性，基和维度

reference的内容为唯一教程，接下来的内容仅为本人的课后感悟，对他人或无法起到任何指导作用。

Reference

1. Course website: Independence, Basis and Dimension | Unit I: Ax = b and the Four Subspaces | Linear Algebra | Mathematics | MIT OpenCourseWare
2. Course video: 【完整版-麻省理工-线性代数】全34讲+配套教材_哔哩哔哩_bilibili
3. Course summary: Lecture 9: Independence, basis, and dimension (mit.edu)
4. Extra reading: Section 3.4 in Introduction to Linear Algebra, Fifth Edition by Gilbert Strang.

---

果然我代入了先前学过的东西到这门课程，于是我在第一讲就已经带出来了很多概念，在这一讲需要重新梳理一下。

Linear Independence

正式给出线性独立的定义：向量组的线性组合若非系数全零就无法组合出零向量，那么这组向量线性无关/线性独立，否则线性相关。也就是说如果\(x_{1}\boldsymbol{c}_{1}+\cdots+x_{n}\boldsymbol{c}_{n}=\boldsymbol{0}\)当且仅当所有$ x_{i}=0\(成立，那么向量组\){\boldsymbol{c}_{i}}$线性无关/线性独立，否则线性相关。

它等价于任意一个向量不能由其他向量线性表示。因为如果线性无关，\(\boldsymbol{c}_{1}=\frac{-x_{2}\boldsymbol{c}_{2}-\cdots-x_{n}\boldsymbol{c}_{n}}{x_{1}}\)由于分母为0不成立，就不能线性表示。但是如果线性相关就能线性表示了。反着推也能用这个条件推出上面的条件。

如果\(\boldsymbol{A}=\begin{bmatrix} \boldsymbol{c}_{1} & \cdots & \boldsymbol{c}_{n}\\ \end{bmatrix},\boldsymbol{x}=\begin{bmatrix} x_1 & \cdots & x_n\\ \end{bmatrix}^\mathrm{T}\)，那么显然向量线性独立还等价于\(\boldsymbol{Ax}=\boldsymbol{0}\)不存在非零解，\(\boldsymbol{N}(\boldsymbol{A})=\{\boldsymbol{0}\}\)，\(n-r=0\)，不存在自由变量。如果\(n-r>0\)，线性相关。

m < n

如果 \(m<n\)，由于 \(r\le{m}\)，自由变量数 \(n-r\ge{n-m}>0\)，则必有自由变量，则\(\boldsymbol{Ax}=\boldsymbol{0}\)必有非零解，则 \(\boldsymbol{A}\) 的列向量必然线性相关。

3 Examples

1. 两个共线向量是线性相关的，因为其中一个可以用另一个线性表示。

   

2. 只要有零向量就是线性相关的，总可以让零向量的系数非零其余全零。

   

3. m<n的情况，三个二维向量必然是线性相关的。

   

Span

向量线性组合构成的集合就是span，中文叫做“张成”，这个不太需要再重新介绍了。

用来张成空间的向量既可以线性相关也可以线性无关，但是我们对线性无关的向量更改兴趣，因此才有了基的概念。

Basis

基也是一组向量，但它是相对于某个空间 \(\mathbb{S}\)，而且需要满足两个条件：

• 线性无关
• 能够张成全部空间 \(\mathbb{S}\)

比如 \(\mathbb{R}^3\) 的基可以是 \(\boldsymbol{I}_{3\times{3}}\) 的全部列向量，如果多一个向量，就会线性相关，如果少一个向量比如 \(\begin{pmatrix} 0,0,1 \end{pmatrix}\)，只能张成 \(xoy\) 平面，所以这一个向量的向量组只能是 \(xoy\) 平面的基。

Dimension

首先基没有多余的向量，因此不能太多。而且基必须表示全部空间，因此不能太少，那么到底应该有多少个呢？

一：\(\mathbb{R}^m\) 的基为 \(m\) 个线性无关的 \(m\) 维向量。Why \(m\)？从基的性质出发：

• 线性无关：\(\boldsymbol{N}(\boldsymbol{A})=\{\boldsymbol{0}\}\)，\(n-r=0\)。因为 \(r\le{m}\)，所以 \(r=n\le{m}\)。
• 张成全部空间：\(\boldsymbol{Ax}=\boldsymbol{b}\) 恒有解 \(\Rightarrow \boldsymbol{Rx}=\boldsymbol{c}\) 恒有解 \(\Rightarrow\) 不能有全零行 \(\Rightarrow r=m\)，而 \(r\le n\)，所以 \(n\ge m=r\)。
• 所以 \(n=m=r\)，基向量组成一个可逆方阵。

可以看出 \(\mathbb{R}^m\) 的基必有 \(m\) 个，而且可以有无穷多种基组合，直接给出结论：

二：不同的基可以张成同一个空间，但是每一种基所含的向量个数相同，这个数量被称为这个空间的维度。

Bases of A Column Space and Nullspace

用这个矩阵举例：

显然矩阵A的列向量是线性相关的，可以看出第二列向量可以用第一列向量表示（所以第二列没有主元），第四列向量可以用第一列和第三列的列向量表示（-2倍第一列+2倍第三列）。所以第二列和第四列冗余，不需要它们也能表示出整个列空间 \(\boldsymbol{C}(\boldsymbol{A})\)，第一列和第三列还是线性无关的，所以可以取第一列和第三列作为列空间的基。结合前面所学：

\[r=\text{\# pivot columns}=\text{dimension of }\boldsymbol{C}(\boldsymbol{A}) \]

所以知道列空间维度dim之后，在列空间里面任取dim个线性无关的向量就是列空间的基。也就是说主元所在的列向量构成列空间的基。

零空间由Reduced Echelon Form算出的special solutions张成。它由 \(n-r\) 维的向量组成。直接给出结论全部special solutions构成零空间的基：

\[n-r=\text{dimension of }\boldsymbol{N}(\boldsymbol{A}) \]

Question

讲座中提到 \((1,1,2)\)，\((2,2,5)\)，\((3,3,7)\) 三个向量线性相关，因为第三个向量等于前两个向量相加，组成的方阵不可逆。

那么如果把 \((3,3,7)\) 改成 \((3,3,8)\)，是否线性无关呢？

就算不去验证是否可逆，也能确信地说：仍然线性相关。

这涉及到了下一讲的内容了。