阅读翻译Mathematics for Machine Learning之2.6 Generating Set and Basis

阅读翻译Mathematics for Machine Learning之2.6 Generating Set and Basis

关于：

• 首次发表日期：2024-07-19
• Mathematics for Machine Learning官方链接： https://mml-book.com
• ChatGPT和KIMI机翻，人工润色
• 非数学专业，如有错误，请不吝指出

2.6.1 Basis and Rank (基与秩)

定义 2.13（生成集与张成）。考虑一个向量空间 \(V=(\mathcal{V}, +, \cdot)\) 和一组向量 \(\mathcal{A}=\left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\right\} \subseteq \mathcal{V}\)。如果 \(\mathcal{V}\) 中的每一个向量 \(\boldsymbol{v}\) 都可以表示为 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 的线性组合，则称 \(\mathcal{A}\) 为 \(V\) 的一个生成集。向量 \(\mathcal{A}\) 中所有向量的线性组合构成的集合称为 \(\mathcal{A}\) 的张成。如果 \(\mathcal{A}\) 张成了向量空间 \(V\)，我们写作 \(V=\operatorname{span}[\mathcal{A}]\) 或 \(V=\operatorname{span}\left[\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\right]\)。

生成集是张成向量（子）空间的向量集合，即每一个向量都可以表示为生成集中向量的线性组合。现在，我们将更加具体地描述张成向量（子）空间的最小生成集。

定义 2.14（基）。考虑一个向量空间 \(V=(\mathcal{V}, +, \cdot)\) 和 \(\mathcal{A} \subseteq \mathcal{V}\)。如果不存在比 \(\mathcal{A}\) 更小的集合 \(\tilde{\mathcal{A}} \subsetneq \mathcal{A} \subseteq \mathcal{V}\) 能张成 \(V\)，那么\(V\) 的生成集 \(\mathcal{A}\) 被称为最小生成集。\(V\) 的每一个线性无关的生成集都是最小的，并且被称为 \(V\) 的一个基。

设 \(V=(\mathcal{V},+, \cdot)\) 是一个向量空间，\(\mathcal{B} \subseteq \mathcal{V}, \mathcal{B} \neq \emptyset\)。那么，以下陈述是等价的：

• \(\mathcal{B}\) 是 \(V\) 的一个基。
• \(\mathcal{B}\) 是一个最小生成集。
• \(\mathcal{B}\) 是 \(V\) 中的最大线性无关向量集，即向这个集合中添加任何其他向量都会使其线性相关。
• 每一个向量 \(\boldsymbol{x} \in V\) 都是来自 \(\mathcal{B}\) 的向量的线性组合，并且每个线性组合都是唯一的，即：

\[\boldsymbol{x}=\sum_{i=1}^k \lambda_i \boldsymbol{b}_i=\sum_{i=1}^k \psi_i \boldsymbol{b}_i \tag{2.77} \]

且 \(\lambda_i, \psi_i \in \mathbb{R}, \boldsymbol{b}_i \in \mathcal{B}\)，这意味着 \(\lambda_i=\psi_i, i=1, \ldots, k\)。

基是一个最小的生成集和一个最大的线性无关向量集合。

---

**例2.16**

• 在 \(\mathbb{R}^3\) 中，标准基是

\[\mathcal{B}=\left\{\left[\begin{array}{l} 1 \\ 0 \\ 0 \end{array}\right],\left[\begin{array}{l} 0 \\ 1 \\ 0 \end{array}\right],\left[\begin{array}{l} 0 \\ 0 \\ 1 \end{array}\right]\right\} \]

• \(\mathbb{R}^3\) 中不同的基是

\[\mathcal{B}_1=\left\{\left[\begin{array}{l} 1 \\ 0 \\ 0 \end{array}\right],\left[\begin{array}{l} 1 \\ 1 \\ 0 \end{array}\right],\left[\begin{array}{l} 1 \\ 1 \\ 1 \end{array}\right]\right\}, \mathcal{B}_2=\left\{\left[\begin{array}{l} 0.5 \\ 0.8 \\ 0.4 \end{array}\right],\left[\begin{array}{l} 1.8 \\ 0.3 \\ 0.3 \end{array}\right],\left[\begin{array}{c} -2.2 \\ -1.3 \\ 3.5 \end{array}\right]\right\} . \]

• 集合

\[\mathcal{A}=\left\{\left[\begin{array}{l} 1 \\ 2 \\ 3 \\ 4 \end{array}\right],\left[\begin{array}{c} 2 \\ -1 \\ 0 \\ 2 \end{array}\right],\left[\begin{array}{c} 1 \\ 1 \\ 0 \\ -4 \end{array}\right]\right\} \]

是线性无关的，但不是 \(\mathbb{R}^4\) 的生成集（也不是基）：例如，向量 \([1,0,0,0]^{\top}\) 不能通过 \(\mathcal{A}\) 中元素的线性组合得到。

---

注释 每个向量空间 \(V\) 都有一个基 \(\mathcal{B}\)。前面的例子表明，一个向量空间 \(V\) 可以有许多不同的基，即没有唯一的基。然而，所有的基都具有相同数量的元素，即基向量。

我们只考虑有限维向量空间 \(V\)。在这种情况下，\(V\) 的维数是其基向量的数量，记作 \(\operatorname{dim}(V)\)。如果 \(U \subseteq V\) 是 \(V\) 的子空间，则 \(\operatorname{dim}(U) \leqslant \operatorname{dim}(V)\)，且当且仅当 \(U=V\)时 \(\operatorname{dim}(U) = \operatorname{dim}(V)\) 。直观地说，向量空间的维数可以理解为这个空间中独立方向的数量。

注释 向量空间的维数不一定是向量中元素的数量。例如，向量空间 \(V=\operatorname{span}[\left[\begin{array}{l}0 \\ 1\end{array}\right]]\) 是一维的，尽管基向量具有两个元素。

向量空间的维数对应于其基向量的数量。

注释 子空间 \(U=\operatorname{span}\left[\boldsymbol{x}_1, \ldots, \boldsymbol{x}_m\right] \subseteq \mathbb{R}^n\) 的一个基可以通过以下步骤找到：

1. 将张成向量写成矩阵 \(\boldsymbol{A}\) 的列。
2. 求解矩阵 \(\boldsymbol{A}\) 的行阶梯形式。
3. 与枢轴列相关联的张成向量构成 \(U\) 的一个基。

2.6.2 Rank（秩）

一个矩阵 \(\boldsymbol{A} \in \mathbb{R}^{m \times n}\) 的线性无关列的数量等于线性无关行的数量，并且被称为 \(\boldsymbol{A}\) 的秩，表示为 \(\operatorname{rk}(\boldsymbol{A})\)。

注释。矩阵的秩具有一些重要性质：

• \(\operatorname{rk}(\boldsymbol{A})=\operatorname{rk}\left(\boldsymbol{A}^{\top}\right)\)，即，列秩等于行秩。
• \(\boldsymbol{A} \in \mathbb{R}^{m \times n}\) 的列张成一个子空间 \(U \subseteq \mathbb{R}^m\)，其维数为 \(\operatorname{dim}(U)=\operatorname{rk}(\boldsymbol{A})\)。稍后我们将这个子空间称为像或值域。通过应用高斯消元法到 \(\boldsymbol{A}\) 可以找到 \(U\) 的一个基，以识别枢轴列。
• \(\boldsymbol{A} \in \mathbb{R}^{m \times n}\) 的行张成一个子空间 \(W \subseteq \mathbb{R}^n\)，其维数为 \(\operatorname{dim}(W)=\operatorname{rk}(\boldsymbol{A})\)。通过应用高斯消元法到 \(\boldsymbol{A}^{\top}\) 可以找到 \(W\) 的一个基。
• 对于所有的 \(\boldsymbol{A} \in \mathbb{R}^{n \times n}\)，如果且仅如果 \(\operatorname{rk}(\boldsymbol{A})=n\)，\(\boldsymbol{A}\) 是正则的（可逆的）。
• 对于所有的 \(\boldsymbol{A} \in \mathbb{R}^{m \times n}\) 和所有的 \(\boldsymbol{b} \in \mathbb{R}^m\)，线性方程组 \(\boldsymbol{A} \boldsymbol{x}=\boldsymbol{b}\) 可以求解当且仅当 \(\operatorname{rk}(\boldsymbol{A})=\operatorname{rk}(\boldsymbol{A} \mid \boldsymbol{b})\)，其中 \(\boldsymbol{A} \mid \boldsymbol{b}\) 表示增广系统。
• 对于 \(\boldsymbol{A} \in \mathbb{R}^{m \times n}\)，\(\boldsymbol{A x}=\mathbf{0}\) 的解空间具有维数 \(n-\operatorname{rk}(\boldsymbol{A})\)。稍后，我们将这个子空间称为核或零空间。
• 如果矩阵 \(\boldsymbol{A} \in \mathbb{R}^{m \times n}\) 的秩等于相同维度矩阵的最大可能秩，则称其具有满秩。这意味着满秩矩阵的秩是行数和列数中的较小者，即 \(\operatorname{rk}(\boldsymbol{A})=\min (m, n)\)。如果矩阵没有满秩，则称其为秩亏损的。

---

例子2.18（秩）

• \(\boldsymbol{A}=\left[\begin{array}{lll}1 & 0 & 1 \\ 0 & 1 & 1 \\ 0 & 0 & 0\end{array}\right]\)

矩阵 \(\boldsymbol{A}\) 有两行/列是线性无关的，因此 \(\operatorname{rk}(\boldsymbol{A})=2\)。

• \(\boldsymbol{A}=\left[\begin{array}{ccc}1 & 2 & 1 \\ -2 & -3 & 1 \\ 3 & 5 & 0\end{array}\right]\)。

我们使用高斯消元法来确定秩：

\[\left[\begin{array}{ccc} 1 & 2 & 1 \\ -2 & -3 & 1 \\ 3 & 5 & 0 \end{array}\right] \rightsquigarrow \cdots \rightsquigarrow\left[\begin{array}{ccc} 1 & 2 & 1 \\ 0 & 1 & 3 \\ 0 & 0 & 0 \end{array}\right] . \]

在这里，我们看到线性无关的行和列的数量是 2，因此 \(\operatorname{rk}(\boldsymbol{A})=2\)。

---