阅读翻译Mathematics for Machine Learning之2.5 Linear Independence

阅读翻译Mathematics for Machine Learning之2.5 Linear Independence

关于：

• 首次发表日期：2024-07-18
• Mathematics for Machine Learning官方链接： https://mml-book.com
• ChatGPT和KIMI机翻，人工润色
• 非数学专业，如有错误，请不吝指出

2.5 线性无关（ Linear Independence）

接下来，我们将仔细看看如何操作向量（向量空间的元素）。特别是，我们可以将向量相加并用标量相乘。闭合性（closure property）保证了我们最终得到的还是同一向量空间中的另一个向量。我们可以找到一组（set）向量，通过相加和缩放这些向量，我们可以表示向量空间中的每一个向量。这组向量称为基（base），我们将在第2.6.1节讨论它们。在此之前，我们需要介绍线性组合和线性无关的概念。

定义 2.11（线性组合）。考虑一个向量空间 $V$ 和有限数量的向量 ${\mathit{x}}_1,\dots ,{\mathit{x}}_k\in V$。那么，每一个 $\mathit{v}\in V$ 形式如下的向量

$$\begin{array}{}\text{(2.65)}& \mathit{v}={\lambda }_1{\mathit{x}}_1+\cdots +{\lambda }_k{\mathit{x}}_k=\sum _{i=1}^k{\lambda }_i{\mathit{x}}_i\in V\end{array}$$

其中 ${\lambda }_1,\dots ,{\lambda }_k\in \mathbb{R}$ 是向量 ${\mathit{x}}_1,\dots ,{\mathit{x}}_k$ 的线性组合。

零向量 $\mathbf{0}$ 总是可以写成 $k$ 个向量 ${\mathit{x}}_1,\dots ,{\mathit{x}}_k$ 的线性组合，因为 $\mathbf{0}=\sum _{i=1}^{k}0{\mathit{x}}_i$ 总是成立的。接下来，我们对一组向量的非平凡（non-trivial）线性组合表示 $\mathbf{0}$ 感兴趣，即向量 ${\mathit{x}}_1,\dots ,{\mathit{x}}_k$ 的线性组合，其中不是所有系数 ${\lambda }_i$ 在 (2.65) 中都为 0。

定义 2.12（线性（不）相关性）。让我们考虑一个向量空间 $V$ 以及 $k\in \mathbb{N}$ 和 ${\mathit{x}}_1,\dots ,{\mathit{x}}_k\in V$。如果存在一个非平凡的线性组合，使得 $\mathbf{0}=\sum _{i=1}^k{\lambda }_i{\mathit{x}}_i$ 且至少有一个 ${\lambda }_i\ne 0$，则向量 ${\mathit{x}}_1,\dots ,{\mathit{x}}_k$ 是线性相关的。如果只存在零解，即 ${\lambda }_1=\dots ={\lambda }_k=0$，则向量 ${\mathit{x}}_1,\dots ,{\mathit{x}}_k$ 是线性无关的。

线性无关是线性代数中最重要的概念之一。直观上，一组线性无关的向量由没有冗余的向量组成，即，如果我们从集合中移除任何一个向量，我们将失去一些东西。在接下来的章节中，我们将更正式地讨论这一直觉。

注释 以下性质对于判断向量是否线性无关是有用的：

• $k$ 个向量要么线性相关，要么线性无关，没有第三种可能。

• 如果向量 ${\mathit{x}}_1,\dots ,{\mathit{x}}_k$ 中至少有一个是零向量 $\mathbf{0}$，那么它们是线性相关的。如果有两个向量相同，也成立。

• 向量 $\{{\mathit{x}}_1,\dots ,{\mathit{x}}_k:{\mathit{x}}_i\ne \mathbf{0},i=1,\dots ,k\},k⩾2$ 是线性相关的，当且仅当（至少）其中一个是其他向量的线性组合。特别地，如果一个向量是另一个向量的倍数，即 ${\mathit{x}}_i=\lambda {\mathit{x}}_j,\lambda \in \mathbb{R}$，那么集合 $\{{\mathit{x}}_1,\dots ,{\mathit{x}}_k:{\mathit{x}}_i\ne \mathbf{0},i=1,\dots ,k\}$ 是线性相关的。

• 检查向量 ${\mathit{x}}_1,\dots ,{\mathit{x}}_k\in V$ 是否线性无关的一种实用方法是使用高斯消元法：将所有向量作为矩阵 $\mathit{A}$ 的列，并进行高斯消元，直到矩阵处于行阶梯形态（这里不需要行简化阶梯形态（reduced row-echelon form））：

  • 枢轴列（pivot columns）表示与其左边的向量线性无关的向量。注意，在构建矩阵时向量是有顺序的。
  • 非枢轴列可以表示为左边枢轴列的线性组合。例如，行阶梯形态
  $$\left[\begin{array}{lll}1& 3& 0\\ 0& 0& 2\end{array}\right]$$

  告诉我们第一列和第三列是枢轴列。第二列是非枢轴列，因为它是第一列的三倍。

所有列向量是线性无关的当且仅当所有列都是枢轴列。如果至少有一个非枢轴列，则这些列（因此，相应的向量）是线性相关的。

注释 考虑一个向量空间 $V$，其中有 $k$ 个线性无关的向量 ${\mathit{b}}_1,\dots ,{\mathit{b}}_k$ 和 $m$ 个线性组合

$$\begin{array}{}\text{(2.7.0)}& \begin{array}{c}{\mathit{x}}_1=\sum _{i=1}^k{\lambda }_{i1}{\mathit{b}}_i,\\ ⋮\\ {\mathit{x}}_m=\sum _{i=1}^k{\lambda }_{im}{\mathit{b}}_i.\end{array}\end{array}$$

定义 $\mathit{B}=[{\mathit{b}}_1,\dots ,{\mathit{b}}_k]$ 为一个矩阵，其列是线性无关的向量 ${\mathit{b}}_1,\dots ,{\mathit{b}}_k$，我们可以更紧凑地写成

$$\begin{array}{}\text{(2.7.1)}& \begin{array}{c}{\mathit{x}}_j=\mathit{B}{\mathit{\lambda }}_j,{\mathit{\lambda }}_j=\left[\begin{array}{c}{\lambda }_{1j}\\ ⋮\\ {\lambda }_{kj}\end{array}\right],j=1,\dots ,m,\end{array}\end{array}$$

我们想要检验 ${\mathit{x}}_1,\dots ,{\mathit{x}}_m$ 是否线性无关。为此，我们遵循检验 $\sum _{j=1}^m{\psi }_j{\mathit{x}}_j=\mathbf{0}$ 的一般方法。通过 (2.71)，我们得到

$$\begin{array}{}\text{(2.7.2)}& \sum _{j=1}^m{\psi }_j{\mathit{x}}_j=\sum _{j=1}^m{\psi }_j\mathit{B}{\mathit{\lambda }}_j=\mathit{B}\sum _{j=1}^m{\psi }_j{\mathit{\lambda }}_j.\end{array}$$

这意味着当且仅当列向量 $\{{\mathit{\lambda }}_1,\dots ,{\mathit{\lambda }}_m\}$ 是线性无关的， $\{{\mathit{x}}_1,\dots ,{\mathit{x}}_m\}$ 是线性无关的。

注释：在一个向量空间 $V$ 中，$m$ 个由 $k$ 个向量 ${\mathit{x}}_1,\dots ,{\mathit{x}}_k$ 线性组合而成的向量是线性相关的，如果 $m>k$。