线性空间学习笔记（部分）

因为线性空间的知识点多而杂，无法一一记录，因此只取一些学习中遇到困难的地方做笔记。

列向量与行向量#

只要不特殊提及，在线性代数中研究的向量都是 列向量。

显然，一个列向量左乘行向量的结果是一个标量。而一个列向量左乘一个矩阵，可以看作左乘一行列向量。即：

A x = A [\begin{matrix} x_{1} \\ x_{2} \\ ⋮ \\ x_{n} \end{matrix}] = [α_{1}, α_{2}, \dots, α_{n}] [\begin{matrix} x_{1} \\ x_{2} \\ ⋮ \\ x_{n} \end{matrix}] = \sum_{i = 1}^{n} x_{i} α_{i}

$A\mathbf x=A\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}=[\alpha_1,\alpha_2,\cdots,\alpha_n]\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}=\sum_{i=1}^nx_i\alpha_i$

假设式子中的 $\alpha_i$ 是 $m$ 行的列向量，那么

A x = \sum_{i = 1}^{n} x_{i} [\begin{matrix} a_{1, i} \\ a_{2, i} \\ ⋮ \\ a_{m, i} \end{matrix}] = [\begin{matrix} \sum_{i = 1}^{n} x_{i} a_{1, i} \\ \sum_{i = 1}^{n} x_{i} a_{2, i} \\ ⋮ \\ \sum_{i = 1}^{n} x_{i} a_{m, i} \end{matrix}]

$A\mathbf x=\sum_{i=1}^nx_i\begin{bmatrix}a_{1,i}\\a_{2,i}\\\vdots\\a_{m,i}\end{bmatrix}=\begin{bmatrix}\sum_{i=1}^nx_ia_{1,i}\\\sum_{i=1}^nx_ia_{2,i}\\\vdots\\\sum_{i=1}^nx_ia_{m,i}\end{bmatrix}$

答案是一个 $m$ 行的列向量。

一个简单直观的例子：假如有这么一个方程组

[\begin{matrix} 3 & 2 \\ 1 & 0 \end{matrix}] [\begin{matrix} x_{1} \\ x_{2} \end{matrix}] = [\begin{matrix} 0 \\ 0 \end{matrix}]

$\begin{bmatrix}3&2\\1&0\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}=\begin{bmatrix}0\\0\end{bmatrix}$

那么它可以写作

x_{1} [\begin{matrix} 3 \\ 1 \end{matrix}] + x_{2} [\begin{matrix} 2 \\ 0 \end{matrix}] = [\begin{matrix} 0 \\ 0 \end{matrix}]

$x_1\begin{bmatrix}3\\1\end{bmatrix}+x_2\begin{bmatrix}2\\0\end{bmatrix}=\begin{bmatrix}0\\0\end{bmatrix}$

这与我们常见的写法 $\begin{cases}3x_1+2x_2=0\\x_1=0\end{cases}$ 即

[\begin{matrix} 3 x_{1} + 2 x_{2} \\ x_{1} \end{matrix}] = [\begin{matrix} 0 \\ 0 \end{matrix}]

$\begin{bmatrix}3x_1+2x_2\\x_1\end{bmatrix}=\begin{bmatrix}0\\0\end{bmatrix}$

是等价的。

由此，我们可以定义向量 $\alpha$ 与 $\beta$ 的内积为 $\alpha^T\beta$ ，即将 $\alpha$ 转置为行向量后与 $\beta$ 做乘法。称两个向量正交，当且仅当两个向量的内积为 $0$ 。

线性空间的基#

为什么一个线性空间的所有基大小相等？

考虑反证。首先，假设某线性空间的一组基为 $A=\{\alpha_1,\alpha_2,\cdots,\alpha_n\}$ ，另一组基为 $B=\{\beta_1,\beta_2,\cdots,\beta_m\}$ 且 $n<m$ 。将 $\{\beta_1,\beta_2,\cdots,\beta_n\}$ 用 $A$ 线性表出，能得到一个 $n$ 阶方阵 $D$ 。用初等列变换对 $D$ 进行高斯消元，显然不改变 $AD$ 张成的线性空间。由于 $\{\beta_1,\beta_2,\cdots,\beta_n\}$ 线性无关，根据高斯消元的过程可以得知， $D$ 最终一定可以被消成单位矩阵，故 $\beta_{n+1}$ 可以被 $\{\beta_1,\beta_2,\cdots,\beta_n\}$ 线性表出，不成立。

然后就可以搞出一堆关于线性空间的定义。

为什么一个向量组 $A$ 的所有极大线性无关组的大小相等？因为它们都与 $A$ 等价，都是 $\operatorname{span}A$ 的一组基，证毕！~~这个问题困扰了我好几天。~~

矩阵的秩#

定义矩阵的列秩为矩阵列向量组的极大线性无关组的大小，行秩为矩阵行向量组的极大线性无关组的大小。

结论：一个矩阵的列秩等于行秩。

证明：

设矩阵 $A=[\alpha_1,\alpha_2,\cdots,\alpha_n]$ ，列秩为 $r$ 。从 $A$ 中选出一个极大线性无关组横向拼接为一个矩阵 $B=[\beta_1,\beta_2,\cdots,\beta_r]$ 。那么，矩阵 $A$ 的每一列都可以表示为 $B$ 与一个行数为 $r$ 的列向量的乘积。即

α_{i} = \sum_{j = 1}^{r} x_{i, j} β_{j} = B [\begin{matrix} x_{i, 1} \\ x_{i, 2} \\ ⋮ \\ x_{i, r} \end{matrix}]

$\alpha_i=\sum_{j=1}^rx_{i,j}\beta_j=B\begin{bmatrix}x_{i,1}\\x_{i,2}\\\vdots\\x_{i,r}\end{bmatrix}$

将这些行数为 $r$ 的向量横向拼接为一个矩阵 $X$ 。那么 $A=BX$ 。

设 $A$ 有 $m$ 行， $A=\begin{bmatrix}\mathbf a_1\\\mathbf a_2\\\vdots\\\mathbf a_m\end{bmatrix}$ ， $B=\begin{bmatrix}\mathbf b_1\\\mathbf b_2\\\vdots\\\mathbf b_m\end{bmatrix}$ ， $X=\begin{bmatrix}\mathbf c_1\\\mathbf c_2\\\vdots\\\mathbf c_r\end{bmatrix}$ 。可以看出

a_{i} = b_{i} X = [b_{i, 1}, b_{i, 2}, \dots, b_{i, r}] [\begin{matrix} c_{1} \\ c_{2} \\ ⋮ \\ c_{r} \end{matrix}] = \sum_{j = 1}^{r} b_{i, j} c_{j}

$\mathbf a_i=\mathbf b_iX=[b_{i,1},b_{i,2},\cdots,b_{i,r}]\begin{bmatrix}\mathbf c_1\\\mathbf c_2\\\vdots\\\mathbf c_r\end{bmatrix}=\sum_{j=1}^rb_{i,j}\mathbf c_j$

故 $A$ 的每个行向量都可以表示为 $r$ 个向量的线性组合。即 $A$ 的行秩不大于列秩。对 $A^T$ 做同样的证明可以得到 $A$ 的列秩不大于行秩。故 $A$ 的列秩等于行秩。

核空间与像空间#

矩阵 $A$ 的核空间（即零空间），定义为方程 $A\mathbf x=\mathbf 0$ 的全体解 $\mathbf x$ 构成的集合上定义的线性空间，记作 $N(A)$ 。为什么可以在上面定义线性空间？因为高斯消元的过程告诉我们，假如有 $k$ 个自由元，则解一定可以表示为 $\sum_{i=1}^kx_{p_i}\beta_i$ ，其中 $p$ 表示自由元的下标。所以 $\mathbf x$ 可以是任意 $\operatorname{span}\{\beta_1,\beta_2,\cdots,\beta_k\}$ 中的向量。由此也可以知道， $N(A)=\operatorname{span}\{\beta_1,\beta_2,\cdots,\beta_k\}$ 。

矩阵 $A$ 的像空间（即列空间），定义为 $A$ 的所有列向量张成的线性空间，记作 $R(A)$ 。

那么有结论： $\dim N(A)+\dim R(A)$ 等于矩阵 $A$ 的列数，且 $N(A)$ 中的任意向量与 $R(A^T)$ 中的任意向量正交。

证明：

不失一般性地，假设 $A=[\alpha_1,\alpha_2,\cdots,\alpha_n]$ 的后 $n-m$ 个列向量构成极大线性无关组。那么， $A$ 的前 $m$ 个列向量都可以写作后 $n-m$ 个列向量的线性组合。

原方程可以写作 $\sum_{i=1}^nx_i\alpha_i=\mathbf 0$ 。所以对于任意取值的 $(x_1,x_2,\cdots,x_m)^T$ ，都可以唯一确定 $(x_1,x_2,\cdots,x_n)^T$ ，设这个映射为 $f$ 。构造 $m$ 阶的单位矩阵 $I$ ，则其中的所有列向量经过映射 $f$ 得到的向量组张成了 $N(A)$ ，并且它们显然线性无关，所以它们还是 $N(A)$ 的一组基。因此 $\dim N(A)=m=n-\dim R(A)$ 。