线性代数及其应用 第四章

第 4 章 向量空间

4.1 向量空间和子空间

定义 $$ 一个向量空间是由一些被称为向量的对象构成的非空集合 $V$，在这个集合上定义了两种运算，称为加法和标量乘法（标量取实数），服从以下公理（或法则），这些公理必须对 $V$ 中所有向量 $\mathit{u},\mathit{v},\mathit{w}$ 及所有标量（或数）$c$ 和 $d$ 均成立。

$1.$ $\mathit{u},\mathit{v}$ 之和（表示为 $\mathit{u}+\mathit{v}$）属于 $V$。

$2.$ $\mathit{u}+\mathit{v}=\mathit{v}+\mathit{u}$。

$3.$ $(\mathit{u}+\mathit{v})+\mathit{w}=\mathit{u}+(\mathit{v}+\mathit{w})$。

$4.$ $V$ 中存在一个零向量 $\mathbf{0}$，使得 $\mathit{u}+\mathbf{0}=\mathit{u}$。

$5.$ 对 $V$ 中每个向量 $\mathit{u}$，存在 $V$ 中一个向量 $-\mathit{u}$，使得 $\mathit{u}+(-\mathit{u})=\mathbf{0}$。

$6.$ $\mathit{u}$ 与标量 $c$ 的标量乘法（记为 $c\mathit{u}$）属于 $V$。

$7.$ $c(\mathit{u}+\mathit{v})=c\mathit{u}+c\mathit{v}$。

$8.$ $(c+d)\mathit{u}=c\mathit{u}+d\mathit{u}$。

$9.$ $c(d\mathit{u})=(cd)\mathit{u}$。

$10.$ $1\mathit{u}=\mathit{u}$。

利用这些公理可以证明零向量唯一，且 $\mathit{u}$ 的负向量 $-\mathit{u}$ 也是唯一的。有如下简单事实：

对 $V$ 中每个向量 $\mathit{u}$ 和任意标量 $c$，有

$$0\mathit{u}=\mathbf{0}$$

$$c\mathbf{0}=\mathbf{0}$$

$$-\mathit{u}=(-1)\mathit{u}$$

注：更专业地，$V$ 是一个实数向量空间，本章所有理论对负向量空间（标量取复数）也成立。

关于向量空间可以给出许多例子。例如对 $n\ge 0$，次数最高为 $n$ 的多项式集合 ${\mathbb{P}}_n$ 也是向量空间。

子空间

定义 $$ 向量空间 $V$ 的一个子空间是 $V$ 的一个满足以下三个性质的子集 $H$：

$\text{a.}$ $V$ 中的零向量在 $H$ 中。

$\text{b.}$ $H$ 对向量加法封闭，即对 $H$ 中任意向量 $\mathit{u},\mathit{v}$，和 $\mathit{u}+\mathit{v}$ 仍在 $H$ 中。

$\text{c.}$ $H$ 对标量乘法封闭，即对 $H$ 中任意向量 $\mathit{u}$ 和任意标量 $c$，向量 $c\mathit{u}$ 仍在 $H$ 中。

这些性质（公理 $1,4,6$）保证 $H$ 本身对 $V$ 中定义的向量空间运算而言是一个向量空间。这样，每个子空间都是一个向量空间。反之，每个向量空间都是一个子空间（针对本身或其他更大的空间而言）。

有一些简单的例子：

• 向量空间 $V$ 中仅由零向量组成的集合是 $V$ 的一个子空间，称为零子空间，写成 $\{\mathbf{0}\}$。

• 令 $\mathbb{P}$ 为全体实系数多项式的集合，则 $\mathbb{P}$ 是定义在 $\mathbb{R}$ 上的全体实值函数的空间的一个子空间。再者，对每个 $n\ge 0$，${\mathbb{P}}_n$ 是 $\mathbb{P}$ 的子空间。

• 注意向量空间 ${\mathbb{R}}^2$ 不是 ${\mathbb{R}}^3$ 的子空间，因为 ${\mathbb{R}}^2$ 不是 ${\mathbb{R}}^3$ 的子集，但集合 $H=\{\left[\begin{array}{c}s\\ t\\ 0\end{array}\right]:s\mathrm{和}t\mathrm{是}\mathrm{实}\mathrm{数}\}$ 是 ${\mathbb{R}}^3$ 的子空间。

由一个集合生成的子空间

定理 1

若 ${\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_p$ 在向量空间 $V$ 中，则 $\mathrm{Span}\{{\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_p\}$ 是 $V$ 的一个子空间。

称 $\mathrm{Span}\{{\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_p\}$ 是由 $\{{\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_p\}$ 生成（或张成）的子空间。给定 $V$ 的任一子空间 $H$，$H$ 的生成（或张成）集是集合 $\{{\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_p\}\subset H$，满足 $H=\mathrm{Span}\{{\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_p\}$。

现有

$$H=\{(a-3b,b-a,a,b):a,b\in \mathbb{R}\}$$

证明 $H$ 是 ${\mathbb{R}}^4$ 的子空间。

---

将 $H$ 中向量写完列向量，则

$$\left[\begin{array}{c}a-3b\\ b-a\\ a\\ b\end{array}\right]=a\left[\begin{array}{c}1\\ -1\\ 1\\ 0\end{array}\right]+b\left[\begin{array}{c}-3\\ 1\\ 0\\ 1\end{array}\right]$$

令右边两个向量为 ${\mathit{v}}_1,{\mathit{v}}_2$，这说明 $H=\mathrm{Span}\{{\mathit{v}}_1,{\mathit{v}}_2\}$。由定理 1 知 $H$ 是 ${\mathbb{R}}^4$ 的子空间。

4.2 零空间、列空间、行空间和线性变换

矩阵的零空间

我们在第二章中已接触过。

定义 $$ 矩阵 $\mathit{A}$ 的列空间写成 $\mathrm{Nul}\mathit{A}$，是齐次方程 $\mathit{A}\mathit{x}=\mathbf{0}$ 的全体解的集合，用集合符号表示，即

$$\mathrm{Nul}\mathit{A}=\{\mathit{x}:\mathit{x}\in {\mathbb{R}}^n,\mathit{A}\mathit{x}=\mathbf{0}\}$$

定理 2

$m\times n$ 矩阵 $\mathit{A}$ 的零空间是 ${\mathbb{R}}^n$ 的一个子空间。等价地，$m$ 个方程、$n$ 个未知数的齐次线性方程组 $\mathit{A}\mathit{x}=\mathbf{0}$ 的全体解的集合是 ${\mathbb{R}}^n$ 的一个子空间。

首先 $\mathrm{Nul}\mathit{A}$ 是 ${\mathbb{R}}^n$ 的子集，且 $\mathbf{0}\in \mathrm{Nul}\mathit{A}$。然后取 $\mathit{u},\mathit{v}\in \mathrm{Nul}\mathit{A}$，验证 $\mathrm{Nul}\mathit{A}$ 对向量加法和标量乘法封闭即可。

$\mathrm{Nul}\mathit{A}$ 的一个显式刻画

$\mathrm{Nul}\mathit{A}$ 中向量与 $\mathit{A}$ 的元素之间无明显关系，称 $\mathrm{Nul}\mathit{A}$ 被隐式地定义。解出 $\mathit{A}\mathit{x}=\mathbf{0}$ 可以得到 $\mathrm{Nul}\mathit{A}$ 的显式刻画。用自由变量作权，假设已解得 $\mathit{x}=x_i\mathit{u}+x_j\mathit{v}+x_k\mathit{w}$，则 $\mathit{u},\mathit{v},\mathit{w}$ 的每一个线性组合都是 $\mathrm{Nul}\mathit{A}$ 中的一个元素，反之亦然。从而 $\{\mathit{u},\mathit{v},\mathit{w}\}$ 是 $\mathrm{Nul}\mathit{A}$ 的一个生成集。

有以下简单事实：

• 上述的 $\{\mathit{u},\mathit{v},\mathit{w}\}$ 必然线性无关。仅当 $x_i=x_j=x_k=0$ 时 $x_i\mathit{u}+x_j\mathit{v}+x_k\mathit{w}$ 为零。

• $\mathrm{Nul}\mathit{A}$ 包含非零向量时，它的生成集中向量的个数等于方程 $\mathit{A}\mathit{x}=\mathbf{0}$ 中自由变量的个数。

矩阵的列空间

定理 3

$m\times n$ 矩阵 $\mathit{A}$ 的列空间是 ${\mathbb{R}}^m$ 的一个子空间。

$\mathit{A}$ 的列生成 ${\mathbb{R}}^m$ 当且仅当方程 $\mathit{A}\mathit{x}=\mathit{b}$ 对任一个 $\mathit{b}$ 有解，重述可得：

$m\times n$ 矩阵 $\mathit{A}$ 的列空间等于 ${\mathbb{R}}^m$ 当且仅当方程 $\mathit{A}\mathit{x}=\mathit{b}$ 对 ${\mathbb{R}}^m$ 中每个 $\mathit{b}$ 有一个解。

对 $m\times n$ 矩阵 $\mathit{A}$，$\mathrm{Nul}\mathit{A}$ 与 $\mathrm{Col}\mathit{A}$ 有许多显然的区别，需要注意的是 $\mathrm{Nul}\mathit{A}$ 是 ${\mathbb{R}}^n$ 的一个子空间，而 $\mathrm{Col}\mathit{A}$ 是 ${\mathbb{R}}^m$ 的一个子空间。

设 $\mathit{A}$ 是 $n\times n$ 矩阵，且 $\mathrm{Col}\mathit{A}=\mathrm{Nul}\mathit{A}$，证明 $\mathrm{Nul}{\mathit{A}}^2={\mathbb{R}}^n$。

---

设任意 $\mathit{x}\in {\mathbb{R}}^n$，显然 $\mathit{A}\mathit{x}\in \mathrm{Col}\mathit{A}$。由题知 $\mathit{A}(\mathit{A}\mathit{x})={\mathit{A}}^2\mathit{x}=\mathbf{0}$，即 $\mathrm{\forall }\mathit{x}\in {\mathbb{R}}^n$，$\mathit{x}\in \mathrm{Nul}{\mathit{A}}^2$。得证。

行空间

$m\times n$ 矩阵 $\mathit{A}$ 的行向量的所有线性组合的集合称为 $\mathit{A}$ 的行空间，记为 $\mathrm{Row}\mathit{A}$，它是 ${\mathbb{R}}^n$ 的一个子空间。也可以用 $\mathrm{Col}{\mathit{A}}^T$ 代替 $\mathrm{Row}\mathit{A}$。

线性变换的核与值域

我们推广 1.8 节中线性变换的定义。

定义 $$ 由向量空间 $V$ 映射到向量空间 $W$ 的线性变换 $T$ 是一个规则，它将 $V$ 中每个向量 $\mathit{x}$ 映射成 $W$ 中唯一向量 $T(\mathit{x})$，且满足：

$(\text{i})$ $T(\mathit{u}+\mathit{v})=T(\mathit{u}+\mathit{v})$，对 $V$ 中所有 $\mathit{u},\mathit{v}$ 均成立。

$(\text{ii})$ $T(c\mathit{u})=cT(\mathit{u})$，对 $V$ 中所有 $\mathit{u}$ 和所有数 $c$ 均成立。

线性变换 $T$ 的核（或零空间）是 $V$ 中所有满足 $T(\mathit{u})=\mathbf{0}$ 的向量 $\mathit{u}$ 的集合（$\mathbf{0}$ 是 $W$ 中的零向量）。$T$ 的值域是 $W$ 中所有具有形式 $T(\mathit{x})$（任意 $x\in V$）的向量的集合。若 $T(\mathit{x})=\mathit{A}\mathit{x}$ 则 $T$ 的核与值域恰好是前面定义的 $A$ 的零空间和列空间。

$T$ 的核是 $V$ 的子空间，值域是 $W$ 的子空间。

应用中，一个子空间往往由一个适当的线性变换的核或值域产生。例如一个齐次线性微分方程的全部解的集合最终是一个线性变换的核。典型地，这样一个线性变换用关于一次函数的一阶或高阶导数描述。以下有两个例子。

令 $V$ 为定义在区间 $[a,b]$ 上的所有连续可导的实函数 $f$ 构成的向量空间，令 $W$ 是 $[a,b]$ 上所有连续函数构成的向量空间 $C[a,b]$，且令 $D:V\to W$ 是将 $V$ 中 $f$ 变为其导数 $f^{\prime }$ 的变换。由微积分中两个简单的微分法则，

$$D(f+g)=D(f)+D(g),D(cf)=cD(f)$$

于是 $D$ 是一个线性变换，可以证明 $D$ 的核是 $[a,b]$ 上的常函数的集合，$D$ 的值域是 $[a,b]$ 上所有连续函数的集合 $W$。

有微分方程

$$y^{″}+{\omega }^{2}y=0$$

$\omega$ 是常数，常常用来描述物理系统中的一个变化过程。该式的解集是将函数 $y=f(t)$ 映成函数 $f^{″}(t)+{\omega }^{2}f(t)$ 的线性变换的核。寻找这个向量空间的一个显式刻画是微分方程中的一个问题。

4.3 线性无关集和基

定义在向量空间 $V$ 中的线性无关、线性相关等定义与 ${\mathbb{R}}^n$ 中一致。下列定理与 2.8 中已经讨论过的大致相同。

定理 4

两个或多个向量组成的向量集合 $\{{\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_p\}$（如果 ${\mathit{v}}_1\ne \mathbf{0}$）是线性相关的，当且仅当某 ${\mathit{v}}_j(j>1)$ 是其前面向量 ${\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_{j-1}$ 的线性组合。

一般向量空间中的线性相关与 ${\mathbb{R}}^n$ 中的线性相关与 ${\mathbb{R}}^n$ 的不同之处在于，当向量不是 $n$ 元组时，齐次方程

$$c_1{\mathit{v}}_1+c_2{\mathit{v}}_2+\cdots +c_p{\mathit{v}}_p=\mathbf{0}$$

通常不能写为一个 $n$ 个方程的线性方程组。即为研究方程 $\mathit{A}\mathit{x}=\mathbf{0}$，向量不能从一个矩阵 $\mathit{A}$ 中得到，反而要依靠线性相关的定义和定理 4。

例如 ${\mathit{p}}_1(t)=1,{\mathit{p}}_2(t)=t,{\mathit{p}}_3(t)=4-t$（$\mathit{p}$ 是函数），有 ${\mathit{p}}_3=4{\mathit{p}}_1-{\mathit{p}}_2$，从而 $\{{\mathit{p}}_1,{\mathit{p}}_2,{\mathit{p}}_3\}$ 是线性相关的；集合 $\{\sin t,\cos t\}$ 在 $C[0,1]$ 中是线性无关的，因为不存在数 $c$ 使得 $\cos t=c\cdot \sin t$ 对任意 $t\in [0,1]$ 成立，而 $\{\sin t\cos t,\sin 2t\}$ 是线性相关的。

定义 $$ 令 $H$ 是向量空间 $V$ 的一个子空间。$V$ 中向量的指标集 $\mathcal{B}$ 称为 $H$ 的一个基，如果

$(\text{i})$ $\mathcal{B}$ 是一线性无关集。

$(\text{ii})$ 由 $\mathcal{B}$ 生成的子空间与 $H$ 相同，即 $H=\mathrm{Span}\mathcal{B}$。

这显然允许 $H=V$，$V$ 的一个基是生成 $V$ 的一个线性无关集。当 $H\ne V$ 时，条件 $(\text{ii})$ 蕴涵 $\mathcal{B}$ 中每个向量都属于 $H$。

令 $S=\{1,t,t^2,\cdots ,t^n\}$，证明 $S$ 是 ${\mathbb{P}}_n$ 的一个基，称为 ${\mathbb{P}}_n$ 的标准基。

---

显然 $S$ 生成 ${\mathbb{P}}_n$，为证 $S$ 线性无关，假设 $c_0,c_1,\cdots ,c_n$ 满足

$$c_0\cdot 1+c_{1}t+\cdots +c_n{t}^n=\mathbf{0}(t)$$

该式对任意 $t$ 成立，于是左式为零多项式，$c_0=c_1=\cdots =c_n=0$，故 $S$ 线性无关且是 ${\mathbb{P}}_n$ 的一个基。

定理 5（生成集定理）

令 $S=\{{\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_p\}$ 是向量空间 $V$ 中的向量集，$H=\mathrm{Span}\{{\mathit{v}}_1,{\mathit{v}}_2,\cdots ,{\mathit{v}}_p\}$。

$\text{a}.$ 若 $S$ 中某一个向量 ${\mathit{v}}_k$ 是 $S$ 中其余向量的线性组合，则 $S$ 中去掉 ${\mathit{v}}_k$ 后形成的集合仍然可以生成 $H$。

$\text{b}.$ 若 $H\ne \{\mathbf{0}\}$，则 $S$ 的某一子集是 $H$ 的一个基。

定理 6

矩阵 $\mathit{A}$ 的主元列构成 $\mathrm{Col}\mathit{A}$ 的一个基。

行变换会改变矩阵的列空间，而行空间不受影响。

定理 7

如果矩阵 $\mathit{A}$ 行等价于矩阵 $\mathit{B}$，那么它们的行空间是相同的。如果 $\mathit{B}$ 是阶梯形，那么 $\mathit{B}$ 的非零行构成了 $\mathit{A}$ 的行空间的基，也是 $\mathit{B}$ 的行空间的基。

4.4 坐标系

在 2.9 节中已接触过。

定理 8（唯一表示定理）

令 $\mathcal{B}=\{{\mathit{b}}_1,{\mathit{b}}_2,\cdots ,{\mathit{b}}_n\}$ 是向量空间 $V$ 的一个基，则对 $V$ 中每个向量 $\mathit{x}$，存在唯一的一组数 $c_1,c_2,\cdots ,c_n$ 使得

$$\mathit{x}=c_1{\mathit{b}}_1+c_2{\mathit{b}}_2+\cdots +c_n{\mathit{b}}_n$$

定义 $$ 假设 $\mathcal{B}=\{{\mathit{b}}_1,{\mathit{b}}_2,\cdots ,{\mathit{b}}_n\}$ 是向量空间 $V$ 的一个基，$\mathit{x}$ 在 $V$ 中，$\mathit{x}$ 相对于基 $\mathcal{B}$ 的坐标（或 $\mathit{x}$ 的 $\mathcal{B}-$坐标）是使得 $\mathit{x}=c_1{\mathit{b}}_1+c_2{\mathit{b}}_2+\cdots +c_n{\mathit{b}}_n$ 的权 $c_1,c_2,\cdots ,c_n$。

若 $c_1,c_2,\cdots ,c_n$ 是 $\mathit{x}$ 的 $\mathcal{B}-$坐标，则 ${\mathbb{R}}^n$ 中的向量

$$[x{]}_{\mathcal{B}}=\left[\begin{array}{c}{c}_1\\ c_2\\ ⋮\\ c_n\end{array}\right]$$

是 $\mathit{x}$（相对于 $\mathcal{B}$）的坐标向量或 $\mathit{x}$ 的 $\mathcal{B}-$ 坐标向量，映射 $\mathit{x}\mapsto [x{]}_{\mathcal{B}}$ 称为（由 $\mathcal{B}$ 确定的）坐标映射。

将 $\{{\mathit{e}}_1,{\mathit{e}}_2\}$ 和 $\{{\mathit{e}}_1,{\mathit{e}}_2,{\mathit{e}}_3\}$ 分别作为 ${\mathbb{R}}^2$ 和 ${\mathbb{R}}^3$ 的基是一个十分简单的具有几何意义的例子。

对于 ${\mathbb{R}}^n$，设其一基为 $\mathcal{B}$，则求向量 $\mathit{x}$ 的 $\mathcal{B}-$ 坐标向量只需解方程 $\mathit{x}={\mathit{P}}_{\mathcal{B}}[\mathit{x}{]}_{\mathcal{B}}$，其中

$${\mathit{P}}_{\mathcal{B}}=\left[\begin{array}{cccc}{\mathit{b}}_1& {\mathit{b}}_2& \cdots & {\mathit{b}}_n\end{array}\right]$$

称 ${\mathit{P}}_{\mathcal{B}}$ 为从 $\mathcal{B}$ 到 ${\mathbb{R}}^n$ 中标准基的坐标变换矩阵。它是可逆的，于是

$${\mathit{P}}_{\mathcal{B}}^{-1}\mathit{x}=[\mathit{x}{]}_{\mathcal{B}}$$

${\mathit{P}}_{\mathcal{B}}^{-1}$ 产生的映射 $\mathit{x}\mapsto [\mathit{x}{]}_{\mathcal{B}}$ 即前面的坐标映射，此坐标映射是一个由 ${\mathbb{R}}^n$ 到 ${\mathbb{R}}^n$ 的一对一线性变换。

坐标映射

定理 9

令 $\mathcal{B}=\{{\mathit{b}}_1,{\mathit{b}}_2,\cdots ,{\mathit{b}}_n\}$ 是向量空间 $V$ 的一个基，则坐标映射 $\mathit{x}\mapsto [\mathit{x}{]}_{\mathcal{B}}$ 是一个由 $V$ 映射到 ${\mathbb{R}}^n$ 上的一对一的线性变换。

如 1.8 节，将坐标映射的线性性质推广到线性组合：即若 ${\mathit{u}}_1,{\mathit{u}}_2,\cdots ,{\mathit{u}}_p$ 属于 $V$，$c_1,c_2,\cdots ,c_p$ 是数，则

$$[c_1{\mathit{u}}_1+c_2{\mathit{u}}_2+\cdots +c_p{\mathit{u}}_p{]}_{\mathcal{B}}=c_1[{\mathit{u}}_1{]}_{\mathcal{B}}+c_2[{\mathit{u}}_2{]}_{\mathcal{B}}+\cdots +c_p[{\mathit{u}}_p{]}_{\mathcal{B}}$$

定理 9 的坐标映射是一个由 $V$ 到 ${\mathbb{R}}^n$ 上同构的重要例子。一般而言，从一个向量空间 $V$ 映射到另一个向量空间 $W$ 的一对一线性变换称为从 $V$ 到 $W$ 上的同构（$\text{isomorphism}$）（希腊语中 $\text{iso}$ 表相同，$\text{morph}$ 表形状或结构）。每一个在 $V$ 中的向量空间的计算可以完全相同地出现在 $W$ 中，反之亦然。

$\mathcal{B}=\{1,t,t^2,t^3\}$ 是 ${\mathbb{P}}_3$ 的标准基。${\mathbb{P}}_3$ 中的一个典型元素 $\mathit{p}$ 具有形式

$$\mathit{p}(t)=a_0+a_{1}t+a_2{t}^2+a_3{t}^3$$

断定

$$[\mathit{p}{]}_{\mathcal{B}}=\left[\begin{array}{c}{a}_0\\ a_1\\ a_2\\ a_3\end{array}\right]$$

于是坐标映射 $\mathit{p}\mapsto [\mathit{p}{]}_{\mathcal{B}}$ 是一个 ${\mathbb{P}}_3$ 到 ${\mathbb{R}}^4$ 的同构。如果考虑将 ${\mathbb{P}}_3$ 和 ${\mathbb{R}}^4$ 分别在两个计算机展现出来，两个显示屏上的向量看起来不同，但作为向量的“作用”是完全相同的，因为若两个显示屏由坐标变换相联系，${\mathbb{P}}_3$ 的每一个向量空间的运算被正确地复制到 ${\mathbb{R}}^4$ 的一个对应的向量运算。

4.5 向量空间的维数

定理 9 表明，向量空间 $V$ 的基 $\mathcal{B}$ 若含有 $n$ 个向量，则 $V$ 与 ${\mathbb{R}}^n$ 同构。数 $n$ 是 $V$ 的一个内在性质（称为维数），它不依赖基的选择。

定理 10

若向量空间 $V$ 具有一组基 $\mathcal{B}=\{{\mathit{b}}_1,{\mathit{b}}_2,\cdots ,{\mathit{b}}_n\}$，则 $V$ 中任意包含多于 $n$ 个向量的集合一定线性相关。

设 $V$ 中有向量集 $\{{\mathit{u}}_1,{\mathit{u}}_2,\cdots ,{\mathit{u}}_p\}$，$p>n$,则坐标向量 $[{\mathit{u}}_1{]}_{\mathcal{B}},[{\mathit{u}}_2{]}_{\mathcal{B}},\cdots ,[{\mathit{u}}_p{]}_{\mathcal{B}}$ 线性相关，存在不全为 $0$ 的数 $c_1,c_2,\cdots ,c_p$ 使得

$$c_1[{\mathit{u}}_1{]}_{\mathcal{B}}+c_2[{\mathit{u}}_2{]}_{\mathcal{B}}+\cdots +c_p[{\mathit{u}}_p{]}_{\mathcal{B}}=\mathbf{0}$$

故

$$\begin{array}{rl}{\left[\begin{array}{c}{c}_1{\mathit{u}}_1+c_2{\mathit{u}}_2+\cdots +c_p{\mathit{u}}_p\end{array}\right]}_{\mathcal{B}}& =\mathbf{0}\\ c_1{\mathit{u}}_1+c_2{\mathit{u}}_2+\cdots +c_p{\mathit{u}}_p& ={\mathit{P}}_{\mathcal{B}}\cdot \mathbf{0}=\mathbf{0}\end{array}$$

因为 $c_i$ 不全为零，$\{{\mathit{u}}_1,{\mathit{u}}_2,\cdots ,{\mathit{u}}_p\}$ 线性相关。得证。

定理 10 可应用到 $V$ 的无限集中。一个无线集称为线性相关的，如果其中某一有限集是线性相关的，否则这个无限集是线性无关的。

定理 11

若向量空间 $V$ 有一组基含有 $n$ 个向量，则 $V$ 的每一组基一定恰好含有 $n$ 个向量。

设有两个不同的基 ${\mathcal{B}}_1,{\mathcal{B}}_2$，${\mathcal{B}}_1$ 含 $n$ 个向量。因为 ${\mathcal{B}}_1$ 是一个基，${\mathcal{B}}_2$ 中的向量个数不超过 $n$；同理因 ${\mathcal{B}}_2$ 是一个基，${\mathcal{B}}_2$ 中的向量个数不少于 $n$。得证。

若非零向量空间 $V$ 由有限集 $S$ 生成，由生成集定理，$S$ 的一个子集是 $V$ 的一个基。由此定理 11 保证下列定义有意义。

定义 $$ 若向量空间 $V$ 由一个有限集生成，则 $V$ 称为有限维的，$V$ 的维数写成 $\dim V$，是 $V$ 的基中向量的个数。零向量空间 $\{\mathbf{0}\}$ 的维数定义为零。如果 $V$ 不能由一有限集生成，则 $V$ 称为无穷维的。

显然地，$\dim {\mathbb{R}}^n=n$，$\dim {\mathbb{P}}_n=n+1$。

有限维空间的子空间

下一定理是生成集定理的一个自然配对。

定理 12

令 $H$ 是有限维向量空间 $V$ 的子空间。若有必要的话，$H$ 中任一个线性无关集均可以扩充成为 $H$ 的一个基。$H$ 也是有限维的并且

$$\dim H\le \dim V$$

定理 13（基定理）

设 $V$ 是一个 $p$ 维向量空间，$p\ge 1$，$V$ 中任意含有 $p$ 个元素的线性无关集必然是 $V$ 的一个基。任意含有 $p$ 个元素且生成 $V$ 的集合自然是 $V$ 的一个基。

$\mathrm{Nul}\mathit{A},\mathrm{Col}\mathit{A},\mathrm{Row}\mathit{A}$ 的维数

定义 $$ $m\times n$ 矩阵 $\mathit{A}$ 矩阵 $\mathit{A}$ 的秩是列空间的维数，$\mathit{A}$ 的零维是零空间的维数。

$\mathit{A}$ 的秩就是主元列个数。$\mathrm{Row}\mathit{A}$ 的一个基可从 $\mathit{A}$ 的行最简阶梯形的主元行中找到，所以 $\mathrm{Row}\mathit{A}$ 的维数也等于 $\mathit{A}$ 的秩。$\mathit{A}$ 的零维是自由变量的数量。

该定理与 2.9 节定理 14 相同。

定理 14（秩定理）

一个 $m\times n$ 矩阵 $\mathit{A}$ 的列空间的维数和 $\mathit{A}$ 的零空间的维数满足下面的方程：

$$\mathrm{rank}\mathit{A}+\dim \mathrm{Nul}\mathit{A}=\mathit{A}\mathrm{的}\mathrm{列}\mathrm{数}$$

应用到方程组

秩定理是处理线性方程组信息的一个有力工具。

已对一个 $40$ 个方程 $42$ 个变量的齐次方程组求出了两个解。它们不是倍数关系，且其他所有解均能表示为这两个解的适当倍数之和。能否确定一个相应的非齐次方程组有解？

---

令 $\mathit{A}$ 为方程组的 $40\times 42$ 系数矩阵。条件蕴涵两个解线性无关且能生成 $\mathrm{Nul}\mathit{A}$，故 $\dim \mathrm{Nul}\mathit{A}=2$。由秩定理，$\mathrm{rank}\mathit{A}=42-2=40$。由于 ${\mathbb{R}}^{4}0$ 是 ${\mathbb{R}}^{4}0$ 唯一的维数是 $40$ 的子空间，一定有 $\mathrm{Col}\mathit{A}={\mathbb{R}}^{4}0$，这表明每个非齐次方程组 $\mathit{A}\mathit{x}=\mathit{b}$ 有一个解。

4.6 基的变换

对一个向量空间 $V$，考虑两个基 $\mathcal{B}=\{{\mathit{b}}_1,{\mathit{b}}_2\}$ 和 $\mathcal{C}=\{{\mathit{c}}_1,{\mathit{c}}_2\}$，满足 ${\mathit{b}}_1=4{\mathit{c}}_1+{\mathit{c}}_2$，${\mathit{b}}_2=-6{\mathit{c}}_1+{\mathit{c}}_2$。假设 $\mathit{x}=3{\mathit{b}}_1+{\mathit{b}}_2$，即 $[\mathit{x}{]}_{\mathcal{B}}=\left[\begin{array}{c}3\\ 1\end{array}\right]$，求 $[\mathit{x}{]}_{\mathcal{C}}$。

由 $\mathit{x}=3{\mathit{b}}_1+{\mathit{b}}_2$ 有 $[\mathit{x}{]}_{\mathcal{C}}=3[{\mathit{b}}_1{]}_{\mathcal{C}}+[{\mathit{b}}_2{]}_{\mathcal{C}}$，将它写为矩阵方程：

$$[\mathit{x}{]}_{\mathcal{C}}=\left[\begin{array}{cc}[{\mathit{b}}_1{]}_{\mathcal{C}}& [{\mathit{b}}_2{]}_{\mathcal{C}}\end{array}\right]\left[\begin{array}{c}3\\ 1\end{array}\right]$$

确定矩阵的列即可得到 $[\mathit{x}{]}_{\mathcal{C}}$，由题有 $[{\mathit{b}}_1{]}_{\mathcal{C}}=\left[\begin{array}{c}4\\ 1\end{array}\right]$，$[{\mathit{b}}_2{]}_{\mathcal{C}}=\left[\begin{array}{c}-6\\ 1\end{array}\right]$，于是

$$[\mathit{x}{]}_{\mathcal{C}}=\left[\begin{array}{cc}4& -6\\ 1& 1\end{array}\right]\left[\begin{array}{c}3\\ 1\end{array}\right]=\left[\begin{array}{c}6\\ 4\end{array}\right]$$

---

将前述矩阵方程推广可产生如下结果。

定理 15

设 $\mathcal{B}=\{{\mathit{b}}_1,{\mathit{b}}_2,\cdots ,{\mathit{b}}_n\}$ 和 $\mathcal{C}=\{{\mathit{c}}_1,{\mathit{c}}_2,\cdots ,{\mathit{c}}_n\}$ 是向量空间 $V$ 的基，则存在一个 $n\times n$ 矩阵 $\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}$ 使得

$$[\mathit{x}{]}_{\mathcal{C}}=\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}[\mathit{x}{]}_{\mathcal{B}}$$

$\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}$ 的列是 $\mathcal{B}$ 中向量的 $\mathcal{C}-$ 坐标向量，即

$$\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}=\left[\begin{array}{cccc}[{\mathit{b}}_1{]}_{\mathcal{C}}& [{\mathit{b}}_2{]}_{\mathcal{C}}& \cdots & [{\mathit{b}}_n{]}_{\mathcal{C}}\end{array}\right]$$

矩阵 $\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}$ 称为由 $\mathcal{B}$ 到 $\mathcal{C}$ 的坐标变换矩阵，乘以 $\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}$ 的运算将 $\mathcal{B}-$ 坐标变为 $\mathcal{C}-$ 坐标。

$\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}$ 的列是线性无关的，因为它们是线性无关集 $\mathcal{B}$ 的坐标向量。于是 $\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}$ 可逆，有

$$(\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}{)}^{-1}[\mathit{x}{]}_{\mathcal{C}}=[\mathit{x}{]}_{\mathcal{B}}$$

$(\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}{)}^{-1}$ 是将 $\mathcal{C}\mathcal{-}$ 坐标变为 $\mathcal{B}\mathcal{-}$ 的矩阵，即 $(\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}{)}^{-1}=\underset{\mathcal{B}\leftarrow \mathcal{C}}{\mathit{P}}$。

${\mathbb{R}}^n$ 中基的变换

设 $\mathcal{B}$ 为 ${\mathbb{R}}^n$ 的一个基，$\mathcal{E}$ 为标准基 $\{{\mathit{e}}_1,{\mathit{e}}_2,\cdots ,{\mathit{e}}_n\}$（这个字母是花体的 $E$，不是 $\epsilon$），则 $[{\mathit{b}}_i{]}_{\mathcal{E}}={\mathit{b}}_i$，故 $\underset{\mathcal{E}\leftarrow \mathcal{B}}{\mathit{P}}$ 与坐标变换矩阵 ${\mathit{P}}_{\mathcal{B}}$ 相同，即

$$\underset{\mathcal{E}\leftarrow \mathcal{B}}{\mathit{P}}={\mathit{P}}_{\mathcal{B}}=\left[\begin{array}{cccc}{\mathit{b}}_1& {\mathit{b}}_2& \cdots & {\mathit{b}}_n\end{array}\right]$$

定理 15 为在 ${\mathbb{R}}^n$ 中两个非标准基间变换坐标提供帮助。

设 $\mathcal{B},\mathcal{C}$ 是 ${\mathbb{R}}^2$ 中的基，${\mathit{b}}_1=\left[\begin{array}{c}-9\\ 1\end{array}\right],{\mathit{b}}_2=\left[\begin{array}{c}-5\\ -1\end{array}\right],{\mathit{c}}_1=\left[\begin{array}{c}1\\ -4\end{array}\right],{\mathit{c}}_2=\left[\begin{array}{c}3\\ -5\end{array}\right]$，求 $\mathcal{B}$ 到 $\mathcal{C}$ 的坐标变换矩阵。

---

求矩阵 $\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}$ 涉及 ${\mathit{b}}_1$ 和 ${\mathit{b}}_2$ 的 $\mathcal{C}-$ 坐标向量。设 $[{\mathit{b}}_1{]}_{\mathcal{C}}=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right],[{\mathit{b}}_2{]}_{\mathcal{C}}=\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]$，即

$$\left[\begin{array}{cc}{\mathit{c}}_1& {\mathit{c}}_2\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]={\mathit{b}}_1,\left[\begin{array}{cc}{\mathit{c}}_1& {\mathit{c}}_2\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]={\mathit{b}}_2$$

同步解出这两个方程组，将 ${\mathit{b}}_1,{\mathit{b}}_2$ 增加到系数矩阵并行化简：

$$\left[\begin{array}{cccc}{\mathit{c}}_1& {\mathit{c}}_2& {\mathit{b}}_1& {\mathit{b}}_2\end{array}\right]=\left[\begin{array}{cccc}1& 3& -9& -5\\ -4& -5& 1& -1\end{array}\right]\sim \left[\begin{array}{cccc}1& 0& 6& -4\\ 0& 1& -5& -3\end{array}\right]$$

于是 $[{\mathit{b}}_1{]}_{\mathcal{C}}=\left[\begin{array}{c}6\\ -5\end{array}\right],[{\mathit{b}}_2{]}_{\mathcal{C}}=\left[\begin{array}{c}4\\ -3\end{array}\right]$，所求坐标变换矩阵为

$$\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}=\left[\begin{array}{cc}[{\mathit{b}}_1{]}_{\mathcal{C}}& [{\mathit{b}}_2{]}_{\mathcal{C}}\end{array}\right]=\left[\begin{array}{cc}6& 4\\ -5& -3\end{array}\right]$$

$\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}$ 已经出现在行化简后的矩阵内，因为 $\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}$ 的第 $1$ 列是将 $\left[\begin{array}{ccc}{\mathit{c}}_1& {\mathit{c}}_2& {\mathit{b}}_1\end{array}\right]$ 行化简为 $\left[\begin{array}{cc}\mathit{I}& [{\mathit{b}}_1{]}_{\mathcal{C}}\end{array}\right]$，第 $2$ 列同理，于是

$$\left[\begin{array}{cccc}{\mathit{c}}_1& {\mathit{c}}_2& {\mathit{b}}_1& {\mathit{b}}_2\end{array}\right]\sim \left[\begin{array}{cc}\mathit{I}& \underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}\end{array}\right]$$

显然地能够通过 $\underset{\mathcal{B}\leftarrow \mathcal{C}}{\mathit{P}}=(\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}{)}^{-1}$ 求出由 $\mathcal{C}$ 到 $\mathcal{B}$ 的坐标变换矩阵。

另外地，对 ${\mathbb{R}}^n$ 中的 $\mathit{x}$，有

$${\mathit{P}}_{\mathcal{B}}[\mathit{x}{]}_{\mathcal{B}}=\mathit{x}$$

$${\mathit{P}}_{\mathcal{C}}[\mathit{x}{]}_{\mathcal{C}}=\mathit{x}\iff [\mathit{x}{]}_{\mathcal{C}}={\mathit{P}}_{\mathcal{C}}^{-1}\mathit{x}$$

于是

$$[\mathit{x}{]}_{\mathcal{C}}={\mathit{P}}_{\mathcal{C}}^{-1}\mathit{x}={\mathit{P}}_{\mathcal{C}}^{-1}{\mathit{P}}_{\mathcal{B}}[\mathit{x}{]}_{\mathcal{B}}$$

显然 $\underset{\mathcal{C}\leftarrow \mathcal{B}}{\mathit{P}}={\mathit{P}}_{\mathcal{C}}^{-1}{\mathit{P}}_{\mathcal{B}}$，直接对 $\left[\begin{array}{cc}{\mathit{P}}_{\mathcal{C}}& {\mathit{P}}_{\mathcal{B}}\end{array}\right]$ 行化简可以较快地计算它。

4.7 数字信号处理（Digital Signal Processing，DSP）

此为应用性内容，探讨的是离散时间信号空间 $\mathbb{S}$ 及其子空间的一些性质，以及如何用线性变换来处理、过滤和合成信号中包含的数据。

离散时间信号

离散时间信号的向量空间 $\mathbb{S}$ 中的一个信号是一个无限的序列 $\{y_k\}$，$k$ 取遍所有整数。以下为若干例子。（不清楚下面的记号字母是不是对的）

• $\delta$（记号 $\mathit{\delta }$），描述为 $\{d_k\}$，$d_k=\{\begin{array}{ll}1& k=0\\ 0& k\ne 0\end{array}\Rightarrow$ 向量形式 $(\cdots ,0,0,0,1,0,0,0,\cdots )$。

• 单位阶梯（记号 $\mathit{\nu }$），描述为 $\{u_k\}$，$u_k=\{\begin{array}{ll}1& k\ge 0\\ 0& k<0\end{array}\Rightarrow$ 向量形式 $(\cdots ,0,0,0,1,1,1,1,\cdots )$。

• 常数（记号 $\mathit{\chi }$），描述为 $\{c_k\}$，$c_k=1\Rightarrow$ 向量形式 $(\cdots ,1,1,1,1,1,1,1,\cdots )$。

• 交替（记号 $\mathit{\alpha }$），描述为 $\{a_k\}$，$a_k=(-1{)}^k\Rightarrow$ 向量形式 $(\cdots ,-1,1,-1,1,-1,1,-1,\cdots )$。

• 斐波那契（记号 $\mathit{F}$），描述为 $\{f_k\}$，$f_k=\{\begin{array}{ll}0& k=0\\ 1& k=1\\ f_{k-1}+f_{k-2}& k>1\\ f_{k+2}-f_{k+1}& k<0\end{array}\Rightarrow$ 向量形式 $(\cdots ,2,-1,1,0,1,1,2,\cdots )$。

• 指数（记号 ${\mathit{\epsilon }}_c$），描述为 $\{e_k\}$，$e_k=c^k\Rightarrow$ 向量形式 $(\cdots ,c^{-2},c^{-1},c^0,c^1,c^2,\cdots )$。

周期信号也是常用信号，其中特别的是信号 $\{p_k\}$，其存在一个正整数 $q$ 使得 $\mathrm{\forall }k\in \mathbb{Z},p_k=p_{k+q}$。正弦信号由周期函数 ${\sigma }_{f,\theta }=\{\cos (fk\pi +\theta \pi )\}$ 刻画，$f,\theta$ 为固定有理数。

线性时不变变换

采用线性时不变（Linear Time Invariant，$\mathrm{LTI}$）变换处理信号，一种方法是在需要时创建信号而非用空间储存信号。

如下例，对仅有的一个信号重复应用移位 $\mathrm{LTI}$ 变换可以创建与 $\mathit{\delta }$ 类似的信号。

设 $S$ 是将信号中的每个元素根据 $S(\{x_k\})=\{y_k\}$，$y_k=x_{k-1}$ 向右移动的变换，记为 $S(\{x_k\})=\{x_{k-1}\}$。将一个信号向左移动，考虑 $S^{-1}(\{x_k\})=\{x_{k+1}\}$。显然有 $S^{-1}S(\{x_k\})=x_k$，$S^{-1}S=S{S}^{-1}=I$ 是一个恒等变换，即 $S$ 为可逆变换。对 $\mathit{\delta }$ 应用移位信号得到的结果是简单的。

容易验证 $S$ 满足线性变换的性质。对任何一个整数 $q$ 有 $S(\{x_{k+q}\})=\{x_{k-1+q}\}$，可以把这个性质看作时不变性质。

定义 $$（线性时不变($\mathrm{LTI}$)变换）

如果一个变换 $T:\mathbb{S}\to \mathbb{S}$ 满足以下条件，称为线性时不变：

$(\text{i})$ $T(\{x_k+y_k\})=T(\{x_k\})+T(\{y_k\})$ 对所有信号 $\{x_k\},\{y_k\}$ 都成立。

$(\text{ii})$ $T(c\{x_k\})=cT(\{x_k\})$ 对任意常数 $c$ 和信号 $\{x_k\}$ 成立。

$(\text{iii})$ 如果 $T(\{x_k\})=\{y_k\}$，则 $T(\{x_{k+q}\})=\{y_{k+q}\}$ 对任意整数 $q$ 和信号 $\{x_k\}$ 成立。

定理 16（$\mathrm{LTI}$ 变换为线性变换）

在信号空间 $\mathbb{S}$ 上的线性时不变变换是一种特殊类型的线性变换。

数字信号处理

对任意 $m\in {\mathbb{N}}^{+}$，周期 $m$ 的移动平均 $\mathrm{LTI}$ 变换为

$$M_m(\{x_k\})=\{y_k\},y_k=\frac{1}{m}\sum _{j=k-m+1}^k{x}_k$$

易证它是一个线性变换。

$\{p_k\}\in \mathbb{S}$ 表示在很长一段时期内每天记录的股票价格的集合（可以对不在研究时间段内的 $k$ 假设 $p_k=0$）。创建一个两天的移动平均转换 $M_2$，它的核 $\{p_k\}$ 满足对于任意 $k$ 有 ${\displaystyle \frac{p_k+p_{k-1}}{2}}=0$，于是 $p_k=-p_{k-1}$。从 $k=0$ 开始，核中任意信号都可写成 $p_k=(-1{)}^k{p}_0$，一个由 $(-1{)}^k$ 描述的交替信号。由于两天移动平均函数的核由所有交替序列的倍数组成，它平滑了每天的波动，而没有趋平总体趋势。

随着 $m$ 增加，应用 $M_m$ 可使信号更平滑。

另一种类型的 $\mathrm{DSP}$ 与平滑或过滤相反，它通过组合信号来增加它们的复杂性。音频化是一种用于娱乐行业的处理过程，可使虚拟生成的声音具有更高的音质。

生成 $\mathbb{S}$ 的子空间的基

长为 $n$ 的信号集 ${\mathbb{S}}_n$ 被定义为，当 $k<0$ 或 $k>n$ 时，所有满足 $y_k=0$ 的信号集合 $\{y_k\}$。

定理 17

同构于 ${\mathbb{R}}^{n+1}$ 的集合 ${\mathbb{S}}_n$ 是 $\mathbb{S}$ 的子空间，且信号集合 ${\mathcal{B}}_n=\{\mathit{\delta },S(\mathit{\delta }),\cdots ,S^n(\mathit{\delta })\}$ 形成了 ${\mathbb{S}}_n$ 的一个基。

由于 ${\mathbb{S}}_n$ 有一个有限基，其中任何向量都可以表示为 ${\mathbb{R}}^{n+1}$ 中的向量。

用 ${\mathbb{S}}_2$ 的基 ${\mathcal{B}}_2=\{\mathit{\delta },S(\mathit{\delta }),S^2(\mathit{\delta })\}$ 表示信号 $\{y_k\}$，其中

$$y_k=\{\begin{array}{ll}0,& k<0\mathrm{或}k>3\\ 2,& k=0\\ 3,& k=1\\ -1,& k=2\end{array}$$

---

有

$$\{y_k\}=2\mathit{\delta }+3S(\mathit{\delta })+(-1)S^2(\mathit{\delta })$$

故 $[\{y_k\}{]}_{{\mathcal{B}}_2}=\left[\begin{array}{c}2\\ 3\\ -1\end{array}\right]$。

有限支持信号的集合 ${\mathbb{S}}_f$ 是信号 $\{y_k\}$ 的集合，其中只有有限多的项是非零的。${\mathbb{S}}_f$ 是 $\mathbb{S}$ 的子空间，通过记录股票的每日价格增长而产生的信号猛然是有限的支持，这些信号属于 ${\mathbb{S}}_f$ 而不属于任何特定的 ${\mathbb{S}}_n$。

定理 18

集合 ${\mathcal{B}}_f=\{S^j(\mathit{\delta }),j\in \mathbb{Z}\}$ 是无限维向量空间 ${\mathbb{S}}_f$ 的基。

4.8 在差分方程中的应用

信号空间 $\mathbb{S}$ 中的线性无关性

考虑一仅包含三个信号 $\{u_k\},\{v_k\},\{w_k\}$ 的集合 $\mathbb{S}$，当方程

$$c_1{u}_k+c_2{v}_k+c_3{w}_k=0\mathrm{对}\mathrm{所}\mathrm{有}k\mathrm{成}\mathrm{立}$$

蕴含 $c_1=c_2=c_3=0$ 时，$\{u_k\},\{v_k\},\{w_k\}$ 线性无关。

则其同时蕴含

$$c_1{u}_{k+1}+c_2{v}_{k+1}+c_3{w}_{k+1}=0\mathrm{对}\mathrm{所}\mathrm{有}k\mathrm{成}\mathrm{立}$$

$$c_1{u}_{k+2}+c_2{v}_{k+2}+c_3{w}_{k+2}=0\mathrm{对}\mathrm{所}\mathrm{有}k\mathrm{成}\mathrm{立}$$

从而

$$\left[\begin{array}{ccc}{u}_k& v_k& w_k\\ u_{k+1}& v_{k+1}& w_{k+1}\\ u_{k+2}& v_{k+2}& w_{k+2}\end{array}\right]\left[\begin{array}{c}{c}_1\\ c_2\\ c_3\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right]\mathrm{对}\mathrm{所}\mathrm{有}k\mathrm{成}\mathrm{立}$$

该方程组的系数矩阵称为信号的 $\mathrm{Casorati}$ 矩阵，其行列式称为 $\{u_k\},\{v_k\},\{w_k\}$ 的 $\mathrm{Casorati}$ 行列式。若对至少一个 $k$ 值 $\mathrm{Casorati}$ 矩阵可逆，则上述方程蕴含 $c_1=c_2=c_3=0$，则三个信号线性无关。一般代入 $k=0$ 较为方便。

若 $\mathrm{Casorati}$ 矩阵不可逆，则相应信号是线性相关或线性无关的。但是若这些信号是同一个齐次差分方程的所有解，则 $\mathrm{Casorati}$ 矩阵对所有 $k$ 是可逆的且这些信号线性无关，否则其对所有 $k$ 都不可逆且这些信号线性相关。

线性差分方程

给定数 $a_0,a_1,\cdots ,a_n$ 和信号 $\{z_k\}$，$a_0$ 和 $a_n$ 非零，方程

$$a_0{y}_{k+n}+a_1{y}_{k+n-1}+\cdots +a_{n-1}{y}_{k+1}+a_n{y}_k=z_k\mathrm{对}\mathrm{所}\mathrm{有}k\mathrm{成}\mathrm{立}$$

称为一个 $n$ 阶线性差分方程（或线性递归关系）。为简化，$a_0$ 通常取 $1$。若 $\{z_k\}$ 是零序列，方程是齐次的，否则是非齐次的。

在数字信号处理（$\mathrm{DSP}$）中，类似上述的差分方程用来描述一个线性时不变（$\mathrm{LTI}$）滤波器，$a_0,a_1,\cdots ,a_n$ 称为滤波器系数，这里用它们来描述与线性差分方程相关的 $\mathrm{LTI}$ 滤波器。

定义

$$T=a_0{S}^{-n}+a_1{S}^{-n+1}+\cdots +a_{n-1}{S}^{-1}+a_n{S}^0$$

若 $\mathrm{\forall }k,\{z_k\}=T\{y_k\}$，上述方程描述了两个信号中各项之间的关系。

对滤波器系数为 ${\displaystyle \frac{\sqrt{2}}{4}},{\displaystyle \frac{1}{2}},{\displaystyle \frac{\sqrt{2}}{4}}$ 的滤波器输入两个信号：

$$\{y_k\}=\{\cdots ,\cos (0),\cos ({\displaystyle \frac{\pi }{4}})\cos ({\displaystyle \frac{2\pi }{4}}),\cos ({\displaystyle \frac{3\pi }{4}}),\cdots \}$$

它由连续信号 $y=\cos ({\displaystyle \frac{\pi t}{4}})$ 在整数值 $t$ 抽样而生成，而 $\{w_k\}$ 由 $y=\cos ({\displaystyle \frac{3\pi t}{4}})$ 以同种方式生成。

会发现 $\{y_k\}$ 能通过而 $\{w_k\}$ 不行，因为输入 $\{w_k\}$ 的结果是零序列。若一个滤波器使 $\{y_k\}$ 能通过而截断高频的 $\{w_k\}$，称该滤波器为低通滤波器。

齐次差分方程的解通常具有形式 $\{y_k\}=\{r^k\}$ 对某 $r$ 成立。

求解方程

$$y_{k+3}-2y_{k+2}-5y_{k+1}+6y_k=0\mathrm{对}\mathrm{所}\mathrm{有}k\mathrm{成}\mathrm{立}$$

---

用 $r^k$ 代替 $\{y_k\}$ 并因式分解，可得

$$r^k(r-1)(r+2)(r-3)=0$$

$\{1^k\},\{(-2{)}^k\},\{3^k\}$ 都是方程的解。

一般而言，一个非零信号 $\{r^k\}$ 满足齐次差分方程

$$y_{k+n}+a_1{y}_{k+n-1}+\cdots +a_{n-1}{y}_{k+1}+a_n{y}_k=0\mathrm{对}\mathrm{所}\mathrm{有}k\mathrm{成}\mathrm{立}$$

当且仅当 $r$ 是辅助方程

$$r^n+a_1{r}^{n-1}+\cdots +a_{n-1}r+a_n=0$$

的一个根，不考虑 $r$ 是重根的情形。当这个辅助方程有复根时，差分方程具有形如 $\{s^k\cos k\omega \}$ 和 $\{s^k\sin k\omega \}$ 的解，$s,\omega$ 为常数。

线性差分方程的解集

对于 $\mathrm{LTI}$ 转换 $T:\mathbb{S}\to \mathbb{S}$

$$T=a_0{S}^{-n}+a_1{S}^{-n+1}+\cdots +a_{n-1}{S}^{-1}+a_n{S}^0$$

将信号 $\{y_k\}$ 变换为信号 $\{w_k\}$，故齐次方程

$$y_{k+n}+a_1{y}_{k+n-1}+\cdots +a_{n-1}{y}_{k+1}+a_n{y}_k=0\mathrm{对}\mathrm{所}\mathrm{有}k\mathrm{成}\mathrm{立}$$

的解集是 $T$ 的核，且描述了被滤掉或转换为零信号的信号。一个齐次方程的解集也是 $\mathbb{S}$ 的子空间，任何解的线性组合仍然是解。

定理 19

若 $a_n\ne 0$ 且 $\{z_k\}$ 给定，只要 $y_0,y_1,\cdots ,y_{n-1}$ 给定，方程

$$y_{k+n}+a_1{y}_{k+n-1}+\cdots +a_{n-1}{y}_{k+1}+a_n{y}_k=z_k\mathrm{对}\mathrm{所}\mathrm{有}k\mathrm{成}\mathrm{立}$$

有唯一解。

定理 20

$n$ 阶齐次差分线性方程

$$y_{k+n}+a_1{y}_{k+n-1}+\cdots +a_{n-1}{y}_{k+1}+a_n{y}_k=0\mathrm{对}\mathrm{所}\mathrm{有}k\mathrm{成}\mathrm{立}$$

的解集 $H$ 是一个 $n$ 维向量空间。

由于 $H$ 是一个线性变换的核，它是 $\mathbb{S}$ 的子空间。对 $H$ 中 $\{y_k\}$，设 $F\{y_k\}$ 为 ${\mathbb{R}}^n$ 中向量 $(y_0,y_1,\cdots ,y_{n-1})$。易证 $F:H\to {\mathbb{R}}^n$ 是一个线性变换。对 ${\mathbb{R}}^n$ 中任意向量 $(y_0,y_1,\cdots ,y_{n-1})$，由定理 19 知存在 $H$ 中唯一信号 $\{y_k\}$ 使得 $F\{y_k\}=(y_0,y_1,\cdots ,y_{n-1})$ 成立。这说明 $F$ 是由 $H$ 到 ${\mathbb{R}}^n$ 上的一对一线性变换，即 $F$ 是一个同构，$\dim H=\dim {\mathbb{R}}^n=n$。

回到差分方程

$$y_{k+3}-2y_{k+2}-5y_{k+1}+6y_k=0\mathrm{对}\mathrm{所}\mathrm{有}k\mathrm{成}\mathrm{立}$$

若要求出解集的一个基，由于解空间恰好是三维的，$\{1^k\},\{(-2{)}^k\},\{3^k\}$ 构成解空间的一个基。

描述这种差分方程的“通解”的标准方法是对所有解构成的子空间给出它的一个基，这样的基称为它的基础解系。

非齐次方程

非齐次差分方程

$$y_{k+3}-2y_{k+2}-5y_{k+1}+6y_k=z_k\mathrm{对}\mathrm{所}\mathrm{有}k\mathrm{成}\mathrm{立}$$

的通解能写成它的一个特解加上对应的齐次差分方程的一个基础解系的任意线性组合，就像 $\mathit{A}\mathit{x}=\mathit{b}$ 和 $\mathit{A}\mathit{x}=\mathbf{0}$ 的关系一样。它们有相同的意义，$\mathit{x}\mapsto \mathit{A}\mathit{x}$ 和 $\{y_k\}$ 到 $\{z_k\}$ 的映射都是线性的。

化简成一阶方程组

研究 $n$ 阶齐次线性差分方程的现代方法是用等价的一阶差分方程组代替它，其中一阶差分方程如下：

$${\mathit{x}}_{k+1}=\mathit{A}{\mathit{x}}_k\mathrm{对}\mathrm{所}\mathrm{有}k\mathrm{成}\mathrm{立}$$

其中 ${\mathit{x}}_k\in {\mathbb{R}}^n$，$\mathit{A}$ 为 $n\times n$ 矩阵。、

将下列差分方程写成一个一阶方程组：

$$y_{k+3}-2y_{k+2}-5y_{k+1}+6y_k=0\mathrm{对}\mathrm{所}\mathrm{有}k\mathrm{成}\mathrm{立}$$

---

对每个 $k$ 设

$${\mathit{x}}_k=\left[\begin{array}{c}{y}_k\\ y_{k+1}\\ y_{k+2}\end{array}\right]$$

有 $y_{k+3}=-6y_k+5y_{k+1}+2y_{k+2}$：

$${\mathit{x}}_{k+1}=\left[\begin{array}{c}{y}_{k+1}\\ y_{k+2}\\ y_{k+3}\end{array}\right]=\left[\begin{array}{c}0+y_{k+1}+0\\ 0+0+y_{k+2}\\ -6y_k+5y_{k+1}+2y_{k+2}\end{array}\right]=\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ -6& 5& 2\end{array}\right]\left[\begin{array}{c}{y}_k\\ y_{k+1}\\ y_{k+2}\end{array}\right]$$

即 ${\mathit{x}}_{k+1}=\mathit{A}{\mathit{x}}_k$ 对所有 $k$ 成立，其中 $\mathit{A}=\left[\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ -6& 5& 2\end{array}\right]$。

一般而言，方程

$$y_{k+n}+a_1{y}_{k+n-1}+\cdots +a_{n-1}{y}_{k+1}+a_n{y}_k=0\mathrm{对}\mathrm{所}\mathrm{有}k\mathrm{成}\mathrm{立}$$

可重写成 ${\mathit{x}}_{k+1}=\mathit{A}{\mathit{x}}_k$，对所有 $k$ 成立，其中

$${\mathit{x}}_k=\left[\begin{array}{c}{y}_k\\ y_{k+1}\\ ⋮\\ y_{k+n-1}\end{array}\right],\mathit{A}=\left[\begin{array}{ccccc}0& 1& 0& \cdots & 0\\ 0& 0& 1& \cdots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \cdots & 1\\ -a_n& -a_{n-1}& -a_{n-2}& \cdots & -a_1\end{array}\right]$$