线性代数

线性空间

群、域、环的概念

代数系的概念： 若在非空集合 \(X\) 中，定义了若干个运算 \(f_1,f_2,\cdots,f_n\) 都在 \(X\) 上封闭。则称它们构成的体系 \(<X:f_1,f_2,\cdots,f_n>\) 为一个代数系统（代数系）。

群

群的定义： 对代数系统 \(<G:\circ>\)，如果：
(1) 运算 \(\circ\) 有结合律；(2) 存在单位元；(3) 存在逆元。
则称该代数系为群。

如果一个群还有交换律，则称该群为交换群，又叫阿贝尔群（Abel 群）。

如果一个代数系满足 (1)，那么称其为半群。如果满足了 (1)(2)，那么称其为含幺半群。

环和域

环的定义： 对代数系 \(<R:+,\circ>\)，如果：
(1) \(<R:+>\) 是阿贝尔群；(2) \(<R:\circ>\) 是半群；(3) \(\circ\) 对 \(+\) 有分配律。
则称该代数系为环。

如果环的 \(\circ\) 满足交换律，那么称其为交换环。

如果这个交换环至少含有两个元，并且去除零元后 \(\circ\) 是交换的，那么它就是一个域。

由此可以得出，域中至少有加法和乘法的单位元。

线性空间定义和性质

线性空间定义： 设 \(V\) 是一个非空集合，\(F\) 是一个域。现在有定义在 \(V\) 上的加法 \(+\) 和定义在 \(V,F\) 上的数乘。如果：
(1) \(<V:+>\) 是一个阿贝尔群；(2) 满足数乘的四条性质。
则称 \(V\) 是 \(F\) 上的一个线性空间，记为 \(V(F)\)。

• 值得注意的是，上面定义的所有运算必须是封闭的，即运算结果仍然要在相应的集合中。
• 线性空间本质是一个阿贝尔群，只不过还定义了数乘的运算。
• 原本线性空间要求是非空，但是对于一个阿贝尔群而言，显然有单位元，已经满足非空，所以不强调这一点。

线性空间的性质可以参考向量运算性质，凡是向量满足的性质，都是线性空间的性质。

线性子空间的一些理解

子空间定义： 如果 \(W\) 是线性空间 \(V\) 的一个子集，且对于 \(V\) 中的运算也构成域上的线性空间，就称其为 \(V\) 的子空间。

判定方法很简单，只要 \(W\) 运算封闭，它就是 \(V\) 的子空间，因为其他的条件显然是满足的。

对于子空间一些直观的理解，我还是倾向于用向量空间来举例子。比如说线性空间 \(\mathbb{R}^3(\mathbb{R})\)，是三维向量的线性空间。那么子空间就是，这个三维空间中某一个向量平面，因为其中向量相加减后仍然在这个平面中。当然，子空间不止这一个例子，比如说这个三维空间本身也是它自己的子空间。

线性扩张

记 \(\mathrm{span}(S)\) 表示对 \(S\) 中所有向量进行线性组合所张成的空间。也就是说，一个在 \(\mathrm{span}(S)\) 中的向量，必定能够用 \(S\) 中的向量线性表示。这里说的向量指线性空间的元，并不是特指中学里的向量。（但是后文能证明，这二者是等价的。）

• 值得注意，线性表示中涉及到的运算，全部都是原线性空间中的运算，换句话说，我们说线性空间是封闭的，意思是这个空间里任何元素的线性表示都在这个空间里。

有了线性扩张之后，我们就能得出如下简单的结论：

线性空间 \(V(F)\) 的非空子集 \(S\) 的线性扩张 \(\mathrm{span}(S)\) 是包含 \(S\) 的最小子空间。

可以这么来理解：首先 \(\mathrm{span}(S)\) 是够大的，因为如果 \(\mathrm{span}(S)\) 不封闭，那么一定存在一个向量，是 \(S\) 中元素的线性运算的结果，但不在 \(\mathrm{span}(S)\) 中，这本身与 \(\mathrm{span}(S)\) 的定义的是矛盾的。而 \(\mathrm{span}(S)\) 也够小了，因为如果去掉其中任意一个元，这个元都可以通过 \(S\) 中元素线性表示出来。

线性相关性

这个内容中，总共有三个定理和两个等价定理。我想用如下通俗的讲法来记忆。证明是平凡的。

1. 某一个向量可以由剩下的线性表示 \(\Leftrightarrow\) 这个向量组线性相关；
2. 线性无关组中插一个变有关，那么这个插进来的可以被原无关组表示，且表示法唯一。（个人感觉这个定理的重点是在表示法唯一，因为前一个命题是平凡的。）
3. 如果某一组向量都可以被另一更小的向量组线性表示，那么这个向量组是线性相关的。

基、维数、秩

此处讨论的一个大前提是，我们考虑的都是有限维线性空间。而它的定义就是存在一组向量 \(S\)，使得 \(\mathrm{span}(S)=V\)。那如果这组向量还是线性无关的，那么我们称它为 \(V\) 的一组基。而这组基中向量的个数 \(n\) 就称为 \(V\) 的维数。

举个例子，三维向量空间中，一组基可以是沿着 \(x,y,z\) 轴的单位向量，因为它们显然线性无关，而且空间中任一向量可以被它们所表示。

不难发现，基应该是满足 \(\mathrm{span}(S)=V\) 中最小的 \(S\)。

那么如果是三维向量空间的一个子空间，比如说 \(x-y\) 平面，那么它的一组基就可以只有 \(x,y\) 轴的单位向量。如果我们向其中加入 \(z\) 轴的向量，就扩充成了整个空间的基。于是我们有如下定理：

如果 \(W\) 是 \(V\) 的一个子空间，\(V\) 的维数 \(\mathrm{dim}V=n\)。则 \(W\) 的基可以扩充成 \(V\) 的基。

接下来为了定义秩，我们先定义一个极大线性无关组。

\(S\) 是 \(V(F)\) 的一个有限子集（注意，不是子空间），如果 \(S\) 存在一组线性无关的向量 \(B\)，使得 \(S\) 中每个向量都可以被 \(B\) 中的向量表示，那么 \(B\) 就被称为 \(S\) 的极大线性无关组。

如此，我们可以定义秩：

\(B\) 的大小就是 \(S\) 的秩，记作 \(r(S)=|B|\)。

你会觉得在定义上看起来，极大线性无关组和基、维数和秩之间有着很大的相似性。事实上，如果 \(S\) 也是一个线性空间（也就是说 \(S\) 是 \(V(F)\) 的一个子空间），那么它的极大线性无关组就是它的一组基，维数也就等于秩。

那么如何让 \(S\) 变成一个线性空间呢？很显然，\(\mathrm{span}(S)\) 就是一个线性空间，并且，在上述条件下，有 \(B\) 是 \(\mathrm{span}(S)\) 的一组基，\(\mathrm{dim}(\mathrm{span}(S))=r(S)\)。

如何来理解秩： 秩的英文是 \(rank\)，就是顺序，高低。秩高的向量组，次序更高，这是因为人们认为其中蕴含的有效的信息就越多。这里有效的信息指向的实际就是其极大线性无关组的大小，因为别的信息都可以被它们表示的话，这些其余的信息就是多余的，而只有这个无关组中的向量才是值得珍惜的。所以秩高的向量组，就是蕴含的有效信息多。

如果 \(S,T\) 是 \(V(F)\) 的两个有限子集，且 \(S\) 中每个向量可以被 \(T\) 线性表示，则 \(r(S)\le r(T)\)。

说明，\(S\) 中的任何信息都可以被 \(T\) 中的信息所描述，所以 \(S\) 相对于 \(T\) 而言，如果我们获得了 \(T\) 中的信息，我们就不会需要 \(S\) 了，所以 \(T\) 的优先级更高，就是秩更高。

同样，如果 \(T\) 中每个向量可以被 \(S\) 表示，那么二者不仅秩相等，而且二者传递的信息实际上是相同的，也就是其张成的空间是相同的。

接下来的问题是如何求出向量组的秩，实际上就是怎么求极大线性无关组。

先把所有向量按 \(x_1\alpha_1+x_2\alpha_2+\cdots+x_n\alpha_n=0\) 写成一个增广矩阵。然后化成阶梯矩阵。每一行第一个非零元所在列对应的向量就是极大线性无关组。

这样做的合理性怎么理解呢？事实上，这个需要用到初等行列变换后的矩阵秩不变（但这个也很好理解，因为初等变换是线性的，相当于进行了线性组合，所带有的信息量是不变的）。

向量的坐标

接下来就是要解决，所有的线性空间都和向量空间是等价的。

实际上就是坐标的每一维表示对应基的系数来表示线性空间中每一个元，这样的方法非常直观地把所有线性空间归结到向量空间去，并且仍然很好地满足了它们本来的运算性质。

子空间的交、和、直和、补

类比于集合，我们在子空间内也有相应的运算。但是为了更优美的性质，我们希望子空间对应的运算结果仍然是子空间。

那么对于 \(V(F)\) 的两个子空间 \(W_1,W_2\)：

交： \(W_1\cap W_2=\{\alpha|\alpha\in W_1 \And\alpha\in W_2\}\)
和： \(W_1\cap W_2=\{\alpha|\alpha=\alpha_1+\alpha_2,\alpha_1\in W_1 \And\alpha_2\in W_2\}\)

应该认为，子空间的交对应集合的交，子空间的和对应集合的并。

类似于容斥原理，我们可以给出一个维数公式：

\[\mathrm{dim}W_1+\mathrm{dim}W_2=\mathrm{dim}(W_1+W_2)+\mathrm{dim}(W_1\cap W_2) \]

那我们很自然地想到，子空间对应于集合应该也有个补的运算。也就是说，如果 \(W_1+W_2=V\)，那么 \(W_1\) 就是 \(W_2\) 的一个补空间。但是很遗憾，这并不优美，因为如果 \(W_1=W_2=V\)，仍然满足条件，也就是说 \(V\) 是它自身的补空间，难以让人接受，所以我们定义直和：

如果 \(W_1\cap W_2=\{0\}\)，那么 \(W_1+W_2\) 叫做它们的直和，记为 \(W_1\oplus W_2\)。

在直和的定义下，有如下几条命题等价：

1. \(W_1\oplus W_2\)；
2. \(\forall \alpha\in W_1+W_2\)，分解 \(\alpha=\alpha_1+\alpha_2\) 的方式是唯一的；
3. 零向量必然分解为两个零向量；
4. \(\mathrm{dim}(W_1\cap W_2)=0\)。

证明不难，但是由此可见，直和是一种能够把 \(W_1,W_2\) 分开的优美的运算，可以认为是集合中的不交并。这样，我们可以得到，如果 \(W_1\oplus W_2=V\)，那么 \(W_1\) 就是 \(W_2\) 的一个补空间。二者互为互补子空间。

内积空间

内积空间定义： 在实数域的线性空间 \(V(\mathbb{R})\) 中定义一个二元运算，使得其结果与一个实数相对应，记作 \((\alpha,\beta)\)，如果：

1. \((\alpha,\beta)=(\beta,\alpha)\)
2. \((\alpha+\beta,\gamma)=(\alpha,\gamma)+(\beta,\gamma)\)
3. \((\lambda\alpha,\beta)=\lambda(\alpha,\beta)\)
4. \((\alpha,\alpha)\ge 0\)，等号成立时 \(\alpha=0\)

则称该运算为内积，定义了该运算的实空间称为内积空间，如果该空间是有限维的，那么还称作欧氏空间。

直接理解成向量内积就可以，除了定义需要记忆以下，其它直接按照向量内积来做就好了。包括长度，夹角等的定义，都和向量一样。

其中，我们不难理解，两两正交（垂直，即 \((\alpha,\beta)=0\)）的向量组一定线性无关。

欧氏空间一定有单位正交基，下面给出其构造过程（又叫做 \(Schmidt\) 正交化，非常重要）：

现在我们有 \(V(R)\) 的一组基 \(B=\{\alpha_1,\alpha_2,\cdots,\alpha_n\}\)，再令 \(\beta_0=0\)，由下列递推式：

\[\beta_k=\alpha_k-\sum_{i=1}^{k-1}\dfrac{(\alpha_k,\beta_i)}{(\beta_i,\beta_i)}\beta_i \]

求出 \(B^*=\{\beta_1,\beta_2,\cdots,\beta_n\}\)，可以证明，这是一组正交基。然后单位化即可。

正交子空间和正交补

如果两个子空间的向量都是垂直的，那么这两个子空间式互相正交的。记作 \(W_1\perp W_2\)。

举个例子，在三维空间中，一个二维平面和它的一个法向量所在的直线都是子空间，并且二者是互相正交的。
我们不难推出，两个正交的子空间的和一定是直和，因为要使得 \((\alpha,\alpha)=0\)，只能 \(\alpha=0\)。

此时，如果有 \(W_1+W_2=W_1\oplus W_2=V\)，那么 \(W_2\) 就是 \(W_1\) 的补空间，因为又是正交的，就叫做正交补，记作 \(W_1^{\perp}\)

那么如何来找一个空间的正交补空间呢？如下：

\(W^{\perp}=\{\alpha|\alpha\in V\And \alpha\perp W\}\)

其中向量垂直子空间，就是该向量与子空间中任意向量都正交。

显然这个做法是对的。