向量空间 Vector Spaces

向量空间 Vector Spaces

​ 在Gilbert Strang教授的书中，提到了导数的转置（The Transpose of a Derivative ）。在正式的向量空间内容之前，可以先了解一下导数与矩阵转置的联系。

​ 考虑将矩阵看做一个运算符（或者说，算子），对于函数$x(t)$的线性代数。假设$\mathit{A}=\mathrm{d}/\mathrm{d}t$，即表示这种运算。为了找到这种不寻常的$\mathit{A}$的转置，需要先定义两个函数$x(t)$和$y(t)$的内积。

​ 内积由$x_k{y}_k$的求和延伸到函数$x(t)$和$y(t)$的积分：

$$x^{T}y=(x,y)=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}x(t)y(t)\text{d}t$$

由内积的定义可知对转置${\mathit{A}}^T$的要求，不过应用在导数中，“伴随”比“转置”更合适。矩阵的转置有$(\mathit{A}\mathit{x}{)}^T\mathit{y}={\mathit{x}}^T({\mathit{A}}^T\mathit{y})$。$\mathit{A}=\mathrm{d}/\mathrm{d}t$的伴随有

$$(\mathit{A}x,y)=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\frac{\mathrm{d}x}{\mathrm{d}t}y(t)\text{d}t=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}x(t)(-\frac{\mathrm{d}y}{\mathrm{d}t})\text{d}t=(x,{\mathit{A}}^{T}y)$$

导数就这样从对$x(t)$求导变成了对$y(t)$求导，经过这个变换，一个负号产生了。这就告诉我们，导数的转置就是它的负数。导数是反对称的$\mathit{A}=\mathrm{d}/\mathrm{d}t$，${\mathit{A}}^T=-\mathrm{d}/\mathrm{d}t$，即${\mathit{A}}^T=-\mathit{A}$。

​ 导数的这种反对称性同样适用于中心差分矩阵（ centered difference matrices）。前向差分矩阵转换成后向差分矩阵乘以$-1$，在微分方程中，二阶导数是对称的，而一阶导数是反对称的。

---

​ 回到正题，讨论向量空间及其子空间。

​ 之前所说的都是矩阵，其中包含许多向量（一般为列向量）。本节不考虑单独的向量，而考虑向量组成的一个“空间”。向量空间（Vector Space），通常记为${\mathbf{R}}^1,{\mathbf{R}}^2,\dots$。每个向量空间${\mathbf{R}}^n$都由一组完整的向量组成，比如${\mathbf{R}}^3$包含所有具有3个分量的列向量，被称为“三维空间”。空间${\mathbf{R}}^n$包含具有$n$个分量的所有的列向量$\mathit{v}$。$\mathit{v}$的分量都是实数，这也是其字母$\mathbf{R}$的原因。如果其分量为复数，那么就存在于空间${\mathbf{C}}^n$中。

​ ${\mathbf{R}}^2$表示的通常是整个$xy$平面，如$\left[\begin{array}{c}1\\ 0\end{array}\right]$等都在${\mathbf{R}}^2$中，类似地，${\mathbf{R}}^1$表示一条线（比如说$x$轴等）。举几个例子：

​ $\left[\begin{array}{c}4\\ \pi \end{array}\right]$在${\mathbf{R}}^2$中，$\left(\begin{array}{c}1,1,0,1,1\end{array}\right)$在${\mathbf{R}}^5$中，$\left[\begin{array}{c}1+i\\ 1-i\end{array}\right]$在${\mathbf{C}}^2$中。

​ 使用线性代数的好处在于对于抽象的高维空间，我们很难直接想象其几何特征，但是我们可以简单使用几个数字表征一个向量。

​ 下面说一下向量空间的规则：向量空间中的向量必须能进行加法和数乘运算（线性组合），且结果仍在该向量空间中（封闭性）。

​ 那么除了${\mathbf{R}}^n$，还有其他的空间属于向量空间吗？也就是说，是否存在包含于${\mathbf{R}}^n$的向量空间，既满足规则，又无需包含所有向量？

​ 答案是存在的，这种向量空间称为${\mathbf{R}}^n$的子空间（subspace）。

​ 简单起见，还是从${\mathbf{R}}^2$开始。任取一个向量，不管乘以什么数，都在这个子空间中，那么得到的一定是一条直线，而且由于加法的封闭性，该直线一定要经过原点（自己减自己，得到零向量）。

​ 不难得出，${\mathbf{R}}^2$的子空间有以下三种：

1. ${\mathbf{R}}^2$本身；
2. 穿过原点，两端无限延伸的直线；
3. 只包含零向量，通常记为$\mathbf{Z}$。

​ 同理，${\mathbf{R}}^3$的子空间有以下四种：

1. ${\mathbf{R}}^3$本身；
2. 穿过原点，无限延伸的平面；
3. 穿过原点，无限延伸的直线；
4. 只包含零向量，$\mathbf{Z}$。

​ 最后再说一下通过矩阵构造列空间。

​ 比如矩阵$\mathit{A}=\left[\begin{array}{cc}1& 3\\ 2& 3\\ 4& 1\end{array}\right]$，其各列属于${\mathbf{R}}^3$，这两列的所有线性组合就构成了一个列空间（column space），记为$\mathbf{C}\left(\mathit{A}\right)$。这样实际上得到了一个过原点的平面。