向量空间 Vector Spaces

在Gilbert Strang教授的书中，提到了导数的转置（The Transpose of a Derivative ）。在正式的向量空间内容之前，可以先了解一下导数与矩阵转置的联系。

考虑将矩阵看做一个运算符（或者说，算子），对于函数\(x(t)\)的线性代数。假设\(\symbfit{A}=\mathrm{d}/\mathrm{d}t\)，即表示这种运算。为了找到这种不寻常的\(\symbfit{A}\)的转置，需要先定义两个函数\(x(t)\)和\(y(t)\)的内积。

内积由\(x_k y_k\)的求和延伸到函数\(x(t)\)和\(y(t)\)的积分：

\[x^T y=\left ( x,y \right ) =\int\limits_{-\infty }^{\infty } {x(t)y(t)\text{d}t } \]

由内积的定义可知对转置\(\symbfit{A}^T\)的要求，不过应用在导数中，“伴随”比“转置”更合适。矩阵的转置有\((\symbfit{A}\symbfit{x})^T\symbfit{y}=\symbfit{x}^T(\symbfit{A}^T\symbfit{y})\)。\(\symbfit{A}=\mathrm{d}/\mathrm{d}t\)的伴随有

\[\left (\symbfit{A}x,y \right ) =\int\limits_{-\infty }^{\infty } {\frac{\mathrm{d} x}{\mathrm{d} t}y(t)\text{d}t } =\int\limits_{-\infty }^{\infty } {x(t)\left ( -\frac{\mathrm{d} y}{\mathrm{d} t} \right ) \text{d}t } =\left ( x,\symbfit{A}^T y \right ) \]

导数就这样从对\(x(t)\)求导变成了对\(y(t)\)求导，经过这个变换，一个负号产生了。这就告诉我们，导数的转置就是它的负数。导数是反对称的\(\symbfit{A}=\mathrm{d}/\mathrm{d}t\)，\(\symbfit{A}^T=-\mathrm{d}/\mathrm{d}t\)，即\(\symbfit{A}^T=-\symbfit{A}\)。

导数的这种反对称性同样适用于中心差分矩阵（ centered difference matrices）。前向差分矩阵转换成后向差分矩阵乘以\(-1\)，在微分方程中，二阶导数是对称的，而一阶导数是反对称的。

回到正题，讨论向量空间及其子空间。

之前所说的都是矩阵，其中包含许多向量（一般为列向量）。本节不考虑单独的向量，而考虑向量组成的一个“空间”。向量空间（Vector Space），通常记为\(\symbf{R}^1,\symbf{R}^2,\dots\)。每个向量空间\(\symbf{R}^n\)都由一组完整的向量组成，比如\(\symbf{R}^3\)包含所有具有3个分量的列向量，被称为“三维空间”。空间\(\symbf{R}^n\)包含具有\(n\)个分量的所有的列向量\(\symbfit{v}\)。\(\symbfit{v}\)的分量都是实数，这也是其字母\(\symbf{R}\)的原因。如果其分量为复数，那么就存在于空间\(\symbf{C}^n\)中。

\(\symbf{R}^2\)表示的通常是整个\(xy\)平面，如\(\begin{bmatrix}1\\0\end{bmatrix}\)等都在\(\symbf{R}^2\)中，类似地，\(\symbf{R}^1\)表示一条线（比如说\(x\)轴等）。举几个例子：

\(\begin{bmatrix}4\\\pi\end{bmatrix}\)在\(\symbf{R}^2\)中，\(\begin{pmatrix}1,1,0,1,1\end{pmatrix}\)在\(\symbf{R}^5\)中，\(\begin{bmatrix}{1+i}\\{1-i}\end{bmatrix}\)在\(\symbf{C}^2\)中。

使用线性代数的好处在于对于抽象的高维空间，我们很难直接想象其几何特征，但是我们可以简单使用几个数字表征一个向量。

下面说一下向量空间的规则：向量空间中的向量必须能进行加法和数乘运算（线性组合），且结果仍在该向量空间中（封闭性）。

那么除了\(\symbf{R}^n\)，还有其他的空间属于向量空间吗？也就是说，是否存在包含于\(\symbf{R}^n\)的向量空间，既满足规则，又无需包含所有向量？

答案是存在的，这种向量空间称为\(\symbf{R}^n\)的子空间（subspace）。

简单起见，还是从\(\symbf{R}^2\)开始。任取一个向量，不管乘以什么数，都在这个子空间中，那么得到的一定是一条直线，而且由于加法的封闭性，该直线一定要经过原点（自己减自己，得到零向量）。

不难得出，\(\symbf{R}^2\)的子空间有以下三种：

\(\symbf{R}^2\)本身；
穿过原点，两端无限延伸的直线；
只包含零向量，通常记为\(\symbf{Z}\)。

同理，\(\symbf{R}^3\)的子空间有以下四种：

\(\symbf{R}^3\)本身；
穿过原点，无限延伸的平面；
穿过原点，无限延伸的直线；
只包含零向量，\(\symbf{Z}\)。

最后再说一下通过矩阵构造列空间。

比如矩阵\(\symbfit{A}=\begin{bmatrix}1 & 3\\2 & 3\\4 & 1\end{bmatrix}\)，其各列属于\(\symbf{R}^3\)，这两列的所有线性组合就构成了一个列空间（column space），记为\(\symbf{C}\left(\symbfit{A}\right)\)。这样实际上得到了一个过原点的平面。