线性空间的表示定理-1
表示定理回答这样一个问题，线性空间中的点是否存在某种统一的，唯一的表示？如果存在，它可以表示成什么样子？
由于线性空间有很多不同种类，如Hilbert Space， RKHS等，因此不同的线性空间又有不同的表示定理。
1）有限维线性空间
有限维线性空间中的点如何表示？比这个问题更基本的是，有限维线性空间如何表示？
按定义，有限维线性空间是这样一个集合，这个集合对加法和数乘运算封闭。只可惜这个列举法的定义在实践中太难使用了，我们不可能去挨个检测线性空间每个点的性质，太麻烦了！
一个天才的idea是从这个集合中选取有限多个最重要的对象来表示这个空间。如果能够办到，则我们就用这n个最重要的对象来刻画整个线性空间V，方便多了！
那麽如何去找这n个“最重要的对象”？实际上你没法找，如果一定要找，可以找出无穷多组出来。所以解决这个问题的idea其实是定义这组最重要的对象应该满足什么性质。这性质，如同我们想象的，它们应该以最经济的方式“张成”这个线性空间。换句话说，线性空间中的所有点都可以经济地由这n个最重要的对象线性组合而成。所以，凡是能够做到这一点的n个对象都能够满足我们的要求。BTW，这里的经济的意思是说这组对象应该彼此独立，否则其中必然有对象可以由剩下的对象线性表示，它就多余了，应该去掉。
因此，这n个重要对象不是“找出来”的，它们是“定义出来”的：span {v1, v2,....,vn} and independent such that it is equivalent to the linear space V。
所以，你先构造这n个线性独立对象，然后证明它们是线性空间的Span 组就可以了。这本质上是一个证明集合等价的问题。
这n个对象是如此特殊，当然应该和其他点区别开来，我们称它是这个线性空间V的一组“基”。基的正式定义是，线性空间中一组彼此线性独立的张成对象是为该线性空间的基。
如果你是一个好奇心强的人，一定会追问如下问题：
1）存在性问题：是否每个有限维线性空间都可找出至少一组基来？换言之，是否存在一个线性空间V，你从中找不出一组基来？
首先，有限维线性空间的正式定义是，至少存在一个有限大小的spanning set。因此，我们随便选取一个V的spanning set，然后去掉那些线性不独立的，剩下的元素一定是线性独立的最小张成集，如此便构造出了一组基。所以对有限维线性空间，基总是存在的。所以我们不需要担心无法对某个有限维线性空间不能紧凑表示的问题。
2）数量问题，是否每组找出来的基都包含同样多的对象？
前面我们知道对任何有限维线性空间V，总存在一组基来张成它，设为 v={v1,v2,...,vn}。比方说我们现在还有另外一组线性独立对象w={w1,w2,w3,...,wr}。 因为 v是基，所以有 w = A v, 其中A是rxn 矩阵，又因为w是A的列空间中的元素，而A的列空间中最大线性独立向量数不可能超过A的rank数，由此可以证明r 不可能比 n 多。换句话说，w 这个线性独立组中包含的对象个数 r 一定小于等于 n。
如果w中个数 r 比n 小，则 我们可以用数学归纳法构造一组基，这组基由所有r 个w 对象 和 部分 v 对象构成。这个fact称为Steinitz 替换原理。利用这个原理，我们知道，有限维线性空间中的每个线性独立组都可以按上述方式扩充成一组基。
Ok，现在是最精彩的地方，如果 w 和 v 都是同一线性空间V 的基，那麽我们对线性独立组W 和基 v 用替换原则得到一组基，则这组基中必然包含全部w，且由替换定理知道 r <=n 。现在把角色反过来，由于也可以把v当作独立组，w当成基，所以必然也有 n <=r。综合起来，r =n。由此我们得到一个重要结论，有限维向量空间中任何两组基中包含的基元个数是一样的。也就是说，这个基元个数不是基的性质，而是向量空间的性质，称为这个线性空间的维数。
-----------------------------------------------
有了基的概念后，我们给出线性空间的表示定理，其实这个定理很简单，它说，线性空间中任何一个点都可以唯一表示成其基的线性组合。比方说，V = span {v1,v2,...,vn}, 则 任何一个点 x in V 都可唯一写成 x = c1 v1 + c2 v2 +....+cn vn 的形式。这是个非常强的结论，它允许你在没有其他额外知识的条件下表达出空间中的点。特别地，如果 基{v1, v2,...,vn} 彼此正交，则我们可以明确的计算出每个 ci，即为 x 在 基向量 vi上的投影，即 <x, vi>/<vi, vi>, 分母的<vi, vi> 是基向量 vi 的长度。
顺便提一下，这组线性组合的系数 c1, c2, ...cn, 称为 点 x 关于基 v1, v2,...,vn 的坐标（coordinate），即它在该线性空间中的位置。
