线性代数（笔记九） MIT公开课（来源网易云课堂）
课程来源：网易云课堂学习计划（课程链接）
作者简述：作者为一名正在读研的学生，自己的数学状态较差。本科期间所学均能算跟得上，而且通过自己的努力经过了研究生考试。但是对数学的理解并不透彻，只是根据课上所学去做题而已。如今科研中，许多过程均需要用到所学的数学知识，然而一个好的理解和一个扎实的基础才是科研之本。数学虽然是作为一种工具，如果不了解含义，无论是是使用上还是在其基础之上进行修改均显得支支吾吾。于是决定重新学习线性代数相关知识，并做此笔记以供复习或和他人分享。
用途：此系列文章均是作者在课上所学及其自己相关的数学思想所做的笔记，如有理解错误之处还望大家指出。本系列文章均可不咨询情况下任意转载和学习（不可商用）。
作者研究方向为机器学习，如果有相同方向的小伙伴想一起学习，请加QQ123854340（备注来源博客），如果人数较多还可能建群。同时发现文章中有错误之处也请发邮件到123854340@qq.com或者下方留言。
在上节课中，我们对方程组（AX = b）进行求解，并探讨了它的可解性。在这节课中我们将讲述线性相关、线性无关及向量空间的基和维度。
一、线性相关与线性无关
假设我们给出一个矩阵A，矩阵A的行是m，矩阵A的列是n。如果矩阵m<n，那么Ax = 0一定存在非零解。首先我们来分析下原因。
在前几节课中，我们讲过Ax = 0的求解过程。对于系数矩阵A，我们有m为方程组的行数，n为方程组变量的个数。此时m<n，意味着方程组的个数小于变量的个数。同时，我们还知道一个系数矩阵A的秩r，一定满足r<=m,n。所以上方的矩阵A的r最大值为m，且m<n,那么由自由变元个数为n-r可知，由该系数矩阵构成的方程组一定存在自由变元！那么Ax = 0也就一定存在非0解。
如果把系数矩阵A的每一列看做一个列向量Vi，那么A = [V1,V2,V3,…,Vn]。
如果V1,V2,V3,…,Vn是线性无关的，当且仅当任何(非全0)的组合系数c1,c2,c3,…,cn使得如下表达式成立：
c1V1+c2V2+…+cnVn != 0
很显然，系数矩阵A所对应的各个列是线性相关的。因为Ax = 0一定存在非0解。
从另外的直观的角度去理解这个问题，我们给出如下A矩阵：
对应c1V1+c2V2+…+cnVn = 0我们有如下表示方式：
我们可以把Ac = 0看成A的列向量的组合，c为组合系数。当方程组为两个方程三个变量时，所对应的情况如上图坐标系中所示。v1、v2已经是线性无关的，可以组合空间中任意一种向量。所以c3v3可由v1、v2组合而成，c3可以取任意值。所以方程组有非零解。
可以看出当V1,V2,V3,…,Vn是线性无关的，那么由他们组成的系数矩阵A的零空间N(A)仅含有零向量。
二、空间向量的基和维度
生成向量空间：已知向量V1,V2,V3,…,Vn和一个向量空间。如果向量空间是由这些向量的组合构成的。那么我们就说这个向量空间是已知向量（V1,V2,V3,…,Vn）的生成向量空间。
向量空间中的基是由空间中的一系列向量所构成，这些向量满足线性无关，且向量空间是这些向量的生成向量空间。
例如在R3中，我们有基如下（这只是个特殊的例子，R3中的基有多个）：
在Rn中，如果由n个向量构成n×n方阵，且方阵是线性无关的，那么这n个向量就是Rn的一组基。
同一个向量空间中有多个基，但是每个基的所含有的向量个数是定值，我们称之为维度。对于一个矩阵A(右侧为N(A)的基)：
rank(A) = numbers of pivot columns(主元所在列的个数) = dimension of C(A)(A列空间的维度) = 2
dim N(A)(A的零空间的维度) = numbers of free columns(自由变元所在列的个数) = n - r = 2
