线性代数的部分知识点的几何理解

线性代数的知识的有关几何理解

Vector：(向量)

基本含义：

向量相当于为

$$\overrightarrow{x}=\left[\begin{array}{c}y\\ z\\ ⋮& \\ n\end{array}\right],x\in n-Dimensional(ncomponentsofnumbers)$$

向量始终起始于原点，并且向量只能是平移。

可以利用坐标系，将分量看成不同的坐标轴所属位置，而构造出向量的空间意义。（向量的分量分别对应着向量空间的坐标轴）

它在线性运算（如：向量相加，向量的数乘）后，更多的表示是，他们在不同分量轴所做的运动距离

单个向量时：

看作一个有方向起于原点的射线。

多个向量时：

将每个向量的方向的终点看作一点（但其本意还是与原点相连）。

基向量：

基向量是线性无关的，不同的基向量可以组成n维空间。n维空间的基向量有n个。

$$example:2D:\overrightarrow{i}+\overrightarrow{j}(2Discomposeof\overrightarrow{i}and\overrightarrow{j})$$

$$\overrightarrow{u}=\overrightarrow{w}+\overrightarrow{v}$$

基向量确定了它所在向量空间的方向，当我们根据基向量作坐标系时，我们通过对向量的分量在对应的基向量方向上的投影或刻度，而它们之间的线性组合所得到的向量（矩阵乘向量），就是原向量在经过基向量线性变换后，在新向量空间的位置。

基变换（重要）

基向量可以看作线性变换矩阵，但具有视角问题(将不同的基向量看作坐标轴，其表示的坐标意义不同)，也就是说，当我们以不同的基向量作空间的坐标轴时，此时的所代表的空间不同，那么其坐标对应的意义也就不同。

例如：

$A\overrightarrow{x}=\overrightarrow{v},\overrightarrow{v}$的坐标仍在$\overrightarrow{x}$的所处空间下，而基向量组的坐标是在$\overrightarrow{x}$空间的坐标轴之下表示。

$A^{-1}\overrightarrow{x}=\overrightarrow{v}$，此时基向量组A转变为逆，也就是逆变换从$\overrightarrow{x}$所处的向量空间转变为它所代表的空间，那么此时$\overrightarrow{v}$所求的坐标意义是：在以基向量组作为坐标轴所代表的空间内。

线性相关性

此处我们使用三维空间解释，其中假设有三个向量$\overrightarrow{u}、\overrightarrow{v}、\overrightarrow{w}$。

线性相关：

概念：某一个向量是另外两个向量的运算组合。(当它们组成一个方阵时，因为有一行向量的值等于另两行的行线性变换，所以该det|方阵|=0，为奇异矩阵（非满秩矩阵）。再者通过向量间的线性相关的概念也可理解。)

从图形上理解就是：在三维空间(三个基向量组成的空间)中，向量w和v线性运算后的所有线性集合可以组成一个平面，而向量u在前者所组成的平面内，向量u也就表示向量w和v的线性组合。

$$\overrightarrow{u}=a\overrightarrow{w}+b\overrightarrow{v}$$

线性无关：

概念:某一个向量不是另外两个向量的运算组合。（若在同一方阵，则为非奇异矩阵，即满秩矩阵（不被降维）,$det|A|\ne 0$,向量组(矩阵)A可逆）。

从图形上理解就是：假设在三维空间(三维分量组成的空间)中，向量w和v线性运算后的所有线性集合可以组成一个平面，而向量u不在前者所组成的平面内，向量u，向量w和v的线性组合可以表示整个三维空间。

$$\overrightarrow{u}\ne a\overrightarrow{w}+b\overrightarrow{v}$$

线性变换：

变换：指向量通过线性运算后，是保持网格平行等距变换（运算封闭，原点不变性和基坐标等比例变换）：即直线在变换后仍为直线，其向量空间的原点也不会改变。当记住变换后的基向量，那么求其变换后的向量可以根据其进行计算。

$$\begin{gathered} {\overrightarrow{u}}_{out}=a{\overrightarrow{i}}_{out}+b{\overrightarrow{j}}_{out}(in2-dimensionalspeace) \\ {\left[\begin{array}{cc}i& j\end{array}\right]}_{2\times 2}(thematrixiscompositeoftwobasicverctor:ij) \end{gathered}$$

$$\begin{gathered} {\overrightarrow{u}}_{out}=a{\overrightarrow{x}}_{out}+b{\overrightarrow{y}}_{out}+c{\overrightarrow{z}}_{out}(in3-dimensionalspeace) \\ {\left[\begin{array}{ccc}x& y& z\end{array}\right]}_{3\times 3}(thematrixiscompositeofthreebasicverctor:xyz) \end{gathered}$$

在三维空间中，其线性变换类似于二维空间，也是基于基坐标的变换，从而得到在变换后空间中的坐标。

$Ax$，A表示的是线性变换后的所处空间（或平面）的基坐标，x表示原空间向量，它们相乘之后（也就是以基向量为坐标，根据原点不变性，我们能够根据原向量与变换后基向量相乘就可知变换后坐标），就是x在经过A的列变换之后的坐标（向量：其分量为空间（或平面）的坐标）。

以二维空间举例

$\left[\begin{array}{cc}\overrightarrow{i}& \overrightarrow{j}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{cc}x\overrightarrow{i}& y\overrightarrow{j}\end{array}\right],\overrightarrow{i}=\left[\begin{array}{c}a\\ c\end{array}\right]\overrightarrow{j}=\left[\begin{array}{c}b\\ d\end{array}\right]$

x：表示基坐标轴‘i’，y：表示基坐标轴‘j'。

因为向量是从原点发出的有向且有长度的线段的，那么原向量的每个分量就代表它在所处空间的对应基坐标轴（i或y）上的距离。

解释：

当原旧的基向量（原空间的坐标轴）进行线性变换之后，因为原点的不变性和向量移动后平面网格的等距性，在原旧的向量空间表示的向量，在新基向量表示的空间中，依然保持在基向量作坐标轴时的刻度或值，只不过($x\overrightarrow{i},y\overrightarrow{j}$)计算的坐标仍在旧空间下，因为是从旧空间视角看待的。

其线性方程组求解，也是利用系数矩阵和常数项（已线性变换后的列向量），求解出未知量向量（即线性变换前的行向量）。

复合变换

线性变换是我们以一个基向量组（一个变换矩阵）乘以向量的视角去看。而复合变换是我们将基向量进行多次变换（多个变换矩阵）后再去乘以向量（或向量组）来看。

我们先看复合函数的计算：$f(g(x))$，一般来说我们是先计算里面的$u=g(x)$，然后再计算外面的$f(u)$。而复合变换同理，$[\mathrm{一}\mathrm{个}\mathrm{变}\mathrm{换}\mathrm{矩}\mathrm{阵}][\mathrm{另}\mathrm{一}\mathrm{个}\mathrm{变}\mathrm{换}\mathrm{矩}\mathrm{阵}]x=[\mathrm{一}\mathrm{个}\mathrm{总}\mathrm{的}\mathrm{复}\mathrm{合}\mathrm{变}\mathrm{换}\mathrm{矩}\mathrm{阵}]=[x\mathrm{变}\mathrm{换}\mathrm{后}\mathrm{的}\mathrm{矩}\mathrm{阵}]$，也就是说我们在以空间的视角去看待复合变换时，我们从右往左（从里往外）将向量依次变换后，而根据矩阵乘法我们可以先计算变换矩阵的复合形式，也就是说所有的变换矩阵可以计算成一个总的复合变换矩阵，所得最终的向量与向量经过总复合变换矩阵相乘后得到的形态一致。

详解视频

个人理解

线性相关性

在n维的向量空间中，线性相关，表示向量组中，具有能够被其他向量表示的向量，也就是具有自由未知量（假设其向量组能表示的空间维数为r：也就是基向量个数为r个），则自由未知量的个数=n-r。线性相关的向量组在经过线性变换后，自由未知量所处的向量会被压缩至零坐标（我们通常称为零空间）。

而线性无关，表示向量组中的基向量为n个（也就是向量组的每一个向量都为该空间的一个维度表示），那么他能表示的空间为n维。

线性变换

线性变换的特性：保持网格平行且等距——也就是说，我们在多个向量中，将它们看作一点，并且它们之间可以连接成直线，构建出具有平行线的空间（或平面），当我们进行线性变换时，这些向量会移动到新的位置，当它们重新连接成直线构成空间（或平面）时，你会发现它们遵守了两点：一是距离是等比的；二是原点不变。所以也就对应出该特性——线性变换（对空间的挤压或拉伸）仍保持着网格平行且等距。

在复合变换中，一种是指向量经过多次变换后，所得坐标；二种是指基向量经过多次变换后，旧向量在新向量空间中，但是新向量组的坐标是旧空间的坐标，所得其得到的结果仍在旧空间中。

线性变换的几何意义拓展至n维向量空间，与在二维空间中进行的解释是同理的，只不过向量多了些分量，基向量多了几个。

向量的分量意义

在向量空间中，分量分别对应着向量在向量空间的坐标轴的值。

而对于一般的向量的分量来说，它的分量数表示它所在空间的维数。还有个特殊是基向量。

在线性变换中，向量的分量与对应的基向量所在坐标轴对应，而它的分量值代表了在对应坐标轴的刻度或者投影值，通过分量与对应基向量的计算，能够得到它在不同基向量下的投影，将这些投影合起来（一般是向量的加法运算）就可以确定向量在基向量所代表的向量空间中的位置和方向。

基向量

基向量的个数（或基向量组）更多的是描述它能代表的向量空间，以及通过线性变换表示代表空间中的向量。并且常见的基向量是指列向量。当基向量的分量数大于基向量的个数时，说明基向量无法线性表示整个空间。

如何理解向量左乘新基向量组等于旧向量在新向量空间的坐标，但坐标还是在旧空间中$A\overrightarrow{x}=\overrightarrow{v}$？

通过几何表示，我们知道基向量的坐标是在原空间的坐标系下对照的值(即假设基向量组为$A=\left[\begin{array}{cc}\overrightarrow{i}& \overrightarrow{j}\end{array}\right]$)，而它跟原空间的基向量（通常为单位向量$E=\left[\begin{array}{cc}\overrightarrow{e_1}& \overrightarrow{e_2}\end{array}\right]$）成比例，那么原坐标下的向量$\overrightarrow{x}$，因为新基向量组的坐标其实是用旧空间的坐标表示，那么旧向量计算后的坐标也仍处于旧空间，但是当我们以新基向量组为坐标轴看待时，此时计算的结果也会变为在新向量组所代表的空间的坐标。（简而言之就是：旧向量在原向量空间的基向量的线性组合，在新基向量中使用的线性组合相同）

符号解释：
$\mathrm{基}\mathrm{向}\mathrm{量}\mathrm{组}(\mathrm{变}\mathrm{换}\mathrm{矩}\mathrm{阵}):A=\left[\begin{array}{cc}2& 0\\ 0& -1\end{array}\right]=\left[\begin{array}{cc}\overrightarrow{i}& \overrightarrow{j}\end{array}\right]$

$\mathrm{原}\mathrm{向}\mathrm{量}\mathrm{空}\mathrm{间}\mathrm{的}\mathrm{基}\mathrm{向}\mathrm{量}\mathrm{组}:E=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]=\left[\begin{array}{cc}\overrightarrow{e_1}& \overrightarrow{e_2}\end{array}\right]$
$A\mathrm{与}E\mathrm{的}\mathrm{比}\mathrm{例}\mathrm{为}:\overrightarrow{i}=2\overrightarrow{e_1},\overrightarrow{j}=-1\overrightarrow{e_2}$
$\mathrm{原}\mathrm{向}\mathrm{量}\mathrm{空}\mathrm{间}\mathrm{的}\mathrm{向}\mathrm{量}:\overrightarrow{x}=\left[\begin{array}{c}1\\ 1\end{array}\right]=\left[\begin{array}{c}\mathrm{对}\mathrm{应}\mathrm{在}{e}_1\mathrm{轴}\mathrm{的}\mathrm{值}\\ \mathrm{对}\mathrm{应}\mathrm{在}{e}_2\mathrm{轴}\mathrm{的}\mathrm{值}\end{array}\right]$
$\mathrm{将}A\mathrm{作}\mathrm{为}\mathrm{坐}\mathrm{标}\mathrm{轴}\mathrm{的}\mathrm{向}\mathrm{量}\mathrm{空}\mathrm{间}\mathrm{后}，\mathrm{向}\mathrm{量}\overrightarrow{v}=\left[\begin{array}{c}2\\ -1\end{array}\right]=\left[\begin{array}{c}\mathrm{对}\mathrm{应}\mathrm{在}i\mathrm{轴}\mathrm{的}\mathrm{值}\\ \mathrm{对}\mathrm{应}\mathrm{在}j\mathrm{轴}\mathrm{的}\mathrm{值}\end{array}\right],\mathrm{需}\mathrm{要}\mathrm{知}\mathrm{道}\mathrm{的}\mathrm{是}\mathrm{此}\mathrm{时}\overrightarrow{v}\mathrm{的}\mathrm{坐}\mathrm{标}\mathrm{仍}\mathrm{表}\mathrm{示}\mathrm{在}\mathrm{旧}\mathrm{空}\mathrm{间}。$
$\mathrm{当}\mathrm{我}\mathrm{们}\mathrm{使}\mathrm{用}{A}^{-1}\overrightarrow{x}=\overrightarrow{v_1}\mathrm{时}，\mathrm{此}\mathrm{时}\mathrm{的}\overrightarrow{v_1}\mathrm{的}\mathrm{坐}\mathrm{标}\mathrm{是}\mathrm{在}\mathrm{新}\mathrm{基}\mathrm{向}\mathrm{量}\mathrm{组}\mathrm{所}\mathrm{代}\mathrm{表}\mathrm{的}\mathrm{空}\mathrm{间}\mathrm{坐}\mathrm{标}$

A与E每个列向量对应成比例，也就是E经过线性变换后得到的A，而向量$\overrightarrow{x}$,也是原向量空间中，那么它与A和E的比例相同，所以向量$\overrightarrow{x}$左乘变换矩阵A后得到的$\overrightarrow{v}$与它将A的列向量看作基向量后的坐标相同。

向量空间

解的存在，也表明其常数项列向量能由未知量所组成的列向量线性表示。

从秩来看，当列向量组（矩阵）的秩非满秩时，表明其表示空间（一般为列空间）被压缩于R(秩)维空间。

列空间

其向量组中列向量的线性变换后的所有集合，被称为列空间。

零空间

通俗一点来说，指的是原向量组表示某一维（或某一部分维度）的向量，在空间上被压缩至一点，原此维度方向上的所有方向向量都表示一点。也就是我们说的降维（降秩矩阵）。

即向量组在秩非满秩时，某一部分的向量在线性变换后，压缩至零坐标，则这些向量被称为矩阵的零空间(Null space)或者核(Kernel)。在线性方程组中让常数列向量变为0的解。

零空间的维数是自由未知量的个数(自由未知量个数=未知量个数-其秩)。

零空间必定在列空间中（就是原点）。

向量叉积

得到的是垂直两向量的法向量，右手定则确定法向量方向。

矩阵和行列式

矩阵乘法

矩阵乘向量

矩阵乘向量就是向量在基向量组所处空间的坐标。向量在对应的基向量下的投影值，最终经过线性组合得到新向量（新坐标）。

蓝点看作向量的分量，绿色的列向量和红色的行向量看作向量空间的基向量。以下两式都是为了算出在空间中的新坐标。

$Ax=0$，表示的是A为基向量组（其中的绿色为基向量）与x未知数向量的线性组合。

$\left[\begin{array}{cc}\overrightarrow{i}& \overrightarrow{j}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}x\overrightarrow{i}+y\overrightarrow{j}\end{array}\right]$，一般来说$i\mathrm{和}j$也都会是二维。

$yA=0$，表示的是y未知数向量与A为基向量组（其中的红色为基向量）的线性组合

理解：相当于$(Ax{)}^T=0$，从Ax的转置角度看。

$\left[\begin{array}{ccc}x& y& z\end{array}\right]\left[\begin{array}{c}\overrightarrow{i}\\ \overrightarrow{j}\\ \overrightarrow{k}\end{array}\right]=\left[\begin{array}{c}x\overrightarrow{i}+y\overrightarrow{j}+z\overrightarrow{k}\end{array}\right]$，一般来说$i、j\mathrm{和}k$也都会是三维。

矩阵乘矩阵

首先其几何意义有两种：

复合变换

通过该变换，将改变向量的方向、长度和位置。

向量的坐标变换：

当我们把右矩阵看作是向量组（及内部的列向量表示每个向量的坐标），实际是求多个向量在基向量所处空间的对应坐标。

行列式

其空间意义，向量经过线性变换后的空间形体，是其原组成面积（二维）或体积（三维）的定向倍数关系。

注意

当行列式$det(|n\times n|)=0$时，我们可知其原方阵不可逆，为奇异（非满秩）矩阵。从而在空间上，表明原方阵可经过线性变换降维

“取向”：也叫翻转。"定向"：也叫改变，旋转向指定的方向。

二阶行列式中

$$det(\left[\begin{array}{cc}a& b\\ c& d\end{array}\right])$$

其bc有一个为0时，其空间为平行四边形，故bc表示的是ad所构成的四边形对角的拉伸程度。

空间理解

逆矩阵

逆矩阵就是线性变换的逆变换，但是只有线性变换其不会导致原空间降维的情况下存在(|A|≠0)。

当$A^{-1}A\mathrm{时}$，其得到的变换矩阵是不进行任何变换的单位阵

线性方程组

当变换矩阵A（我们又称为常数项矩阵，但我个人更愿意将A看作基向量组）的行列式值不等于0时，能得出唯一的向量$\overrightarrow{x}$，经过变换矩阵后，与常数项(向量)相等（也就是位置重合）。

当变换矩阵A的行列式值等于0时，说明此向量空间将被降维。而我们所求的解向量$\overrightarrow{x}$，要看是否在常数项所在的直线上，才能知道是否仍有解。在常数项向量直线上时有解，否则无解。

秩

变换矩阵的秩，反映出了向量空间经过变换后，是否被降维，且线性变换后向量空间的维度数=秩数。

R(A)=列向量个数-->满秩，|A|≠0；

R(A)<列向量个数-->降秩，|A|=0；

非方阵线性变换

其中的向量分量不等于基向量个数，其几何意义表明本身通过某个变换矩阵得到分量数的增加或减少。即在基向量坐落在高维或低维空间中。

点积

点积的值等于两向量的对应分量相乘之和，也等于一个向量投影到另一个向量的长度乘以该向量的长度（$|\mathbf{a}|\cdot |\mathbf{b}|\cdot \cos (\theta )$，其中$|\mathbf{a}|$和$|\mathbf{b}|$分别表示向量的长度（模），$\theta$表示两向量之间的夹角。）。

向量的点积也可以从矩阵的变换矩阵的视角看待。其点积值的计算可以判断两向量的方向与对方是相反还是相同。 也就是利用投影进行思考。

通过判断点积的正负可以得知两个向量的夹角是锐角还是钝角。如果点积为正，则夹角为锐角；如果点积为负，则夹角为钝角；如果点积为零，则两个向量垂直（夹角为直角）。

对偶性

对偶向量是线性函数或线性形式，它将一个向量映射到实数域（或复数域）上。对偶向量可以通过内积来定义，即${\mathbf{v}}^{(\mathbf{w})}=\mathbf{v}\cdot \mathbf{w}$，其中$\mathbf{w}$是另一个向量。

从空间到数轴的线性变换，即能在高维空间中找到唯一的变换的对偶向量，将其进行转置，即可得到变换矩阵。换句话说：应用线性变换和与这个向量点乘等价。

特征向量和特征值

特征向量：

经过线性变换，其向量仅仅只是被拉伸或压缩，而不会被旋转（仍保持所在张量空间不变）。

特征值

即特征向量经过变换，被拉伸或压缩的比例数。

特征值出现复数的情况，一般对应于变换中的某种旋转。

一个特征值可以对应多个特征向量。在空间中，被拉伸或压缩的特征向量有多个，只要它被拉伸或压缩的比例与其他特征向量相同，则就表示同一个特征值下具有多个特征向量。

剪切变换的特征值为1.

基变换

将一个变换从一个坐标系中转换为另一个新基的坐标系表示：$P^{-1}AP$，P为新基向量的向量组。通过该式可以将变换矩阵A由旧空间转换为以P作坐标系的空间中表示。

特征基

有点类似矩阵A利用相似变换求对角矩阵。当我们用特征基：即特征向量中的一组通过线性组合能够表示整个空间的向量组合用作空间的坐标系时，我们用$P^{-1}AP=\mathrm{\Lambda }$，意思为将A从旧向量空间转变为新向量空间表示，且因为特征向量的特性（经过变换后，在空间中只做伸缩操作，不旋转），该变换的意义就是得到的矩阵必定的对角矩阵且每个列向量为对应特征基的特征值。

当我们对一个矩阵进行求幂时，通常可以先试着找到它的特征基，从而间接求出它的幂次。

$P^{-1}AP=\mathrm{\Lambda }$解释

$AP$,表示的是在A所在的向量空间下的变换，$P^{-1}(AP)$表示的是将该变换的坐标变为以特征基作坐标的向量空间的坐标，也就是将该变换换为特征基表示，而特征向量在变换时，只是作了伸缩变换，又此时以特征基为空间坐标系看待，那么其结果也就是它的特征值对角阵。

也就是说将原始空间转变为特征空间。

抽象向量空间

什么是线性

即严格满足运算封闭的空间。（直观理解：网格线保持平行且等距分布）。

运算封闭

可加性：$L(\overrightarrow{v}+\overrightarrow{w})=L(\overrightarrow{v})+L(\overrightarrow{w})$

成比例：$L(c\overrightarrow{v})=cL(\overrightarrow{v})$

即线性运算保持向量的加法运算和数乘运算。

判断向量空间的公理

线性代数中的概念应用于函数时的别名

线性代数的概念	应用函数时的别名
线性变换	线性算子
点积	内积
特征向量	特征函数

例如：求导也是线性运算。次对角线为未知量的幂，而右边的向量为各项的常系数组成。

推荐一个作者所写的文章

以及推荐视频作者：3Blue1Brown和MIT的教授Gilbert Strang's Homepage (mit.edu)的线代课

他们所有有关线代的教学视频极大帮助了我在线代学习之路的前进，十分感谢！