矩阵论 - 1 - 方程组的几何解释
方程组的几何解释
对于如下方程组：\(\begin{cases}2x&-&y&=0\\-x&+&2y&=3\end{cases}\)
矩阵图像
将上述方程组写作矩阵形式有\(\begin{bmatrix}2&-1\\-1&2\end{bmatrix}\begin{bmatrix}x\\y\end{bmatrix}=\begin{bmatrix}0\\3\end{bmatrix}\)，通常我们把第一个矩阵称为系数矩阵（coefficient matrix）\(A\)，将第二个矩阵称为向量\(x\)，将第三个矩阵称为向量\(b\)，于是线性方程组可以表示为\(Ax=b\)。
行图像
行图像从矩阵的 row 看起，对于每一个 row 来说，在 2D 中可以决定一条直线，在 3D 中决定一个平面。
上述方程组用图像表示如下，即直角坐标系中两直线相交的情况：
列图像
列图像从 column 看起，形成了列向量的线性组合（linear combination），因此在 2D 和 3D 中都是向量，只不过2者之间相差一个维度而已
上述方程组可表示为：\(x\begin{bmatrix}2\\-1\end{bmatrix}+y\begin{bmatrix}-1\\2\end{bmatrix}=\begin{bmatrix}0\\3\end{bmatrix}\)（将第一个向量称作 \(col_1\)，第二个向量称作 \(col_2\)，以表示第一列向量和第二列向量）。
要使得上式成立，需要第一个向量加上两倍的第二个向量，即\(1\begin{bmatrix}2\\-1\end{bmatrix}+2\begin{bmatrix}-1\\2\end{bmatrix}=\begin{bmatrix}0\\3\end{bmatrix}\)。（蓝色+红色虚线，三角形定则）。
\(col_1,col_2\)的某种线性组合得到了向量 \(b\)，\(col_1,col_2\)的所有线性组合将铺满整个平面。
如何求解 \(Ax=b\)
对于 \(Ax=b\)，可以明确的是，这是一个乘法（Matrix Multiplication）运算（上述例子中是矩阵乘以一个向量）
- 列向量线性组合 \(\begin{bmatrix}2&5\\1&3\end{bmatrix}\begin{bmatrix}1\\2\end{bmatrix}=1\begin{bmatrix}2\\1\end{bmatrix}+2\begin{bmatrix}5\\3\end{bmatrix}=\begin{bmatrix}12\\7\end{bmatrix}\)
- 向量内积 \(\begin{bmatrix}2&5\end{bmatrix}\cdot\begin{bmatrix}1&2\end{bmatrix}^T=12,\ \begin{bmatrix}1&3\end{bmatrix}\cdot\begin{bmatrix}1&2\end{bmatrix}^T=7\)
教授建议使用第一种方法，将\(Ax\)看做\(A\)列向量的线性组合。
线性无关
对于任意的 \(b\)，是否都能求解 \(Ax=b\)？
用列向量线性组合的观点阐述就是，列向量的线性组合能否覆盖整个空间？（可能是xy-plane，也可能xyz-plane）
对应到三维列图像中，三个向量在同一个平面上（线性相关），形如\(col_3=col_1+col_2\)，他们的线性组合也一定都在这个平面。如果 \(b\) 在该平面内，则有解；若不再该平面内，则这三个列向量就无法构造出 \(b\)。
这种情形称为奇异（singular）、矩阵不可逆。
If the answer is “no”, we say that A is a singular matrix. In this singular case its column vectors are linearly dependent; all linear combinations of those vectors lie on a point or line (in two dimensions) or on a point, line or plane (in three dimensions). The combinations don’t fill the whole space.
reference
[1] textbook
[2] mit18.06学习笔记
