MIT 18.06 linear algebra lecture 14 正交向量和子空间 笔记

本节主要提到向量、基以及子空间正交（orthogonal）的概念，符号是\(\perp\)。

矩阵的行空间和零空间是正交的，列空间和左零空间是正交的。

正交向量

正交和另一个以往熟知的词——垂直（perpendicular）是等价的，如果两个向量之间的角是\(90^{\circ}\)，则两个向量是正交的。如果两向量是正交的，两向量之和构成斜边，构成一个直角三角形。可以利用毕达哥拉斯定理证明当两向量正交时，点积\(\boldsymbol{x}^T\boldsymbol{y}=\boldsymbol{y}^T\boldsymbol{x}=0\)。

另外，所有向量与零向量正交。

正交子空间

子空间\(S\)和子空间\(T\)正交意味着\(S\)中的每个向量都和\(T\)中的每个向量正交。黑板所在的平面和地板所在的平面并不正交，显然两者相交的直线上的向量并不是正交的。
在平面内，仅包含零向量的空间和任意通过原点的直线是正交的；通过原点的直线和整个平面不是正交的；两条通过原点的直线夹角为直角时是正交的。

零空间与行空间垂直

矩阵\(A\)的行空间和零空间正交，因为\(A\boldsymbol{x}=\boldsymbol{0}\)意味着\(\boldsymbol{x}\)与\(A\)的每行点积为\(0\)。所以\(\boldsymbol{x}\)与\(A\)的行向量的任意线性组合也为\(0\)。
矩阵\(A\)的列向量与左零向量正交，因为\(A^T\)的行向量与\(A^T\)的零向量垂直。

在某种意义上，矩阵的行空间和零空间将\(\mathbb{R}^n\)细分为两个垂直的子空间。例如\(A=\left[\begin{array}{rrr}1&2&5\\2&4&10\end{array}\right]\)，行空间维数为\(1\)，基是\(\begin{bmatrix}1\\2\\5\end{bmatrix}\)，而零空间维数为\(2\)，是通过原点的平面且与\(\begin{bmatrix}1\\2\\5\end{bmatrix}\)垂直。
零空间不止与行空间正交，两者维数之和也与整个空间相同，称零空间和行空间是\(\mathbb{R}^n\)是\(\mathbb{R}^n\)的正交补（orthogonal complements）。零空间包含所有和行空间内任意向量正交的向量，反之亦然。

实际应用中常有测量误差存在，导致\(A\boldsymbol{x}=\boldsymbol{b}\)在\(m>n\)是无解的，针对这种情况需要寻找最佳解。矩阵\(A^TA\)在解决这类问题中很重要：关键等式是\(A^TA\hat{\boldsymbol{x}}=A^T\boldsymbol{b}\)。
\(A^TA\)是\(n\times n\)的方阵，并且是对称的，何时是可逆的呢？
假设\(A=\begin{bmatrix}1&1\\1&2\\1&5\end{bmatrix}\)，有：

\[A^TA= \left[\begin{array}{rrr} 1&1&1\\ 1&2&5 \end{array}\right] \left[\begin{array}{rr} 1&1\\ 1&2\\ 1&5 \end{array}\right]= \left[\begin{array}{rr} 3&8\\ 8&30 \end{array}\right] \]

是可逆的。\(A^TA\)并不总是可逆的，事实上：

\[N(A^TA)=N(A) \]

\[\text{rank of }A^TA=\text{rank of }A \]

所以当\(A\)的各列线性独立时，\(A^TA\)是可逆的。

---

笔记来源：MIT 18.06 lecture 14