MIT 18.06 linear algebra lecture 17 正交矩阵和Gram-Schmidt正交化 笔记

本节将介绍关于正交性质的最后一部分。使用标准正交基或者列为标准正交的矩阵会简化计算过程。Gram-Schmidt正交化能够将任意一组基转换为标准正交基，转换前后的基所生成的空间一致。

标准正交向量

一组向量\(\boldsymbol{q}_1,\boldsymbol{q}_2,\cdots,\boldsymbol{q}_n\)是标准正交的，当：

\[\boldsymbol{q}_i^T\boldsymbol{q}_j= \begin{cases} 0 &\text{if }i\ne j\\ 1 &\text{if }i=j \end{cases} \]

换句话说，每个向量的均为标准（normal）长度\(1\),并且彼此间互相垂直（正交ortho）。标准正交（orthonormal）向量通常是线性无关的。

标准正交矩阵

如果矩阵\(Q=\begin{bmatrix}\boldsymbol{q}_1&\cdots&\boldsymbol{q}_n\end{bmatrix}\)的列是标准正交的，则\(Q^TQ=I\)是单位矩阵。

到目前为止，已经掌握了多种性质的矩阵：三角矩阵、对角矩阵、置换矩阵、对称矩阵、行化简形式、投影矩阵。矩阵\(Q\)则是另外一种矩阵——标准正交矩阵（orthonormal matrix）。

如果\(Q\)是标准正交矩阵，同时也是方阵，则称其为正交矩阵（orthogonal matrix）。如果\(Q\)是方阵，则由\(Q^TQ=I\)可知\(Q^T=Q^{-1}\)。

例如\(Q=\begin{bmatrix}0&0&1\\1&0&0\\0&1&0\end{bmatrix}\)，则\(Q^T=\begin{bmatrix}0&1&0\\0&0&1\\1&0&0\end{bmatrix}\)。\(Q\)和\(Q^T\)都是正交矩阵，两者的乘积是单位矩阵。

矩阵\(Q=\left[\begin{array}{rr}\cos\theta&-\sin\theta\\ \sin\theta&\cos\theta\end{array}\right]\)是正交矩阵，矩阵\(\left[\begin{array}{rr}1&1\\1&-1\end{array}\right]\)不是，但是稍加调整之后能得到正交矩阵\(Q=\frac{1}{\sqrt 2}\left[\begin{array}{rr}1&1\\1&-1\end{array}\right]\)

利用上面的策略，可以找到更大的正交矩阵，下面这种矩阵称为阿达马矩阵（Hadamard matrix），元素全部由\(0,1\)组成，并且所有列是正交的：

\[Q=\frac{1}{2} \left[\begin{array}{rrrr} 1 & 1 & 1 & 1\\ 1 & -1 & 1 & -1\\ 1 & 1 & -1 & -1\\ 1 & -1 & -1 & 1 \end{array}\right] \]

下面是一个非方阵，其列是标准正交的：

\[Q=\frac{1}{3} \left[\begin{array}{rr} 1 & -2\\ 2 & -1\\ 2 & 2 \end{array}\right] \]

可以对其添加一列，使其成为正交矩阵：

\[Q=\frac{1}{3} \left[\begin{array}{rrr} 1 & -2 & 2\\ 2 & -1 & -2\\ 2 & 2 & 1 \end{array}\right] \]

标准正交列的有用之处

假设\(Q\)的列是标准正交的，则投影到\(Q\)的列空间的投影矩阵是：

\[P=Q(Q^TQ)^{-1}Q^T \]

由于\(Q\)的列是标准正交的，则\(Q^TQ=I\)，所以\(P=QQ^T\)。如果\(Q\)是方阵，则\(P=I\)，因为\(Q\)的列空间生成整个空间。
当使用列为标准正交的矩阵时，许多等式更容易解决。例如，当一组基为标准正交时，投影部分\(\hat{x}_i\)恰恰是\(\boldsymbol{q}_i^T\boldsymbol{b}\)，因为\(A^TA\hat{\boldsymbol{x}}=A^T\boldsymbol{b}\)直接化简为\(\hat{\boldsymbol{x}}=Q^T\boldsymbol{b}\)。

Gram-Schmidt正交化

最开始学习消元法时，目的是使矩阵变为上三角矩阵。接下来使用Gram-Schmidt方法使得矩阵是标准正交的。
首先，从两个互相无关的向量\(\boldsymbol{a}\)和\(\boldsymbol{b}\)，找到两个标准正交的向量\(\boldsymbol{q}_1\)和\(\boldsymbol{q}_2\)，这两组向量生成的空间一致。首先找到两个正交向量\(A\)和\(B\)，它们生成的空间和\(\boldsymbol{a}\)、\(\boldsymbol{b}\)生成的相同。然后求得单位向量\(\boldsymbol{q}_1=\frac{A}{\|A\|}\)和\(\boldsymbol{q}_2=\frac{B}{\|B\|}\)就是满足条件的标准正交向量。

假设\(A=\boldsymbol{a}\)，接下来在\(\boldsymbol{a}\boldsymbol{b}\)生成的空间中，将\(\boldsymbol{b}\)投影到\(\boldsymbol{a}\)上，得到投影后的向量\(\boldsymbol{p}\)，则\(B=\boldsymbol{b}-\boldsymbol{p}\)。（\(B\)即是前两节中反复提到的\(\boldsymbol{e}\)）。

\[B=\boldsymbol{b}-\frac{A^T\boldsymbol{b}}{A^TA}A \]

如果在等式两边乘以\(A^T\)，可以得到\(A^TB=0\)，即\(A\)和\(B\)是正交的。

当有三个线性无关的向量\(\boldsymbol{a}\)、\(\boldsymbol{b}\)和\(\boldsymbol{c}\)时该怎么做呢？按照上面求解\(B\)de 规律，可以找到向量\(C\)，\(\boldsymbol{c}\)减去在\(A\)和\(B\)上的投影上即可：

\[C=\boldsymbol{c}-\frac{A^T\boldsymbol{c}}{A^TA}A-\frac{B^T\boldsymbol{c}}{B^TB}B \]

假设\(\boldsymbol{a}=\begin{bmatrix}1\\1\\1\end{bmatrix}\)，\(\boldsymbol{b}=\begin{bmatrix}1\\0\\2\end{bmatrix}\)，则\(A=\boldsymbol{a}\),并且：

\[\begin{aligned} B &= \left[\begin{array}{r}1\\0\\2\end{array}\right] - \frac{A^T\boldsymbol{b}}{A^TA}\left[\begin{array}{r}1\\1\\1\end{array}\right]\\ &= \left[\begin{array}{r}1\\0\\2\end{array}\right] - \frac{3}{3}\left[\begin{array}{r}1\\1\\1\end{array}\right]\\ &= \left[\begin{array}{r}0\\-1\\1\end{array}\right] \end{aligned} \]

标准化之后得到：

\[Q=\begin{bmatrix}\boldsymbol{q}_1&\boldsymbol{q}_2\end{bmatrix}=\left[\begin{array}{rr}1/\sqrt3&0\\1/\sqrt3&-1/\sqrt2\\1/\sqrt3&1/\sqrt2\end{array}\right] \]

\(Q\)的列空间和\(\boldsymbol{a}\)、\(\boldsymbol{b}\)生成的一致。

当研究消元时，对消元过程研究后发现\(A=LU\)。对\(A\)矩阵进行Gram-Schmidt正交化得到\(Q\)的过程同样能够得到一个等式——\(A=QR\)。当\(L\)是下三角矩阵时，\(R\)是上三角矩阵。
假设\(A=\begin{bmatrix}\boldsymbol{a}_1&\boldsymbol{a}_2\end{bmatrix}\)，则：

\[\begin{array}{cccc} A&&Q&R\\ \begin{bmatrix} \boldsymbol{a}_1&\boldsymbol{a}_2 \end{bmatrix}& =& \begin{bmatrix} \boldsymbol{q}_1&\boldsymbol{q}_2 \end{bmatrix}& \begin{bmatrix} \boldsymbol{a}_1^T\boldsymbol{q}_1 &\boldsymbol{a}_2^T\boldsymbol{q}_1\\ \boldsymbol{a}_1^T\boldsymbol{q}_2 &\boldsymbol{a}_2^T\boldsymbol{q}_2\\ \end{bmatrix} \end{array} \]

如果\(R\)是上三角矩阵，则\(\boldsymbol{a}_1^T\boldsymbol{q}_2=0\)成立。因为选择\(\boldsymbol{q}_1\)作为\(\boldsymbol{a}_1\)方向上的单位向量，后面其他的\(\boldsymbol{q}_i\)均与前面所选的向量垂直。

由于\(Q^TQ=I\)，所以\(R=Q^TA\)。

---

笔记来源：MIT 18.06 lecture 17