正交基
用 \(q_1、q_2、q_3...q_n\) 表示标准正交基，标准表示长度是单位长度，任何 \(q\) 都与其他 \(q\) 正交，她具有性质：
\[q_i^T.q_j=
\begin{array}{cc}
\{ &
\begin{array}{cc}
0 & i\neq j \\
1 & i=j \\
\end{array}
\\
\end{array}
\]
标准正交基让情况变好，她让整个计算方便很多，因为她们更容易操控，从不上溢和下溢出。
正交矩阵
我们把这些标准正交的向量放入矩阵 \(Q\) ,作为矩阵 \(Q\) 的每一列。
\[Q=\left(
\begin{array}{cccc}
q_1 & q_2 & ... & q_n \\
\end{array}
\right)
\]
前面我们已经研究过 \(A^TA\) ，我们再看看 \(Q^TQ\)
\[Q^TQ=\left(
\begin{array}{c}
q_1 \\
q_2 \\
... \\
q_n \\
\end{array}
\right).\left(
\begin{array}{cccc}
q_1 & q_2 & ... & q_n \\
\end{array}
\right)
=\left(
\begin{array}{cccc}
1 & 0 & ... & 0 \\
0 & 1 & ... & 0 \\
... & ... & ... & ... \\
0 & 0 & 0 & 1 \\
\end{array}
\right)=I
\]
结果为单位阵。
我们可以叫 \(Q\) 为标准正交矩阵。
作为惯例，当 \(Q\) 是方阵的时候，我们才叫她正交矩阵。
方阵的特点是，她具有逆矩阵，所以 \(Q^TQ=I\) ,说明 \(Q^T=Q^{-1}\) 。
举例1
\[perm Q=\left(
\begin{array}{ccc}
0 & 0 & 1 \\
1 & 0 & 0 \\
0 & 1 & 0 \\
\end{array}
\right)
\]
则 \(Q^TQ\) 为
\[\left(
\begin{array}{ccc}
0 & 1 & 0 \\
0 & 0 & 1 \\
1 & 0 & 0 \\
\end{array}
\right).\left(
\begin{array}{ccc}
0 & 0 & 1 \\
1 & 0 & 0 \\
0 & 1 & 0 \\
\end{array}
\right)=I
\]
举例2
\[Q=\left(
\begin{array}{cc}
\cos \theta & -\sin \theta \\
\sin \theta & \cos \theta \\
\end{array}
\right)、Q=\frac{1}{\sqrt{2}}\left(
\begin{array}{cc}
1 & 1 \\
1 & -1 \\
\end{array}
\right)、Q=\frac{1}{2} \left(
\begin{array}{cccc}
1 & 1 & 1 & 1 \\
1 & -1 & 1 & -1 \\
1 & 1 & 1 & 1 \\
1 & -1 & 1 & -1 \\
\end{array}
\right)
\]
只有 \(1\) 和 \(-1\) 的正交矩阵称为阿德玛（Adhemar）矩阵。列向量长度为 \(1\) 才是单位向量，所以前面乘以相应的系数进行标准化。
举例3
\(Q\) 当然也可以是长方矩阵。
\[Q=\frac{1}{3} \left(
\begin{array}{ccc}
1 & -2 & 2 \\
2 & -1 & -2 \\
2 & 2 & 1 \\
\end{array}
\right)
\]
意义
重复一边，写 \(Q\) 就表示标准正交列向量的矩阵。
假设要投影到列空间中
\[\begin {align}
P&=Q(Q^TQ)^{-1}Q^T\\
&=QQ^T
\end {align}
\]
所以，标准正交矩阵简化了投影矩阵的计算。长方矩阵里面列向量是标准正交，相乘也为单位阵。
如果 \(Q\) 是方阵，则
\[\begin {align}
P&=QQ^T\\
&=I
\end {align}
\]
此时 \(Q\) 列空间就是整个空间，因为列向量方阵，\(m=n\)，且是标准正交基，每列线性无关，她们的线性组合是整个空间，投影到整个空间的投影矩阵就是单位阵，矩阵 \(b\) 的每个向量还在原来的位置，不要改变。（注意，是方阵）
所有的复杂方程，在使用标准正交基后，都会变得非常简单。
正规方程（\(normal equation\)）中：
\[\begin {align}
A^TA\hat x=A^T b
\end {align}
\]
变为 \(Q\) :
\[\begin {align}
Q^TQ\hat x&=Q^T b\\
\rightarrow I\hat x&=Q^T b
\end {align}
\]
这个方程表示，\(\hat x\) 的分量等于 \(Q^T\) 一行乘以 \(b\) ,即 \(\hat x\) 的 第 \(i\) 个分量等于第 \(i\) 个基向量乘以 \(b\) .
\[\hat x_i=q_i^T.b
\]
Graham-Schmidt正交化法
消元法的目的是将矩阵简化为三角矩阵。
而格拉姆-施密特（Graham-Schmidt）正交化法是将矩阵正交化，使列向量标准正交。
两列线性无关向量
从两列线性无关向量的情况开始
假设有有个向量 \(a、b\) ，我们想把这两个向量正交化得到标准正交向量 \(q_1、q_2\)
第一步：将任意两个线性无关向量转换为正交向量 \(A、B\)。
保持 \(a\) 方向不变，求与 $a $ 垂直的向量，即误差向量 \(e\) .故
\[\begin {align}
A&=a\\
B&=e\\
&=b-p\\
&=b-xa\\
&=b-\frac{ A^TA}{ A^Tb}A
\end {align}
\]
第二步：将正交向量 \(A、B\) 标准化
\[q_1=\frac{ A}{ ||A||}\\
q_2=\frac{ B}{ ||B||}\\
\]
这就是格拉姆-施密特（Graham-Schmidt）正交化法。
三列线性无关向量
假设有有个向量 \(a、b、c\) ，我们想把这两个向量正交化得到标准正交向量 \(q_1、q_2、q_3\) .
第一步：将任意三个线性无关向量转换为正交向量 \(A、B、C\)。
\(A、B\) 同两列线性无关向量一样，
\[\begin {align}
A&=a\\
B&=e\\
&=b-p\\
&=b-xa\\
&=b-\frac{ A^Tb}{ A^TA}A
\end {align}
\]
\(B\) 其实是向量 \(b\) 减去其在 \(a\) 方向上的投影。
所以 \(C\) 同时需要减去其在 \(a、b\) 方向上的投影，因为 \(C\) 应该同时垂直于 \(A、B\)。
\[C
=c-\frac{ A^Tc}{ A^TA}A-\frac{ B^Tc}{ B^TB}B
\]
第二步：将正交向量 \(A、B、C\) 标准化
\[q_1=\frac{ A}{ ||A||}\\
q_2=\frac{ B}{ ||B||}\\
q_3=\frac{ C}{ ||C||}\\
\]
举例
假设两个向量 \(a、b\)
\[a=\left(
\begin{array}{c}
1 \\
1 \\
1 \\
\end{array}
\right),b=\left(
\begin{array}{c}
1 \\
0 \\
2 \\
\end{array}
\right)
\]
我们对其标准正交化，得
\[A=\left(
\begin{array}{c}
\frac{1}{\sqrt{3}} \\
\frac{1}{\sqrt{3}} \\
\frac{1}{\sqrt{3}} \\
\end{array}
\right),B=\left(
\begin{array}{c}
1 \\
0 \\
2 \\
\end{array}
\right)-\frac{3}{3} \left(
\begin{array}{c}
1 \\
1 \\
1 \\
\end{array}
\right)=\left(
\begin{array}{c}
0 \\
-1 \\
1 \\
\end{array}
\right)
\]
将她们放入矩阵 \(Q\) 中
\[Q=\left(
\begin{array}{cc}
\frac{1}{\sqrt{3}} & 0 \\
\frac{1}{\sqrt{3}} & -1 \\
\frac{1}{\sqrt{3}} & 1 \\
\end{array}
\right)
\]
假设原来的两个向量放入矩阵 \(D\) 中。
\[D=\left(
\begin{array}{cc}
1 & 1 \\
1 & 0 \\
1 & 2 \\
\end{array}
\right)
\]
\(D\) 和 \(Q\) 的列空间其实是一样的，都是同一个平面，因为 \(B\) 是 \(a、b\) 的线性组合，\(A\) 是 \(a\) 的线性组合。我们的计算只是让矩阵的基标准正交而已。
通过让矩阵的基标准正交，让投影以及其他的计算更加简单。
表达式
我们可以将格拉姆-施密特（Graham-Schmidt）正交化法用一个矩阵表示，即存在一个上三角矩阵 \(R\) ，使得
\[A=QR
\]
以 2列 矩阵 \(A\) 为例
\[\left(
\begin{array}{cc}
a_1 & a_2 \\
\end{array}
\right)=\left(
\begin{array}{cc}
q_1 & q_2 \\
\end{array}
\right).\left(
\begin{array}{cc}
a_1^T q_1 & a_2^T q_1\\
a_1^T q_2& a_2^T q_2\\
\end{array}
\right)=\left(
\begin{array}{cc}
q_1 & q_2 \\
\end{array}
\right).\left(
\begin{array}{cc}
a_1^T q_1 & a_2^T q_1\\
0& a_2^T q_2\\
\end{array}
\right)
\]
\(a、q\) 都表示列向量。
其中，因为\(q_1\) 与 \(a_1\) 方向一样， \(q_2\) 与 \(a_1\) 正交 ，所以 \(a_1^Tq_2=0\)，而 $ a_2^T$ 与 \(q_1\) 的夹角与 $ a_2$ 与 \(a_1\) 夹角一样，不是正交关系，所以不等于零。矩阵 \(R\) 是一个上三角矩阵。
格拉姆-施密特（Graham-Schmidt）将一组线性无关列的矩阵 \(A\) ,转换为一组标准正交列的矩阵 \(Q\)，而两个矩阵的联系是一个上三角矩阵。
