17-正交矩阵和Gram-Schmidt正交化

一、正交矩阵

　定义：Orthogonal Matrix (必为方阵) 如果$A^TA=AA^T=I$，则$n$阶实矩阵$A$称为正交矩阵

　性质：

　　1）$A^T$是正交矩阵

　　2）$A$的各行是单位向量且两两正交

　　3）$A$的各列是单位向量且两两正交

　　4）|A|=1或-1

　举例：

 

 

 二、标准正交矩阵的优势

　1）求解投影矩阵

　　在投影矩阵章节我们已经知道投影矩阵为：$P=A\left(A^{T} A\right)^{-1} A^{T}$

　　当矩阵A为标准正交矩阵Q时，由于正交矩阵与其转置的乘积为单位矩阵，则上式可以转化为：$P=QQ^{T}$

　　这样就将投影矩阵简单化了。

　2）求解$Ax=b$

　　在投影矩阵章节我们已经知道：$\hat{x}=\left(A^{T} A\right)^{-1} A^{T} b$

　　当矩阵A为标准正交矩阵Q时，由于正交矩阵与其转置的乘积为单位矩阵，则上式可以转化为：$\hat{x}=Q^{T} b$

 

三、Gram-Schmidt正交化

　1）二维情况

　　假设原来的矩阵为[a,b]，a，b为线性无关的二维向量，下面我们通过Gram-Schmidt正交化获得标准正交矩阵

　　假设正交化后的矩阵为Q=[A,B]，我们可以令$A=a$，$B$垂直于$A$，根据我们在前面所讲的投影，我们将$b$投影到$a$上，误差向量$e$即为$B$：

$B=b - \frac{A^{T} b}{A^{T} A}A$

 　2）三维情况

　　 假设原来的矩阵为[a,b,c]，a,b,c为线性无关的二维向量，正交化后的矩阵为Q=[A,B,C]，我们可以令$A=a$，则可以根据二维情况得到如下猜想：

$B=b - \frac{A^{T} b}{A^{T} A}A$

$C= c - \frac{A^{T} c}{A^{T} A}A - \frac{B^{T} c}{B^{T} B}B$

用$c$减去其在$A$和$B$上的投影就得到我们想要的$C$

　3）多维情况

　　如果我们有更多的向量，那我们就用新的向量减去它在已经设定好的所有向量上的投影即可，最后，我们再除以它们各自的长度就得到了标准正交向量

　4）实例

　　假设矩阵为[a,b]

$a=\left[\begin{array}{l}{1} \\ {1} \\ {1}\end{array}\right], b=\left[\begin{array}{c}{1} \\ {0} \\ {2}\end{array}\right]$

　　则由二维情况的结论可知：

$A=a$

$B=b - \frac{A^{T} b}{A^{T} A}A$

　　把具体数值代入得：

　　经过归一化得：

原始矩阵的列空间和Q的列空间相同，能够张成一个二维空间的平面。a和b是原始矩阵列空间的一组基，但这组基“不够好”

我们还想进一步让这组基的向量两两正交，并且都是单位向量，这就得到了q₁和q₂

 

四、矩阵的QR 分解

　如同$A = LU$一样，$A$可以分解成一个正交矩阵和一个上三角矩阵的乘积，$A = QR$

　这里$A$是原始矩阵，各列线性无关，$Q$是标准正交矩阵，$R$是上三角矩阵

　假设原始矩阵$A$有三个列向量：

$A=[a_1, a_2, a_3]$

　按照格拉姆-施密特正交化方法转换后，得到$q_1, q_2, q_3$：

$Q=[q_1, q_2, q_3]$

　我们知道$A = QR$，想求$R$，等式同乘$Q^T$

$R=Q^TA=\left[\begin{array}{l}{q_1^T} \\ {q_2^T} \\ {q_3^T}\end{array}\right][a_1\space a_2\space a_3]$

 　q和a本身也是列向量，得出结果并不那么直观，可以展开表达：

 

 

　下面我们来研究一下$R$中各个元素的值：我们知道$q_1,q_2,q_3$相互正交，所以$q_1^Tq_2=0, q_1^Tq_3=0$

　而$q_1$只是$a_1$的单位化，所以：

$a_1^Tq_2=0$

$a_1^Tq_3=0$

 　前面我们在求解$q_2$的过程中利用了向量相减，我们应该可以看出$q_2$是$a_2$和$q_1$的线性组合，转置后$q_2^T$是$a_2^T$和$q_1^T$的线性组合，即：

$q_2^T=t_1a_2^T + t_2q_1^T$

如果$t_1=0$，则$q_2$与$q_1$线性相关，不符合标准正交向量的前提，所以$t_1$不等于$0$

$q_2^Tq_3=(t_1a_2^T + t_2q_1^T)q_3=t_1a_2^Tq_3 + t_2q_1^Tq_3=0$

所以：$a_2^Tq_3=0$

　$a_2^Tq_2$和$a_3^Tq_3$不为0，如果是0，就没必要正交化了。$q_3$是$a_3$和$q_1$，$q_2$的线性组合，转置后相当于$q_3^T$是$a_3^T$和$q_1^T$，$q_2^T$的线性组合：

$q_3^T=t_1a_3^T + t_2q_1^T + t_3q_2^T$

$q_3^Tq_2=(t_1a_3^T + t_2q_1^T + t_3q_2^T)q_2=t_1a_3^Tq_2 + t_2q_1^Tq_2 + t_3q_2^Tq_2 = t_1a_3^Tq_2 + 0 + t_3q_2^Tq_2 = t_1a_3^Tq_2 + t_3q_2^Tq_2=0$

所以：$t_1a_3^Tq_2 = - t_3q_2^Tq_2$ 均不等于$0$

所以：

　分解实例：求矩阵$A$的$QR$分解

 

五、感谢

　本文参考，感谢作者分享