【矩阵分析笔记】四种正交化和五种正交分解

本文简述一下九个内容：

正交化方法：Gram-Schimidt Procedure、Modified Gram-Schmidt、Householder、Givens。

正交分解方法：Range-Nullspace、Core-Nilpotent、正交分解、URV分解、SVD分解。

• Range-Nullspace Decomposition
• Core-Nilpotent Decomposition
• Orthogonal Decomposition
• URV分解
• 奇异值分解

从Gram-Schmidt Procedure谈起。施密特正交化会把一组向量组，变换为正交矩阵和上三角矩阵的乘积。这就是QR分解。

Modified Gram-Schmidt是通过迭代的方法计算的。

单位投影矩阵不是对称矩阵也不是Unitary矩阵。

单位平面反射矩阵（Elementary Reflectors）R都是Unitary（酉矩阵）、Hermitian、involuntory。

和Reflector对应的方法是Household Reduction，该算法中$R_k...R_2R_1$就是unitary矩阵，记作PA=T，T是上三角矩阵。

单位旋转矩阵（rotation）都是单位正交矩阵。

Rotation对应的算法是Given Reduction，和Household Reduction类似，一系列的Rotation矩阵可以把一个矩阵转换成行阶梯形矩阵。

当矩阵A非奇异，Householder、Genvens、Gram-Schmidt都可以将A变为正交矩阵A和上三角矩阵R，即A=QR。

还有一个方法也能得到上三角矩阵也就是A=LU，也即Gaussian Elimination。

把一个矩阵转换为上三角矩阵有四种方法：Gaussian Elimination、Gram-Schmidt Proceduce、Householder Reduction、Givens Reduction。

其中具有numerically stable的方法是Householder和Givens。

Gaussian Elimination的全部主元法具有数值稳定性的，部分主元法不具有数值稳定性。

Gram-Schmidt Procedure：对于Modified Gram-Schmidt，用于求解Least Square Problem是stable的，用于QR Factorization则unstable。

 

Range-Nullspace Decomposition

因为R^n（C^n）空间有无数对互补子空间，那么是否有一些比其他更为“自然”的互补子空间存在呢？如果我们从$A_{n\times n}$出发，那么$R^n$有一个定义在基础子空间之上的，和A的幂相关的，非常自然的A的直和分解。The Rank plus nullity theorem表示，“列空间的秩和零空间的秩的和为n”，那么很自然地就可以认为R(A)和N(A)是一对互补子空间。如果A是非奇异的，那么R(A)和N(A)互补显然正确。但是如果A是奇异矩阵，就不一定成立了，因为必须要求R(A)和N(A)不相交才行。（对于非奇异矩阵，R(A)和N(A)的交集不一定为空）

对任意的$A_{n\times n}$，一定存在一个正整数k令$R(A^k)$和$N(A)^k$是互补子空间，即满足如下关系：$\mathbb{R}^n=R\left( A^k \right) \oplus N\left( A^k \right)$。其中最小正整数k被称作“index of A”，对于非奇异矩阵，我们定义：index(A)=0。

Core-Nilpotent Decomposition（核零分解）

如果矩阵$A_{n\times n}$是奇异矩阵并且index为k，即rank(A^k)=r，那么就一定存在一个非奇异矩阵Q满足$Q^{-1}AQ=diag(C_{r\times r}, N)$。

其中矩阵C非奇异，N是一个幂零矩阵并且index(N)=k。换句话说，矩阵A相似于一个2×2的分块对角矩阵，包含一个非奇异的“core”，和一个幂零矩阵。分块矩阵成为矩阵A的core-nilpotent decomposition。

如果矩阵A非奇异，那么k=0，并且r=n，因此矩阵N不会出现。我们可以设置Q=I并且C=A。

基于核零分解，我们可以定义矩阵A的Drazin逆。

Orthogonal Decomposition（正交分解）Theorem

range-nullspace分解和正交分解定理能够出A的一种分解。range-nullspace分解通过方阵将n维空间分解，而正交分解定理能够分解任意矩阵。那么是否能够说range-nullspace分解就是正交分解定理的一种特殊形式呢？不可以，即使对于方阵来说，两者也是在讲完全不同的事情。

core-nilpotent decomposition核零分解通过相似变换可以得到。正交分解的优势在于无论一个问题是否正交，比如最小二乘上面的应用。

正交方法经常用于浮点计算的数值稳定算法，然而相似变换通常不是适用于浮点计算。相似值

URV Factorization

对于任一矩阵$A \in \mathbb{R}^{m\times n}$，矩阵A的秩为r，都存在一个正交矩阵$U_{m\times m}$和矩阵$V_{n\times n}$和非奇异矩阵$C_{r\times r}$，满足关系$A=URV^T=Udiag(C_{r\times r},0)_{m\times n}V^T$。

其中矩阵U的前r列是矩阵A列空间的一组正交基，

U的最后m-r列是A转置的零空间的一组正交基；

V的前r列是A转置的列空间的一组正交基，

V的最后n-r列是A转置的一组正交基。

Range Perpendicular to Nullspace，RPN矩阵定义如下：1.列空间和零空间正交，2.A和A转置的列空间相同，3.A和A转置的零空间相同，4.$A=Udiag(C_{r\times r})U^T$，其中r是A的秩，U是正交矩阵，C非奇异。

这样的矩阵又叫range-symmetric或EP矩阵。非奇异矩阵就是平凡的RPN矩阵因为它们都有zero nullspace。

Singular Value Decomposition

SVD-矩阵奇异值分解 —— 原理与几何意义 - 张磊-Geo的文章 - 知乎。该文章从几何意义上推导SVD的公式，然后列举了每个矩阵分别是怎样的几何意义，最后通过程序表明如何对一张图像做奇异值分解，然后用svd的结果重建图像。

SVD的应用和实际意义：潜在语义索引(LSI)