SVD(奇异值分解)及求解最小二乘问题

1. SVD

任意矩阵A (mxn), 都能被奇异值分解为:

 

其中, U是mxm的正交矩阵, V是nxn的正交矩阵, Σr是由r个沿对角线从大到小排列的奇异值组成的方阵. r就是矩阵A的秩.

2. Moore-Pseudo逆

任意矩阵A, 若存在矩阵X, 使得:

则称X是A的Moore-Pseudo逆, 简称广义逆, 记为A+.

矩阵A的广义逆是唯一的, 并且可以利用A的SVD分解进行计算. 令A的SVD分解为:

不难验证

3. 线性最小二乘问题

考虑线性方程组Ax=b, 求其最小二乘解.

如果A的秩是n, 则其唯一解是A+b; 如果秩小于n, 则有无穷多解, 其中的最小范数解仍然是A+b. 我们通常关心的也就是这个解.