线性代数复习

正交矩阵：它的转置矩阵就是它的逆矩阵， Q^TQ = QQT = I

对角矩阵：方阵M所有非主对角线元素全等于零的矩阵。（主对角线元素：元素两个下标相等）

svd，奇异值分解：矩阵M = UΣV^T， U和V是正交矩阵， Σ是非负对角阵， Σ对角线上的元素即为M的奇异值。M 是m*n, U是m*m, Σ是m*n, V^T是n*n

特征值与特征向量：Αξ = λξ, 在 $A$ 变换的作用下，向量 $\xi$ 仅仅在尺度上变为原来的 $\lambda$ 倍。称 $\xi$ 是A 的一个特征向量， $\lambda$ 是对应的特征值。所有具有相同的特征值 $\lambda$ 的特征向量和零向量一起，组成了一个向量空间，称为线性变换的一个特征空间。

特征值分解： A是N*N方阵，且有N个线性无关的特征向量 $q_i \,\, (i = 1, \dots, N)$ ， A = QΛQ^-1，其中 Q 是N×N方阵，且其第 i列为 A 的特征向量 $q_i$ 。 Λ 是对角矩阵，其对角线上的元素为对应的特征值，也即 $\Lambda_{ii}=\lambda_i$

酉矩阵：复数域上的正交矩阵，正交矩阵只是在实数域上。

奇异值分解过程：

首先，我们将一个矩阵A的转置 * A，将会得到一个方阵，我们用这个方阵求特征值可以得到：这里得到的v，就是我们上面的右奇异向量。此外我们还可以得到：

这里的σ就是上面说的奇异值，u就是上面说的左奇异向量。奇异值σ跟特征值类似，在矩阵Σ中也是从大到小排列，而且σ的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前r大的奇异值来近似描述矩阵，这里定义一下部分奇异值分解：