3.4 Singular Value Decomposition 阅读笔记

奇异值分解

reference的内容为唯一教程, 接下来的内容仅为本人的课后感悟, 对他人或无法起到任何指导作用.

Reference

1. Course website: Singular Value Decomposition | Linear Algebra | Mathematics | MIT OpenCourseWare
2. Course video: 【完整版-麻省理工-线性代数】全34讲 配套教材_哔哩哔哩_bilibili
3. Course summary: Lecture 29: Singular value decomposition (mit.edu)
4. Extra reading: 奇异值分解 SVD 原理与在降维中的应用 - 刘建平Pinard - 博客园 (cnblogs.com) and MIT—线性代数笔记 29 奇异值分解 - 知乎 (zhihu.com)

---

本讲内容为奇异值分解 (Singular Value Decomposition), 它适用于任何矩阵. 我没有深入学习, 在这一讲留下了两三个遗留问题.

奇异值分解是最好的一种矩阵分解. 任意一个矩阵 (任意 size, 不限方阵, 不限其他条件) 都可以写为:

\[A=U\Sigma V^{\mathrm{T}} \]

其中 \(A\) 是 \(m \times n\) 矩阵, \(U\), \(V\) 是 \(m \times m\) 和 \(n \times n\) 的正交矩阵. \(\Sigma\) 是 \(m \times n\) 的对角阵 (主对角线元素有值). 这一讲姑且假设 \(A\) 为方阵.

有几个跟 SVD 长得很像的形式:

• 当 \(A\) 为实对称矩阵时, \(A=Q\Lambda Q^{\mathrm{T}}\). 这是 SVD 的一种特殊情况.

• 当 \(A\) 可对角化时, \(A=S\Lambda S^{\mathrm{T}}\). 但是 \(S\) 并不是正交矩阵, 因此不属于 SVD.

假设我们已知任何矩阵都可以经如上形式的 SVD 分解.

How It Works

介绍具体求解方式之前, 先描述其意义.

很容易在 \(A\) 的行空间找到一组 orthonormal 的向量 (使用 Gram-Schmidt). 接下来经过线性变换 \(A\) 来到列空间, 设 \(\sigma_i \bm{u}_i = A \bm{v}_i\). 那么经过线性变换后的向量是否正交呢? 不一定, 需要特殊选择行空间的标准正交基.

用矩阵语言表述:

\[A \begin{bmatrix} \bm{v_1} & \cdots & \bm{v_r} \\\end{bmatrix} = \begin{bmatrix} \sigma_1 \bm{u_1} & \cdots & \sigma_r \bm{u_r} \\\end{bmatrix} \]

v 相互标准正交, u 相互标准正交. 我们的任务便是找到这样一组 u, v, 和 σ, 满足上面的式子.

此外零空间也可以找出一组标准正交的向量 \(\begin{bmatrix} \bm{v_{r+1}} & \cdots & \bm{v_n} \\\end{bmatrix}\), 如果想映射过去, 则 \(\sigma_i\) 为 0, 此时 \(\bm{u}\) 取什么都好, 但是我们需要找到一个正交矩阵 \(U\), 已经在列空间取了 r 个, 于是剩下的在左零空间取 m-r 个, 凑成 m 个标准正交向量.

最终用矩阵语言描述为:

\[\begin{align*} AV &= A\Bigg[\bm{v}_1\ \bm{v}_2\ \cdots\ \bm{v}_r\ \bm{v}_{r+1}\ \cdots\ \bm{v}_m\Bigg] \\ &= \Bigg[\sigma_1\bm{u}_1\ \sigma_2\bm{u}_2\ \cdots\ \sigma_r\bm{u}_r\ 0\bm{u}_{r+1}\ \cdots\ 0\bm{u}_m\Bigg]\\ &= \Bigg[\bm{u}_1\ \bm{u}_2\ \cdots\ \bm{u}_r\ \bm{u}_{r+1}\ \cdots \ \bm{u}_n\Bigg]\left[\begin{array}{c c c|c}\sigma_1&&&\\&\ddots&&\\&&\sigma_r&\\\hline&&&\begin{bmatrix}0\end{bmatrix}\end{array}\right]\\ &= U \Sigma \end{align*} \]

此时 \(U\) 是 \(m\times m\) 正交矩阵, \(\Sigma\) 是 \(m\times n\) 对角矩阵, \(V^{\mathrm{T}}\) 是 \(n\times n\) 正交矩阵.

最终可以写为 \(AV=U\Sigma\), 进一步可以写作 \(A=U\Sigma V^{-1}\), 因为 \(V\) 是标准正交矩阵所以可以写为 \(A=U\Sigma V^{\mathrm{T}}\).

我们的任务便是找到这样一组 u, v, 和 σ, 满足上面的式子. 此时仍然假设我们已知任何矩阵都可以经如上形式的 SVD 分解.

How to Find \(U\), \(V\), and \(\Sigma\)?

如果已知任何矩阵都可以经如上形式的 SVD 分解: \(A=U\Sigma V^{\mathrm{T}}\).

则 \(A^{\mathrm{T}}A = V \Sigma^{\mathrm{T}} U^{\mathrm{T}}U \Sigma V^{\mathrm{T}} = V \Sigma^{\mathrm{T}}\Sigma V^{\mathrm{T}}=V \Sigma'^{2}V^{\mathrm{T}}\).

这里 \(\Sigma\) 不是方阵, 但是转置乘自身, 最终仍然会得到一个对角阵. (有的元素可能是零).

同理有 \(AA^{\mathrm{T}} = U\Sigma\Sigma^{\mathrm{T}}U^{\mathrm{T}}=U\Sigma''^{\mathrm{T}}U^{\mathrm{T}}\).

假设 \(A\) 行满秩, 列也满秩 (满秩方阵), 那么 \(A A^{\mathrm{T}}\) 和 \(A^{\mathrm{T}} A\) 全都是实对称正定矩阵.

• \(A^{\mathrm{T}} A\) 的特征值满足 \(\sigma_i=\sqrt{\lambda_i}\), 特征向量组成正交矩阵 \(V\).
• \(A A^{\mathrm{T}}\) 的特征值满足 \(\sigma_i=\sqrt{\lambda_i}\), 特征向量组成正交矩阵 \(U\).

Example

Invertible

计算一个例子, \(A=\begin{bmatrix}4&4\\-3&3\end{bmatrix}\), 我们需要找到:

我们来计算 \(A^{\mathrm{T}}A=\begin{bmatrix}4&-3\\4&3\end{bmatrix}\begin{bmatrix}4&4\\-3&3\end{bmatrix}=\begin{bmatrix}25&7\\7&25\end{bmatrix}\).

可以直接观察得到特征向量 \(A^{\mathrm{T}}A\begin{bmatrix}1\\1\end{bmatrix}=32\begin{bmatrix}1\\1\end{bmatrix},\ A^{\mathrm{T}}A\begin{bmatrix}1\\-1\end{bmatrix}=18\begin{bmatrix}1\\-1\end{bmatrix}\), 化为单位向量有 \(\sigma_1=32,\ \bm{v}_1=\begin{bmatrix}\frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}\end{bmatrix},\ \sigma_2=18,\ \bm{v}_2=\begin{bmatrix}\frac{1}{\sqrt{2}}\\-\frac{1}{\sqrt{2}}\end{bmatrix}\).

到目前为止, 我们得到 \(\begin{bmatrix}4&4\\-3&3\end{bmatrix}=\begin{bmatrix}u_?&u_?\\u_?&u_?\end{bmatrix}\begin{bmatrix}\sqrt{32}&0\\0&\sqrt{18}\end{bmatrix}\begin{bmatrix}\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}\end{bmatrix}\), 接下来继续求解 \(U\).

\(AA^{\mathrm{T}}=U\Sigma V^{\mathrm{T}}V\Sigma^{\mathrm{T}}U^{\mathrm{T}}=U\Sigma^2U^{\mathrm{T}}\), 求出 \(AA^{\mathrm{T}}\) 的特征向量即可得到 \(U\), \(\begin{bmatrix}4&4\\-3&3\end{bmatrix}\begin{bmatrix}4&-3\\4&3\end{bmatrix}=\begin{bmatrix}32&0\\0&18\end{bmatrix}\), 观察得 \(AA^{\mathrm{T}}\begin{bmatrix}1\\0\end{bmatrix}=32\begin{bmatrix}1\\0\end{bmatrix},\ AA^{\mathrm{T}}\begin{bmatrix}0\\1\end{bmatrix}=18\begin{bmatrix}0\\1\end{bmatrix}\). 但是我们不能直接使用这一组特征向量, 因为式子 \(AV=U\Sigma\) 明确告诉我们, 一旦\(V\)确定下来, \(U\)也必须取能够满足该式的向量, 所以此处 \(\bm{Av}_2=\begin{bmatrix}0\\-\sqrt{18}\end{bmatrix}=\bm{u}_2\sigma_2=\begin{bmatrix}0\\-1\end{bmatrix}\sqrt{18}\), 则 \(\bm{u}_1=\begin{bmatrix}1\\0\end{bmatrix},\ \bm{u}_2=\begin{bmatrix}0\\-1\end{bmatrix}\). (这个问题在本讲的官方笔记中有详细说明. )

如果取 \(\bm{v}_2=\begin{bmatrix}-\frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}\end{bmatrix}\), 则可以取 \(\bm{u}_1=\begin{bmatrix} 1 \\ 0 \\\end{bmatrix}, \bm{u}_2=\begin{bmatrix} 0 \\ 1 \\\end{bmatrix}\).

\(U\) 和 \(V\) 是相关的, 标准正交基到底该怎么取呢? 这又是一个问题.

Singular

再做一个例子, \(A=\begin{bmatrix}4&3\\8&6\end{bmatrix}\), 这是个秩一矩阵, 有零空间.

我们按照最初的原理去看行列空间. \(A\) 的行空间为 \(\begin{bmatrix}4\\3\end{bmatrix}\) 的倍数, \(A\) 的列空间为 \(\begin{bmatrix}4\\8\end{bmatrix}\) 的倍数.

标准化向量得 \(\bm{v}_1=\begin{bmatrix}0.8\\0.6\end{bmatrix},\ \bm{u}_1=\frac{1}{\sqrt{5}}\begin{bmatrix}1\\2\end{bmatrix}\).

\(A^{\mathrm{T}}A=\begin{bmatrix}4&8\\3&6\end{bmatrix}\begin{bmatrix}4&3\\8&6\end{bmatrix}=\begin{bmatrix}80&60\\60&45\end{bmatrix}\), 由于 \(A\) 是秩一矩阵, 则 \(A^{\mathrm{T}}A\) 也不满秩, 所以必有特征值 \(0\), 则另特征值一个由迹可知为 \(125\).

继续求零空间的特征向量, 有 \(\bm{v}_2=\begin{bmatrix}0.6\\-0,8\end{bmatrix},\ \bm{u}_2=\frac{1}{\sqrt{5}}\begin{bmatrix}2\\-1\end{bmatrix}\).

最终得到\(\begin{bmatrix}4&3\\8&6\end{bmatrix}=\displaystyle \frac{1}{\sqrt{5}}\begin{bmatrix}1&\bm{2}\\2&\bm{-1}\end{bmatrix}\begin{bmatrix}\sqrt{125}&0\\0&\bm{0}\end{bmatrix}\begin{bmatrix}0.8&0.6\\\bm{0.6}&\bm{-0.8}\end{bmatrix}\), 其中加粗部分都是与零空间相关的部分.

最终得出 SVD 的结论:

• \(\bm{v}_1,\ \cdots,\ \bm{v}_r\) 是行空间的标准正交基
• \(\bm{u}_1,\ \cdots,\ \bm{u}_r\) 是列空间的标准正交基
• \(\bm{v}_{r+1},\ \cdots,\ \bm{v}_n\) 是零空间的标准正交基
• \(\bm{u}_{r+1},\ \cdots,\ \bm{u}_m\) 是左零空间的标准正交基

通过将矩阵写为\(Av_i=\sigma_iu_i\)形式, 将矩阵对角化, 便可以得到 SVD 分解.

Question Unsolved

目前仍有很多问题:

• 为什么矩阵 \(A\) 一定能分解为 \(U \Sigma V^{\mathrm{T}}\)?
• 既然 \(U\) 和 \(V\) 是有联系的, 怎么选特征向量的方向, 怎么求?
• 第二个例子能否采用求 \(A^{\mathrm{T}}A\) 和 \(A A^{\mathrm{T}}\) 的特征值特征向量算出 SVD?
• 非满秩的矩阵的 SVD, 算出 \(\sigma_i=0\) 对应的零空间/左零空间的向量有意义吗?
• SVD 本身是用来做什么的?

Properties and Applications

这一部分直接截图别人写的了:

Properties

上面几节我们对SVD的定义和计算做了详细的描述，似乎看不出我们费这么大的力气做SVD有什么好处。那么SVD有什么重要的性质值得我们注意呢？

对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。也就是说：

\[\begin{align*} A_{m×n}&=U_{m×m}\Sigma_{m×n}V^{\mathrm{T}}_{n×n}\\ &≈U_{m×k}\Sigma_{k×k}V^{\mathrm{T}}_{k×n}A_{m×n}\\ &=U_{m×m}Σ_{m×n}V_{n×n}^{\mathrm{T}}\\ &≈U_{m×k}Σ_{k×k}V_{k×n}^{\mathrm{T}}\\ \end{align*} \]

其中 \(k\) 要比 \(n\) 小很多，也就是一个大的矩阵 \(A\) 可以用三个小的矩阵 \(U_{m×k}\), \(\Sigma_{k×k}\), \(V^{\mathrm{T}}_{k \times n}\) 来表示。如下图所示，现在我们的矩阵 \(A\) 只需要灰色的部分的三个小矩阵就可以近似描述了。

由于这个重要的性质，SVD 可以用于 PCA 降维，来做数据压缩和去噪。也可以用于推荐算法，将用户和喜好对应的矩阵做特征分解，进而得到隐含的用户需求来做推荐。同时也可以用于 NLP 中的算法，比如潜在语义索引（LSI）。下面我们就对 SVD 用于 PCA 降维做一个介绍。

Application: PCA

在主成分分析（PCA）原理总结中，我们讲到要用PCA降维，需要找到样本协方差矩阵 \(X^{\mathrm{T}}X\) 的最大的d个特征向量，然后用这最大的d个特征向量张成的矩阵来做低维投影降维。可以看出，在这个过程中需要先求出协方差矩阵 \(X^{\mathrm{T}}X\)，当样本数多样本特征数也多的时候，这个计算量是很大的。

注意到我们的SVD也可以得到协方差矩阵 \(X^{\mathrm{T}}X\) 最大的d个特征向量张成的矩阵，但是SVD有个好处，有一些SVD的实现算法可以不求先求出协方差矩阵 \(X^{\mathrm{T}}X\)，也能求出我们的右奇异矩阵V。也就是说，我们的PCA算法可以不用做特征分解，而是做SVD来完成。这个方法在样本量很大的时候很有效。实际上，scikit-learn的PCA算法的背后真正的实现就是用的SVD，而不是我们我们认为的暴力特征分解。

另一方面，注意到PCA仅仅使用了我们SVD的右奇异矩阵，没有使用左奇异矩阵，那么左奇异矩阵有什么用呢？