酉等价与奇异值分解
将学习到什么
介绍于酉相似来说更一般的情况：酉等价. 不用加交换性，我们可以用相同的酉等价将任意两个给定的矩阵化为上三角型. 不用是正规方阵，任何复矩阵可以用酉等价来对角化，即奇异值分解.
酉等价
假设给定矩阵 \(A\) 是 \(n\) 维复向量空间上一个线性变换 \(T:V \rightarrow V\) 关于一组给定标准正交基的基表示. 那么酉相似 \(A \rightarrow UAU^*\) 与标准正交基间的变换相对应. 现在改变一下映射空间，假设线性变换 \(T:V_1(\mathbb{C}^n) \rightarrow V_2(\mathbb{C}^m)\) \(A \in M_{m,n}\) 是它关于 \(V_1\) 与 \(V_2\) 的给定的标准正交基的表示，那么酉等价 \(A \rightarrow UAW^*\) 对应于 \(V_1\) 与 \(V_2\) 的给定标准正交基间的变换. 所以酉等价涉及两个可以独立选取的酉矩阵，这个附加的灵活性允许我们将其化简到特殊的形式，这个特殊形式或许用酉相似无法达到.
为了确保能用相同的酉相似将 \(A,B\in M_n\) 化为上三角型，必须对它们设定某种条件如交换性. 然而，我们可以用相同的酉等价将任意两个给定的矩阵化为上三角型.
定理 1：设 \(A,B \in M_n\). 则存在酉矩阵 \(V,W\in M_n\), 使得 \(A=VT_AW^*\), \(B=VT_BW^*\), 且 \(T_A\) 和 \(T_B\) 都是上三角的. 如果 \(B\) 是非奇异的，\(T_B^{-1}T_A\) 的主对角元素就是 \(B^{-1}A\) 的特征值.
证明： 假设 \(B\) 是非奇异的，利用Schur 定理记 \(B^{-1}A=UTU^*\), 其中 \(U\) 是酉矩阵，而 \(T\) 是上三角的. 利用QR 分解来记 \(BU=QR\), 其中 \(Q\) 是酉矩阵，而 \(R\) 是上三角的. 那么 \(A=BUTU^*=Q(RT)U^*\), \(RT\) 是上三角的，且 \(B=QRU^*\). 此外，\(B^{-1}A=UR^{-1}Q^*QRTU^*=UTU^*\) 的特征值是 \(T\) 的主对角元素.
如果 \(A\) 与 \(B\) 两者都是奇异的，则存在一个 \(\delta>0\), 使得只要 \(0<\varepsilon <\delta\), \(B_{\varepsilon}=B+\varepsilon I\) 就是非奇异的. 对任何满足这一限制条件的 \(\varepsilon\) 我们已经证明了存在酉矩阵 \(V_{\varepsilon}, W_{\varepsilon}\in M_n\), 使得 \(V_{\varepsilon}^*AW_{\varepsilon}\) 与 \(V_{\varepsilon}^*BW_{\varepsilon}\) 都是上三角的. 选取一列非零的纯量 \(\varepsilon_k\), 使得 \(\varepsilon_k \rightarrow 0\) 且 \(\lim\limits_{k \rightarrow \infty} V_{\varepsilon_k}=V\) 与 \(\lim\limits_{k \rightarrow \infty} W_{\varepsilon_k}=W\) 这两者都存在. 极限 \(V\) 与 \(W\) 中的每一个都是酉矩阵，这样， \(\lim\limits_{k \rightarrow \infty} V_{\varepsilon_k}^*AW_{\varepsilon_k}=V^*AW=T_A\) 与 \(\lim\limits_{k \rightarrow \infty} V_{\varepsilon_k}^*BW_{\varepsilon_k}=V^*BW=T_B\) 中每一个都是上三角的. 我们就得出结论 \(A=VT_AW^*\) 与 \(B=VT_BW^*\), 证明完成.
这个定理还有一个实的形式，它利用了一个事实：假设 \(A,B \in M_n\), \(A\) 是上三角的，而 \(B\) 是上拟三角的. 则 \(AB\) 是与 \(B\) 共形的上拟三角矩阵. 下面给出实的形式
定理 2：设 \(A,B \in M_n(\mathbb{R})\). 则存在实正交矩阵 \(V,W\in M_n\), 使得 \(A=VT_AW^T\), \(B=VT_BW^T\), 且 \(T_A\) 是实的且是拟三角的，而 \(T_B\) 是实的且是上三角的.
尽管只有正规的方阵才可以用酉相似来使其对角化，任何复矩阵也可以用酉等价来对角化.
奇异值分解
定理 3：奇异值分解 设给定 \(A \in M_{n,m}\), 令 \(q=\min \{m,n\}\) 并假设 \(\mathrm{rank}\, A=r\).
(a) 存在酉矩阵 \(V\in M_n\) 与 \(W \in M_m\) , 以及一个对角方阵
\begin{align} \label{e11}
\Sigma_q=\begin{bmatrix} \sigma_1 & & 0 \\ & \ddots & \\ 0 && \sigma_q \end{bmatrix}
\end{align} 使得 $ \sigma_1 \geqslant \sigma_2 \geqslant \cdots \geqslant \sigma_r > 0 =\sigma_{r+1}=\cdots =\sigma_q$ 以及 \(A=V \Sigma W^*\), 其中
\begin{align}
& \Sigma=\Sigma_q & \text{如果}\,\, m=n \notag \\ \label{equ1}
& \Sigma=\begin{bmatrix}\Sigma_q & 0 \end{bmatrix} \in M_{n,m} \qquad & \text{如果}\,\, m>n \\
&\Sigma=\begin{bmatrix} \Sigma_q \\ 0 \end{bmatrix} \in M_{n,m} & \text{如果}\,\, m<n \notag
\end{align}
(b) 参数 \(\sigma_1,\cdots,\sigma_r\) 是 \(AA^*\) 的按照递减次序排列的非零特征值的正的平方根，它们与 \(A^*A\) 的按照递减次序排列的非零特征值的正的平方根是相同的.
证明：首先假设 \(m=n\). Hermite 矩阵 \(AA^* \in M_n\) 与 \(A^*A \in M_m\) 有同样的特征值，从而它们是酉相似的，于是存在一个酉矩阵 \(U\), 使得 \(A^*A=U(AA^*)U^*\). 这样就有
\begin{align}
(UA)*(UA)=A*U*UA=A*A=UAA*U*=(UA)(UA)^*
\end{align}
所以 \(UA\) 是正规的. 设 \(\lambda_1=\lvert \lambda_1 \rvert \mathrm{e}^{\mathrm{i}\theta_1},\cdots,\lambda_n=\lvert \lambda_n \rvert \mathrm{e}^{\mathrm{i}\theta_n}\) 是 \(UA\) 的按照次序 \(\lvert \lambda_1 \rvert \geqslant \cdots \geqslant \lvert \lambda_n \rvert\) 排列的特征值. 这样 \(r=\mathrm{rank}\,A=\mathrm{rank}\,UA\) 就是正规矩阵 \(UA\) 的非零特征值的个数，所以 \(\lvert \lambda_r \rvert >0\) 且 \(\lambda_{r+1}=\cdots=\lambda_n=0\). 设 \(\Lambda=\mathrm{diag}(\lambda_1,\cdots,\lambda_n)\), 令 \(D=\mathrm{diag}(\mathrm{e}^{\mathrm{i}\theta_1},\cdots,\mathrm{e}^{\mathrm{i}\theta_n})\), \(\Sigma_q=\mathrm{diag}(\lvert \lambda_1 \rvert,\cdots,\lvert \lambda_n \rvert)\), 又设 \(X\) 是酉矩阵使 \(UA=X\Lambda X^*\). 那么 \(D\) 是酉矩阵且 \(A=U^*X\Lambda X^*=U^*X\Sigma_q DX^*=(U^*X)\Sigma_q (DX^*)\) 就给出了所欲求之的分解，其中 \(V=U^*X\) 与 \(W=XD^*\) 是酉矩阵，而 \(\sigma_j=\lvert \lambda_j \rvert,j=1,\cdots,n\).
现在假设 \(m>n\). 这样就有 \(r \leqslant n\), 故而 \(A\) 的零空间的维数为 \(m-r \geqslant m-n\). 设 \(x_1,\cdots, x_{m-n}\) 是 \(A\) 的零空间中任意一组标准正交的向量，设 \(X_2=[x_1 \quad \cdots \quad x_{m-n}] \in M_{m,m-n}\), 又设 \(X=[X_1 \quad X_2] \in M_m\) 是酉矩阵，即将给定的标准正交向量组扩展成为 \(\mathbb{C}^m\) 的一组基. 那么就有 \(AX=[AX_1 \quad AX_2] = [AX_1 \quad 0]\) 以及 \(AX_1 \in M_n\). 利用上一种情形，记 \(AX_1=V \Sigma_q W^*\), 其中 \(V,W \in M_n\) 是酉矩阵，而 \(\Sigma_q\) 有 \ref{e11} 的形式. 这就给出
\begin{align}
A=\begin{bmatrix} AX_1 & 0 \end{bmatrix} X^*=\begin{bmatrix} V\Sigma_q W^* & 0 \end{bmatrix} X^*= V \begin{bmatrix} \Sigma_q & 0 \end{bmatrix} \left ( \begin{bmatrix} W^* & 0 \\ 0 & I_{m-n}\end{bmatrix} X^* \right )
\end{align}
这就是结论中所说的分解.
如果 \(n>m\), 将上面的情形应用于 \(A^*\).
利用分解 \(A=V \Sigma W^*\), 注意 \(\mathrm{rank}\,A=\mathrm{rank}\,\Sigma\)（这是因为 \(V\) 与 \(W\) 是非奇异的）. 但是 \(\mathrm{rank}\,\Sigma\) 等于 \(\Sigma\) 的不为零的（从而是正的）对角元素的个数，如结论所说. 现在计算 \(AA^*=V Sigma W^*W\Sigma^TV^*=V \Sigma \Sigma^T V^*\), 它与 \(\Sigma \Sigma^T\) 酉相似. 如果 \(n=m\), 那么 \(\Sigma \Sigma^T=\Sigma_q^2=\mathrm{diag}(\sigma_1^2,\cdots,\sigma_n^2)\). 如果 \(m>n\), 则 \(\Sigma \Sigma^T=[\Sigma_q \quad 0][\Sigma_q \quad 0]^T=\Sigma_q^2+0_n=\Sigma_q^2\). 最后，如果 \(n>m\), 那么
\begin{align}
\Sigma \Sigma^T=\begin{bmatrix} \Sigma_q \\ 0 \end{bmatrix} \begin{bmatrix} \Sigma_q & 0 \end{bmatrix}=\begin{bmatrix} \Sigma_q^2 & 0 \\ 0 & 0_{n-m}\end{bmatrix}
\end{align}
在每一种情形，\(AA^*\) 的非零特征值都是 \(\sigma_1^2,\cdots,\sigma_r^2\), 如所断言.
式 \ref{equ1} 中矩阵 \(\Sigma\) 的对角元素称为 \(A\) 的奇异值. \(A\) 的奇异值 \(\sigma\) 的重数是 \(\sigma^2\) 作为 \(AA^*\) 的特征值的重数，或者等价说，也就是 \(A^*A\) 的特征值的重数. \(A\) 的一个奇异值 \(\sigma\) 称为是单重的，如果 \(\sigma^2\) 是 \(AA^*\) 的单重特征值，或者等价地说是 \(A^*A\) 的单重特征值. \(A\) 的秩等于它的非零奇异值的个数，而 \(\mathrm{rank}\,A\) 不小于（有可能大于）它的非零特征值的个数（比如严格上三角矩阵）.
\(A\) 的奇异值由 \(A^*A\)（或 \(AA^*\)）的特征值唯一地决定，所以，\(A\) 的奇异值分解式中对角因子 \(\Sigma\) 除了对角元素的排列可能会有变化之外也是唯一确定的；为使得 \(\Sigma\) 唯一，习惯上选择让奇异值按照非增的次序排列，不过也可以采用其它的选择方法.
设 \(A \in M_{m,n}\). 容易看出 \(A,\bar{A},A^T\) 以及 \(A^*\) 有同样的奇异值. 设 \(\sigma_1,\cdots,\sigma_n\) 是 \(A\in M_n\) 的奇异值，由于 $\mathrm{det}\, A^*A = (\mathrm{det}\, A)^2= (\sigma_1 \cdots \sigma_n)^2 $, 所以有 $\sigma_1 \cdots \sigma_n = \lvert \mathrm{det} \, A \rvert $; 显然也有 \(\mathrm{tr}\, A^*A=\sigma_1^2+\cdots + \sigma_n^2\).
应该知道什么
- 我们可以用相同的酉等价将任意两个给定的矩阵化为上三角型
- 尽管只有正规的方阵才可以用酉相似来使其对角化，任何复矩阵也可以用酉等价来对角化.
