Hermite 矩阵的特征值不等式
将要学习
关于 Hermite 矩阵的特征值不等式. Weyl 定理 以及推论.
Weyl 定理
Hermann Weyl 的如下定理是大量不等式的基础，这些不等式要么涉及两个 Hermite 矩阵之和，要么与加边的 Hermite 矩阵有关.
定理1（Weyl）： 设 \(A,B \in M_n\) 是 Hermite 矩阵，又设 \(A,B\) 以及 \(A+B\) 各自的特征值分别是 \(\{\lambda_i(A)\}_{i=1}^n, \{\lambda_i(B)\}_{i=1}^n\) 以及 \(\{\lambda_i(A+B)\}_{i=1}^n\), 它们每一个都按照递增次序排列. 那么，对每一个 \(i=1,\cdots,n\) 就有
\begin{align} \label{e1}
\lambda_i(A+B) \leqslant \lambda_{i+j}(A) + \lambda_{n-j} (B) , \quad j=0,1,\cdots, n-i
\end{align}
其中的等式对某一对 \(i,j\) 成立，当且仅当存在一个非零向量 \(x\)，使得 \(Ax=\lambda_{i+j}(A)x\), \(Bx=\lambda_{n-j}(B)x\) 以及 \((A+B)x=\lambda_i(A+B)x\). 又对每一个 \(i=1,\cdots,n\) 有
\begin{align} \label{e2}
\lambda_{i-j+1}(A)+\lambda_j(B) \leqslant \lambda_i(A+B), \quad j=1,\cdots ,i
\end{align}
其中和等式对某一对 \(i,j\) 成立，当且仅当存在一个非零向量 \(x\)，使得 \(Ax=\lambda_{i-j+1}(A)x\), \(Bx=\lambda_j(B)x\) 以及 \((A+B)x=\lambda_i(A+B)x\). 如果 \(B\) 没有公共的特征向量，那么定理中的两个不等式都是严格不等式.
证明： 设 \(x_1,\cdots,x_n\)，\(y_1,\cdots,y_n\) 以及 \(z_1,\cdots,z_n\) 分别是 \(A\)，\(B\) 以及 \(A+B\) 的标准正交的特征向量组，使得对每一个 \(i=1,\cdots,n\) 都有 \(Ax_i=\lambda_i(A)x_i\)，\(By_i=\lambda_i(B)y_i\) 以及 \((A+B)z_i=\lambda_i(A+B)z_i\). 对给定的 \(i \in \{1,\cdots,n\}\) 以及任意的 \(j \in \{0,\cdots,n-i\}\), 设 \(S_1 =\mathrm{span} \{x_1,\cdots,x_{i+j}\}\)，\(S_2 =\mathrm{span} \{y_1,\cdots,y_{n-j}\}\)，\(S_3 =\mathrm{span} \{z_i,\cdots,z_n\}\). 那么
\begin{align}
\mathrm{dim}S_1 + \mathrm{dim}S_2 + \mathrm{dim}S_3 = (i+j) +(n-j) + (n-i+1) = 2n+1
\end{align}
所以有子空间的交引理知，存在一个单位向量 \(x \in S_1 \cap S_2 \cap S_3\). 借助Rayleigh 商定理三次就得到两个不等式
\begin{align}
\lambda_i(A+B) \leqslant x^*(A+B)x = x^*Ax + x^*Bx \leqslant \lambda_{i+j}(A) + \lambda_{n-j}(B)
\end{align}
第一个不等式由 \(x \in S_3\) 得出，而第二个不等式则分别由 \(x \in S_1\) 以及 \(x \in S_3\) 得出. ( \ref{e1} ) 中关于等式成立情形的命题由 Rayleigh 商定理中单位向量 \(x\) 成立等式的情形以及下诸不等式推出：\(x^*Ax \leqslant \lambda_{i+j}(A)\)，\(x \in S_1\)；\(x^*Bx \leqslant \lambda_{n-j}(B)\)，\(x \in S_2\) 以及 $ \lambda_i(A+B) \leqslant x^*(A+B)x\(，\)x \in S_3$.
不等式 (\ref{e2}) 以及它们的等式成立的情形可通过将 (\ref{e1}) 应用于 \(-A，-B\) 以及 \(-(A+B)\) 得出：
\begin{align}
-\lambda_{n-i+1}(A+B) =\lambda_i(-A-B) \leqslant \lambda_{i+j}(-A) + \lambda_{n-j}(-B) = -\lambda_{n-i-j+1}(A) -\lambda_{j+1}(B)
\end{align}
如果我们令 \(i'=n-i+1\) 以及 \(j'=j+1\), 则上一个不等式就变成
\begin{align}
\lambda_{i'}(A+B) \geqslant \lambda_{i'-j'+1}(A) + \lambda_{j'}(B), \quad j'=1,\cdots, i'
\end{align}
这就是 (\ref{e2}).
如果 \(A\) 与 \(B\) 没有公共的特征向量，那么 (\ref{e1}) 和 (\ref{e2}) 中等式成立的必要条件就不可能满足.
Weyl 定理描述了一个 Hermite 矩阵 \(A\) 的特征值如果受到另一个 Hermite 矩阵 \(B\) 加性的扰动可能会发生什么. 关于扰动矩阵 \(B\) 的各种不同的条件会导致出现 (\ref{e1}) 和 (\ref{e2}) 的各种特例的不等式.
重要推论
接下来讲述的推论中，特征值仍是递增排序. 下面给个小例子，以便引出推论. 设 \(B \in M_n\) 是 Hermite 矩阵. 如果 \(B\) 恰好有 \(\pi\) 个正的特征值，而且恰好有 \(\nu\) 个负特征值，则 \(\lambda_{n-\pi}(B) \leqslant 0\) 以及 \(\lambda_{\nu+1}(B) \geqslant 0\), 其中的等式当且仅当 \(n>\pi + \nu\), 也即当且仅当 \(B\) 是奇异矩阵时成立.
推论1： 设 \(A,B\in M_n\) 是 Hermite 矩阵. 如果 \(B\) 恰好有 \(\pi\) 个正的特征值，而且恰好有 \(\nu\) 个负的特征值，那么
\begin{align} \label{e11}
\lambda_i(A+B) \leqslant \lambda_{i+\pi}(A),\quad i=1,\cdots,n-\pi
\end{align}
其中等式对某个 \(i\) 成立，当且仅当 \(B\) 是奇异的且存在非零向量 \(x\), 使得 \(Ax=\lambda_{i+\pi}(A) x\)，\(Bx=0\) 以及 \((A+B)x=\lambda _i(A+B)x\). 我们还有
\begin{align} \label{e12}
\lambda_{i-\nu}(A) \leqslant \lambda_i(A+B),\quad i=\nu +1,\cdots, n
\end{align}
其中等式对某个 \(i\) 成立，当且仅当 \(B\) 是奇异的且存在一个非零向量 \(x\), 使得 \(Ax=\lambda_{i-\nu}(A) x\)，\(Bx=0\) 以及 \((A+B)x=\lambda _i(A+B)x\). 如果 (\ref{e11}) 中 \(B\) 是非奇异的或者式 (\ref{e12}) 中对 \(A\) 的每一个特征向量都有 \(Bx \neq 0\), 则上述两个不等式都是严格不等式.
对上述推论，再举个特例，设 \(B \in M_n\) 是 Hermite 矩阵. 如果 \(B\) 是奇异的，且 \(\mathrm{rank}\,B=r\)，由于 \(B\) 是 Hermite 矩阵，则其可以酉对角化，所以 \(B\) 的非零特征值的个数肯定等于 \(r\), 则 \(\lambda_{n-r} (B) \leqslant 0\) 以及 \(\lambda_{r+1} \geqslant 0\)（在上个推论中令 \(A=0\) 也可得到同样的结果.）
推论2： 设 \(A,B\in M_n\) 是 Hermite 矩阵. 假设 \(B\) 是奇异的，且 \(\mathrm{rank}\,B=r\)，那么
\begin{align} \label{e13}
\lambda_i(A+B) \leqslant \lambda_{i+r}(A),\quad i=1,\cdots,n-r
\end{align}
其中等式对某个 \(i\) 成立，当且仅当 \(\lambda_{n-r}(B) = 0\)，且存在一个非零向量 \(x\)，使得 \(Ax=\lambda_{i+r}(A)x\)，\(Bx=0\) 以及 \((A+B)x=\lambda_i(A+B)x\). 又有
\begin{align} \label{e14}
\lambda_{i-r}(A) \leqslant \lambda_i(A+B),\quad i=r+1,\cdots,n
\end{align}
其中等式对某个 \(i\) 成立，当且仅当 \(\lambda_{i+1}(B)=0\)，且存在一个非零向量 \(x\)，使得 \(Ax=\lambda_{i-r}(A)x\)，\(Bx=0\) 以及 \((A+B)x=\lambda _i(A+B)x\). 如果 \(A\) 的每个特征向量 \(x\) 都有 \(Bx \neq 0\), 则上述两个不等式都是严格不等式.
设 \(B \in M_n\) 是 Hermite 矩阵. 如果 \(B\) 恰有一个正的特征值且恰有一个负的特征值，则 \(\lambda_2(B) \geqslant 0\) 且 \(\lambda_{n-1}(B) \leqslant 0\)，其中的等式当且仅当 \(n>2\) 时成立.
推论3： 设 \(A,B\in M_n\) 是 Hermite 矩阵. 假设 \(B\) 恰有一个正的特征值且恰有一个负的特征值，那么
\begin{align}
& \lambda_1(A+B) \leqslant \lambda_2(A) \notag \\ \label{e8}
& \lambda_{i-1}(A) \leqslant \lambda_i(A+B) \leqslant \lambda_{i+1}(A), \quad i=2,\cdots, n-1 \\
& \lambda_{n-1}(A) \leqslant \lambda_n(A+B) \notag
\end{align}
等式对 \(\pi =\nu =1\) 成立，例如， \(\lambda_i(A+B) = \lambda_{i+1}(A)\) 当且仅当 \(n>2\) 且存在一个非零向量 \(x\)，使得 \(Ax=\lambda_{i+1}(A)x\)，\(Bx=0\) 以及 \((A+B)x=\lambda_i(A+B)x\) 时成立. 如果 \(n=2\) 或者对 \(A\) 的每个特征向量 \(x\) 有 \(Bx \neq 0\)，那么上述三个不等式都是严格的不等式.
假设 \(z \in \mathbb{C}^n\) 是非零的且 \(n \geqslant 2\). 则 \(zz^*\) 的秩为 \(1\) 且只有一个正的特征值，所以 \(\lambda_{n-1}(zz^*)=0=\lambda_1(zz^*)\).
下面的推论称为关于 Hermite 矩阵的秩 \(1\)-Hermite 摄动的交错定理.
推论4：设 \(n \geqslant 2\)，\(A \in M_n\) 是 Hermite 矩阵，又设 \(z \in \mathbb{C}^n\) 是非零向量. 那么
\begin{align}
& \lambda_i(A) \leqslant \lambda_i(A+zz^*) \leqslant \lambda_{i+1}(A),\quad i=1,\cdots,n-1 \\
& \lambda_n(A) \leqslant \lambda_n (A+zz^*) \notag
\end{align}
上式中的等式对 \(\pi=1\) 以及 \(\nu =0\) 成立，例如，\(\lambda_i(A+zz^*) = \lambda_{i+1}(A)\) 当且仅当存在一个非零向量 \(x\)，使得 \(Ax=\lambda_{i+1}(A)x\)，\(z^*x=0\) 以及 \((A+zz^*)x=\lambda_i(A+zz^*)x\). 又有
\begin{align}
& \lambda_1(A-zz^*) \leqslant \lambda_1(A) \\
& \lambda_{i-1}(A) \leqslant \lambda_i (A-zz^*) \leqslant \lambda_i(A),\quad i=2,\cdots,n \notag
\end{align}
上式中的等式对 \(\pi=0\) 以及 \(\nu =1\) 成立. 如果 \(A\) 没有特征向量与 \(z\) 正交，那么上边每一个不等式都是严格的不等式.
设 \(B \in M_n\) 是半正定的，则 \(\lambda_1(B)=0\) 当且仅当 \(B\) 是奇异的.
下面的推论称为单调定理.
推论5：设 \(A,B \in M_n\) 是 Hermite 矩阵，并假设 \(B\) 是半正定的. 那么
\begin{align}
\lambda_i(A) \leqslant \lambda_i(A+B),\quad i=1,\cdots,n
\end{align}
其中等式对某个 \(i\) 成立，当且仅当 \(B\) 是奇异的，且存在一个非零向量 \(x\)，使得 \(Ax=\lambda_i(A)x\)，\(Bx=0\) 以及 \((A+B)x=\lambda_i(A+B)x\). 又如果 \(B\) 是正定的，那么
\begin{align}
\lambda_i(A) < \lambda_i(A+B),\quad i=1,\cdots,n
\end{align}
设给定 \(y \in \mathbb{C}^n\) 以及 \(a \in \mathbb{R}\)，又设 \(\mathcal{K} = \begin{bmatrix} 0_n & y \\ y^* & a \end{bmatrix} \in M_{n+1}\). 由加边矩阵的行列式的 Cauchy 展开式 \(\mathrm{det} \begin{bmatrix} A & x \\ y^T & a \end{bmatrix} =a\,\mathrm{det} \,A -y^T(\mathrm{adj}\,A)x\) 得：\(\mathcal{K}\) 的特征值是 \((a \pm \sqrt{a^2+4y^*y})/2\) 再加上 \(n-1\) 个为零的特征值. 如果 \(y \neq 0\)，推出结论：\(\mathcal{K}\) 恰好有一个正的特征值，也恰好有一个负的特征值.
Weyl 不等式以及它们的推论考虑的是 Hermite 矩阵的加性 Hermite 摄动. 从 Hermite 矩阵中取出一个主子矩阵，或者通过对它加边作成一个更大的 Hermite 矩阵，都会出现加性的特征值不等式. 下面的结果是关于加边的 Hermite 矩阵的 Cauchy 交错定理，有时它也称为分离定理.
定理2（Cauchy）： 设 \(B \in M_n\) 是 Hermite 矩阵，设给定 \(y \in \mathbb{C}^n\) 以及 \(a \in \mathbb{R}\)，又设 \(A = \begin{bmatrix} B & y \\ y^* & a \end{bmatrix} \in M_{n+1}\). 那么
\begin{align} \label{e18}
\lambda_1(A) \leqslant \lambda_1(B) \leqslant \lambda_2(A) \leqslant \cdots \leqslant \lambda_n(A) \leqslant \lambda_n(B) \leqslant \lambda_{n+1}(A)
\end{align}
其中 \(\lambda_i(A)=\lambda_i(B)\) 成立的充分必要条件是：存在一个非零的 \(z \in \mathbb{C}^n\)，使得 \(Bz=\lambda_i(B)z\)，\(y^*z=0\)，以及 \(Bz=\lambda_i(A)z\)；\(\lambda_i(B)=\lambda_{i+1}(A)\) 成立的充分必要条件是：存在一个非零的 \(z \in \mathbb{C}^n\)，使得 \(Bz=\lambda_i(B)z\)，\(y^*z=0\)，以及 \(Bz=\lambda_{i+1}(A)z\). 如果 \(B\) 没有与 \(y\) 正交的特征向量，则上式中的每一个不等式都是严格不等式.
证明： 如果我们用 \(A+\mu I_{n+1}\) 代替 \(A\)（这就用 \(B+\mu I\) 代替了 \(B\)），那么结论中有序排列中的特征值的交错性不变. 于是，不失一般性，可以假设 \(B\) 与 \(A\) 是正定的. 考虑 Hermite 矩阵 $\mathcal{H} =\begin{bmatrix} B & 0 \\ 0 & 0_1 \end{bmatrix} $ 以及 $\mathcal{K}= \begin{bmatrix} 0_n & y \\ y^* & a \end{bmatrix} $，对它们有 \(A=\mathcal{H}+\mathcal{K}\). \(\mathcal{H}=B\oplus [0]\) 的有序排列的特征值是 \(\lambda_1(\mathcal{H})=0 < \lambda_1(B)=\lambda_2(\mathcal{H}) \leqslant \lambda_2(B) = \lambda_3(\mathcal{H}) \leqslant \cdots\)，即对所有 \(i=1,\cdots,n\) 都有 \(\lambda_{i+1}(\mathcal{H}) = \lambda_i(B)\). 由于 $\mathcal{K} $ 恰好有一个正的特征值和一个负的特征值，故而不等式 (\ref{e8}) 确保
\begin{align} \label{e19}
\lambda_i(A) = \lambda_{i}(\mathcal{H} + \mathcal{K}) \leqslant \lambda_{i+1}(\mathcal{H}) = \lambda_i(B), \quad i=1,\cdots,n
\end{align}
对一个给定的 \(i\)，(\ref{e19}) 中等式成立的必要与充分条件表述在推论 3 中：存在一个非零的 \(x \in \mathbb{C}^{n+1}\)，使得 \(\mathcal{H}x = \lambda_{i+1}(\mathcal{H})x\)，\(\mathcal{K}x=0\)，\(Ax=\lambda_i(A)x\). 如果我们用 \(z \in \mathbb{C}^n\) 来分划 $x= \begin{bmatrix} z \\ \xi \end{bmatrix} $ 并利用恒等式 \(\lambda_{i+1}(\mathcal{H}) = \lambda_i(B)\)，计算揭示这些条件对于以下结论是等价的：存在一个非零的 \(z \in \mathbb{C}^n\)，使得 \(Bz=\lambda_i(B)z\)，\(y^*z=0\)，以及 \(Bz=\lambda_i(A)z\). 特别地，如果 \(B\) 没有与 \(y\) 正交的特征向量，那么就不存在 \(i\)，使得必要条件 \(z \neq 0\)，\(Bz=\lambda_i(B)z\) 以及 \(y^*z=0\) 能得到满足.
对 \(i=1,\cdots,n\)，不等式 \(\lambda_i(B) \leqslant \lambda_{i+1}(A)\) 可以通过将 (\ref{e19}) 应用于 \(-A\) 得到：
\begin{align} \label{e20}
-\lambda_{(n+1)-i+1}(A) = \lambda_i(-A) \leqslant \lambda_i(-B) = -\lambda_{n-i+1}(B)
\end{align}
如果置 \(i'=n-i+1\)，我们就对 \(i'=1,\cdots,n\) 得到等价的不等式 \(\lambda_{i'+1}(A) \geqslant \lambda_{i'}(B)\). (\ref{e20}) 中等式出现的情形再次由推论 3 得出.
我们已经讨论了特征值交错定理的两个例子：如果一个给定的 Hermite 矩阵或者通过增加一个秩 1 的 Hermite 矩阵或者通过加边来加以修改，那么新旧特征值必定是交错的. 下面不加证明的给出这些定理的逆.
定理3： 设 \(\lambda_1,\cdots, \lambda_n\) 以及 \(\mu_1,\cdots, \mu_n\) 是满足交错不等式
\begin{align}
\lambda_1 \leqslant \mu_1 \leqslant \lambda_2 \leqslant \mu_2 \leqslant \cdots \leqslant \lambda_n \leqslant \mu_n
\end{align}
的实数. 设 \(\Lambda= \mathrm{diag} \{\lambda_1,\cdots, \lambda_n\}\). 那么存在一个实向量 \(z \in \mathbb{R}^n\)， 使得 \(\Lambda+zz^*\) 的特征值是 \(\mu_1,\cdots,\mu_n\).
应该知道什么
- Weyl 定理：$\lambda_i(A+B) \leqslant \lambda_{i+j}(A) + \lambda_{n-j} (B) $ 与 \(\lambda_{i-j+1}(A)+\lambda_j(B) \leqslant \lambda_i(A+B)\)
- Hermite 矩阵非零特征值的个数等于其秩的大小
- 假设 \(z \in \mathbb{C}^n\) 是非零的且 \(n \geqslant 2\). 则 \(zz^*\) 的秩为 \(1\) 且只有一个正的特征值
- 如果一个给定的 Hermite 矩阵或者通过增加一个秩 1 的 Hermite 矩阵或者通过加边来加以修改，那么新旧特征值必定是交错的.
