极大极小定理

　　首先，本定理针对的是 Hermitian 矩阵， 即共轭对称矩阵。 因为只有共轭对称矩阵的特征值是确定为实数值的， 其他矩阵很可能是复数值， 而复数值，也就不存在大小关系了。

　　Courant-Fisher min-max 定理

　　对于  $n \times n$ 的矩阵 $\mathbf{A}$ , 有:

• • $\lambda_{k}=  \underset{\operatorname{dim}(U)=k}{min} \;\;\underset{x \in U,\|x\|=1}{max}    x^{H} \mathbf{A} x$
  • $\lambda_{k}=\underset{\operatorname{dim}(U)=n-k+1}{max} \;\;  \underset{x \in U,\|x\|=1}{min}  x^{H} \mathbf{A} x $

　　其中， $\lambda_{k}$ 是第  $k$   小的特征值。

　　由于 $\mathbf{A}$  是共轭对称矩阵，所以根据共轭对称矩阵的特征分解的性质，选定其特征向量  $ u_{1}, \ldots, u_{n}   $  作为一组正交基。

　　现在，若有该  $n$  维空间的一个子空间  $U$ ， 其维度为 $k$ , 和子空间  $\operatorname{span}\left(u_{k}, \ldots, u_{n}\right)$ (我们假设 $u_{k}, \cdots, u_{n}$ 对应的特征值为升序排列)， 必定存在一个交集。这一点其实可以这样证明：首先 $U$ 的维度是 $k$ , 而 $\operatorname{span}\left(u_{k}, \ldots, u_{n}\right)$ 的维度是 $n-k+1$ 。 也就是说，两者的维度之和 大于 $n$ 。因此，必定存在一个非零的交集。（这一点其实可以这样判断：如果维度之和刚好是 $n$ ，那可能两个子空间刚好由一组正交基的两部分扩展二成，是没有交集的。但和为 $n+1$ ，如果没有交集，就说明这个空间其实应该有 $n+1$ 个正交基，这是违背的。没 有想明白的读者，可以根据 3 维空间来想像： 3 维空间的两个二维子空间，必有交集。而 $3$ 维空间的 $1$ 个二维子空间和 $1$ 个一维子空间，是 可以没有交集的。)

　　因此，假设 $v$  是交集上的一个元素， 即， 既属于子空间 $U$  又属于 子空间 $\operatorname{span}\left(u_{k}, \ldots, u_{n}\right)$  。 那么， $x \in \operatorname{span}\left(u_{k}, \ldots, u_{n}\right)$ , 因此有:

　　　　$x=\sum \limits _{i=k}^{n} \alpha_{i} u_{i}$

　　(由于  $\|x\|=1$ , 有  $\sum \limits _{i=k}^{n} \alpha_{i}=1$  )

　　那么，

　　　　$x^{H} \mathbf{A} x=\sum \limits _{i=k}^{n} \alpha_{i}^{2} u_{i}^{H} \mathbf{A} u_{i}=\sum\limits _{i=k}^{n} \lambda_{i} \alpha_{i}^{2} \geq \lambda_{k}$

　　不等号来源于我们认为  $\lambda_{i} \geq \lambda_{k}, \forall i>k$ 

　　即:

　　　　$\underset{x \in U,\|x\|=1}{max} \geq \lambda_{i}$

　　对于所有子空间 $U$ 都成立。即：

　　　　$ \underset{\operatorname{dim}(U)=k}{min} \;\;\underset{x \in U,\|x\|=1}{max} \geq \lambda_{k}$

　　这时候，我们再证另一半:
　　显然，空间  $V=\operatorname{span}\left\{u_{1}, \ldots, u_{k}\right\} $ 作为选择的  $k$   维空间，有：

　　　　$x^{H} \mathbf{A} x \leq \lambda_{k}$

　　这个结论过于明显，不做解释了。
　　也就是说，

　　　　$\underset{x \in V,\|x\|=1}{max}  x^{H} \mathbf{A} x \leq \lambda_{k}$

　　而  $V $  显然是 $k$  维的子空间 $U$  之一，因此：

　　　　$\underset{\operatorname{dim}(U)=k}{min} \;\;\underset{x \in U,\|x\|=1}{max} \leq \lambda_{k}$

　　所以有:

　　　　$\lambda_{k}=  \underset{\operatorname{dim}(U)=k}{min} \;\;\underset{x \in U,\|x\|=1}{max}    x^{H} \mathbf{A} x$

 

参考：

维基百科

博客