瑞利商

瑞利商

$\qquad$首先我们给出瑞利商(瑞利商是一个标量)的定义：

$$R(A,x)=\frac{x^TAx}{x^Tx}$$

$\qquad$其中$A$为$n\times n$的对称矩阵，$x$为维度为$n$的向量，我们记$A$的从小到大排序的特征值和对应的特征向量为$\lambda_1,\lambda_2,\lambda_3...\lambda_n;v_1,v_2,v_3...v_n$，满足：

$$\lambda_{min}=\lambda_1\leq\lambda_2\leq...\leq\lambda_n=\lambda_{max}$$

$\qquad$瑞利商有性质：

$$\mathop{max}\limits_{x}R(A,x)=\lambda_n$$

$$\mathop{min}\limits_{x}R(A,x)=\lambda_1$$

证明：

$\qquad$由于A为对称矩阵，可以相似对角化为"正交阵-特征对角阵-正交阵"的性形式：

$$A=U\Lambda U^T$$

$\qquad$其中$\Lambda=diag(\lambda_1,\lambda_2,\lambda_3...\lambda_n)$特征对角阵，$U=(v_1,v_2,cv_3...v_n)$为特征向量阵，且为正交阵满足$UU^T=I$。由此瑞利商可以转换为：

$$R(A,x)=\frac{x^TAx}{x^Tx}$$

$$=\frac{x^TU\Lambda U^Tx}{x^TUU^Tx}$$

$\qquad$我们令$y=U^Tx$，则瑞利商变为：

$$R(A,x)=\frac{y^T\Lambda y}{y^Ty}$$

$$=\frac{\mathop{\sum}\limits_{i}^n \lambda_iy_i^2}{\mathop{\sum}\limits_{i}^n y_i^2}$$

$\qquad$由特征值的大小关系显然有：

$$\lambda_1\mathop{\sum}\limits_{i}^n y_i^2 \leq \mathop{\sum}\limits_{i}^n\lambda_i y_i^2 \leq \lambda_n \mathop{\sum}\limits_{i}^n y_I^2$$

$\qquad$于是有：

$$\frac{\lambda_1\mathop{\sum}\limits_{i}^n y_i^2}{\mathop{\sum}\limits_{i}^n y_i^2} \leq \frac{\mathop{\sum}\limits_{i}^n\lambda_i y_i^2}{\mathop{\sum}\limits_{i}^n y_i^2} \leq \frac{\lambda_n \mathop{\sum}\limits_{i}^n y_I^2}{\mathop{\sum}\limits_{i}^n y_i^2}$$

$$\lambda_1 \leq R(A,x) \leq \lambda_n$$

$\qquad$由此证得瑞利商的上界和下界，下面说明这也是瑞利商的上下确界。

$\qquad$不论对向量$x$进行何种放缩，瑞利商不变，对任意非零实数c，对x进行放缩有：

$$R(A,cx)=\frac{cx^TA cx}{cx^T cx}=\frac{c^2 x^T Ax}{c^2x^Tx}=R(A,x)$$

$\qquad$因此不妨令$x^Tx=1$，此举不会影响到$x$的任意性

$\qquad$由于$v_1,v_2,v_3...v_n$是n维线性空的一组正交基，利用这组正交基对向量$x$进行线性表出，设系数为$a_1,a_2,a_3...a_n$，满足：

$$x=\mathop{\sum}\limits_{i}^n a_iv_i$$

$\qquad$由于$x^Tx=1$，则有：

$$x^Tx=\mathop{\sum}\limits_{i}^na_i^2=1$$

$\qquad$此时考虑到$U=(v_1,v_2,v_3...v_n)$，且有$v_1,v_2,v_3...v_n$相互正交：

$$R(A,x)=\frac{(\mathop{\sum}\limits_{i}^n a_iv_i)^T U \Lambda U^T (\mathop{\sum}\limits_{i}^n a_iv_i)}{x^Tx}$$

$$=(\mathop{\sum}\limits_{i}^n a_iv_i)^T U \Lambda U^T (\mathop{\sum}\limits_{i}^n a_iv_i)$$

$$=\mathop{\sum}\limits_{i}^n a_i^2\lambda_i$$

$\qquad$显然也有：

$$\lambda_1 \leq R(A,x) \leq \lambda_n$$

$\qquad$并且由于$\mathop{\sum}\limits_{i}^na_i^2=1$,可以看出:
$\qquad$$\qquad$当$a_1^2=1,a_2=a_3=...=a_n=0$时，此时$x=v_1$，瑞利商取得最小值$\lambda_1$
$\qquad$$\qquad$当$a_n^2=1,a_1=a_2=...=a_{n-1}=0$时，此时$x=v_n$，瑞利商取得最大值$\lambda_n$
$\qquad$瑞利商性质证毕。