特征值、特征向量、对角化

特征向量#

$Ax=b$在几何上就是矩阵A对向量x做的变换，b就是变换后得到的向量。

对于大部分经过$A$变换后的$x$，得到的$b$都是和$x$不平行的，但也有平行的。这个变换后还平行于本身的向量就称作特征向量。

特征值#

$x$变换后还与原来平行，那么就可以写成$Ax=\lambda x$。

$\lambda$就是特征值，可正可负可为0

为正$\lambda x$和$x$方向相同
为负$\lambda x$和$x$方向相反

举例子举例子#

投影矩阵#

对于A的投影矩阵P，$Px=?$

如果x在A里，那么$Px=x$，特征值是1

如果x不在A里，没法保证$Px=\lambda x$

如果x垂直于A，那么$Px=0$，特征值是0

置换矩阵#

$$A = \begin{bmatrix} 0&1\\ 1&0 \end{bmatrix}$$

这个矩阵把未知数$x$第一行第二行互换，那么想要互换完仍然平行于之前，那么有两种情况

$x=[1,1]^T$或$x=[-1,1]^T$

就是x里面俩完全相等或相反。第一种特征值为1，第二种为-1

总结#

一个特征值对应的特征向量有无数个，所以也就是说真正有用的特征向量都是线性无关的。

如果选择$x$为0的话，那么不管$A$是什么$\lambda$是什么，都是和原来平行的，所以我们不讨论$x$为0的情况

算法#

$Ax=\lambda x$有两个未知数，变形得到

$$(A-\lambda I)x=0$$

$A$有特征值当且仅当如上方程有非平凡解。也就是$x\not =0$的时有解，则$(A-\lambda I)$必定是奇异矩阵，否则$x$只能为0

奇异矩阵的行列式为0，所以

$$det(A-\lambda I)=0$$

这下就不管$x$什么事了，只有一个未知数$\lambda$。

假设我们求特征值和特征向量的矩阵长这样

$$A= \begin{bmatrix} 3&1\\ 1&3 \end{bmatrix}$$

根据行列式运算性质，可以得到$det(A-\lambda I)$为

$$\begin{vmatrix} 3-\lambda&1\\ 1&3-\lambda \end{vmatrix}=(3-\lambda)^2-1=0\\ \lambda_1=4,\lambda_2=2$$

再求解特征向量

$$(A-4I)x=0\\ (A-2I)x=0\\ x1=[1,1]^T,x_2=[-1,1]^T$$

以上就是求解特征值的算法，下面是性质

性质#

• 特征值和等于矩阵对角线元素和
• 特征值积等于矩阵行列式
• 规模相同的对角矩阵有相同的特征向量，区别就是特征值不同
• 如果把矩阵对角线加上相同数（也就是加上nI），特征值也加n

特例#

正交矩阵#

$$Q=\begin{bmatrix} 0&-1\\ 1&0 \end{bmatrix}$$

特征值之和是0，特征值之积是1

$$\begin{vmatrix} 0-\lambda&-1\\ 1&0-\lambda \end{vmatrix}=(0-\lambda)^2+1=0 \\ \lambda_1=i, \lambda_2=-i$$

Oh，，，方程中出现了一个数的平方加1等于0的情况...这时候特征值是复数。

三角矩阵#

三角矩阵特征值是对角线元素

对于三角矩阵A

$$\begin{bmatrix} a_{11}&a_{12}&a_{13}\\ 0&a_{22}&a_{23}\\ 0&0&a_{33} \end{bmatrix}$$

要满足$(A-\lambda I)x=0$有非平凡解，也就是

$$\begin{bmatrix} a_{11}-\lambda&a_{12}&a_{13}\\ 0&a_{22}-\lambda&a_{23}\\ 0&0&a_{33}-\lambda \end{bmatrix}x=0$$

主元必须有为0的，也就是$a_{11}-\lambda$、$a_{22}-\lambda$、$a_{33}-\lambda$必须有为0的，所以特征值只能是$a_{11}$、$a_{22}$、$a_{33}$

退化矩阵#

$$A=\begin{bmatrix} 3&1\\ 0&3 \end{bmatrix}\\ \begin{vmatrix} 3-\lambda&1\\ 0&3-\lambda \end{vmatrix}=(3-\lambda)(3-\lambda)=0\\ \lambda_1=3,\lambda_2=3$$

ohh，特征值重复了，造成特征向量短缺，这种矩阵称为退化矩阵

对角化#

假设A有n个线性无关特征向量$x_1,x_2,...,x_n$,将它们按顺序组成矩阵S,那$AS$等于啥呢?

$$AS=A[x_1,x_2,...,x_n]=[\lambda x_1,\lambda x+2,...,\lambda x_n]\\=[x_1,x_2,...,x_n]\begin{bmatrix} \lambda_1&0&...&0\\ 0&\lambda_2&...&0\\ ...&...&...&...\\ 0&0&...&\lambda_n \end{bmatrix}=S\Lambda\\ AS=S\Lambda\\ $$

得到的是S乘一个对角矩阵$\Lambda$,这个对角矩阵由特征值组成,两侧同右乘$S^{-1}得

$$A=S\Lambda S^{-1}$$

But有啥用呢??

矩阵幂乘#

如果算一个矩阵的2次方,还好,但是如果算100次方工作量还挺大的,好在上面的对角矩阵能帮忙

$$A=S\Lambda S^{-1}\\ A^2=S\Lambda S^{-1}S\Lambda S^{-1}=S\Lambda^2S^{-1}$$

所以,对于一个矩阵,你只需要算出它的特征向量和特征值矩阵就好了,因为特征值矩阵是个对角矩阵,所以它的幂乘很好求

差分方程#

差分方程是这样形式的方程

$$x_{k+1}=Ax_k(k=0,1,2...)$$

这其实就是递归，递归就必定有结束条件。所以一定要有个$x_0$已经给定，否则就一直递归下去了。

参考资料#

• MIT线性代数公开课 - bilibili