特征值、特征向量、对角化

特征向量

\(Ax=b\)在几何上就是矩阵A对向量x做的变换，b就是变换后得到的向量。

对于大部分经过\(A\)变换后的\(x\)，得到的\(b\)都是和\(x\)不平行的，但也有平行的。这个变换后还平行于本身的向量就称作特征向量。

特征值

\(x\)变换后还与原来平行，那么就可以写成\(Ax=\lambda x\)。

\(\lambda\)就是特征值，可正可负可为0

为正\(\lambda x\)和\(x\)方向相同
为负\(\lambda x\)和\(x\)方向相反

举例子举例子

投影矩阵

对于A的投影矩阵P，\(Px=?\)

如果x在A里，那么\(Px=x\)，特征值是1

如果x不在A里，没法保证\(Px=\lambda x\)

如果x垂直于A，那么\(Px=0\)，特征值是0

置换矩阵

\[A = \begin{bmatrix} 0&1\\ 1&0 \end{bmatrix} \]

这个矩阵把未知数\(x\)第一行第二行互换，那么想要互换完仍然平行于之前，那么有两种情况

\(x=[1,1]^T\)或\(x=[-1,1]^T\)

就是x里面俩完全相等或相反。第一种特征值为1，第二种为-1

总结

一个特征值对应的特征向量有无数个，所以也就是说真正有用的特征向量都是线性无关的。

如果选择\(x\)为0的话，那么不管\(A\)是什么\(\lambda\)是什么，都是和原来平行的，所以我们不讨论\(x\)为0的情况

算法

\(Ax=\lambda x\)有两个未知数，变形得到

\[(A-\lambda I)x=0 \]

\(A\)有特征值当且仅当如上方程有非平凡解。也就是\(x\not =0\)的时有解，则\((A-\lambda I)\)必定是奇异矩阵，否则\(x\)只能为0

奇异矩阵的行列式为0，所以

\[det(A-\lambda I)=0 \]

这下就不管\(x\)什么事了，只有一个未知数\(\lambda\)。

假设我们求特征值和特征向量的矩阵长这样

\[A= \begin{bmatrix} 3&1\\ 1&3 \end{bmatrix} \]

根据行列式运算性质，可以得到\(det(A-\lambda I)\)为

\[\begin{vmatrix} 3-\lambda&1\\ 1&3-\lambda \end{vmatrix}=(3-\lambda)^2-1=0\\ \lambda_1=4,\lambda_2=2 \]

再求解特征向量

\[(A-4I)x=0\\ (A-2I)x=0\\ x1=[1,1]^T,x_2=[-1,1]^T \]

以上就是求解特征值的算法，下面是性质

性质

• 特征值和等于矩阵对角线元素和
• 特征值积等于矩阵行列式
• 规模相同的对角矩阵有相同的特征向量，区别就是特征值不同
• 如果把矩阵对角线加上相同数（也就是加上nI），特征值也加n

特例

正交矩阵

\[Q=\begin{bmatrix} 0&-1\\ 1&0 \end{bmatrix} \]

特征值之和是0，特征值之积是1

\[\begin{vmatrix} 0-\lambda&-1\\ 1&0-\lambda \end{vmatrix}=(0-\lambda)^2+1=0 \\ \lambda_1=i, \lambda_2=-i \]

Oh，，，方程中出现了一个数的平方加1等于0的情况...这时候特征值是复数。

三角矩阵

三角矩阵特征值是对角线元素

对于三角矩阵A

\[\begin{bmatrix} a_{11}&a_{12}&a_{13}\\ 0&a_{22}&a_{23}\\ 0&0&a_{33} \end{bmatrix} \]

要满足\((A-\lambda I)x=0\)有非平凡解，也就是

\[\begin{bmatrix} a_{11}-\lambda&a_{12}&a_{13}\\ 0&a_{22}-\lambda&a_{23}\\ 0&0&a_{33}-\lambda \end{bmatrix}x=0 \]

主元必须有为0的，也就是\(a_{11}-\lambda\)、\(a_{22}-\lambda\)、\(a_{33}-\lambda\)必须有为0的，所以特征值只能是\(a_{11}\)、\(a_{22}\)、\(a_{33}\)

退化矩阵

\[A=\begin{bmatrix} 3&1\\ 0&3 \end{bmatrix}\\ \begin{vmatrix} 3-\lambda&1\\ 0&3-\lambda \end{vmatrix}=(3-\lambda)(3-\lambda)=0\\ \lambda_1=3,\lambda_2=3 \]

ohh，特征值重复了，造成特征向量短缺，这种矩阵称为退化矩阵

对角化

假设A有n个线性无关特征向量\(x_1,x_2,...,x_n\),将它们按顺序组成矩阵S,那\(AS\)等于啥呢?

\[AS=A[x_1,x_2,...,x_n]=[\lambda x_1,\lambda x+2,...,\lambda x_n]\\=[x_1,x_2,...,x_n]\begin{bmatrix} \lambda_1&0&...&0\\ 0&\lambda_2&...&0\\ ...&...&...&...\\ 0&0&...&\lambda_n \end{bmatrix}=S\Lambda\\ AS=S\Lambda\\ \]

得到的是S乘一个对角矩阵\(\Lambda\),这个对角矩阵由特征值组成,两侧同右乘$S^{-1}得

\[A=S\Lambda S^{-1} \]

But有啥用呢??

矩阵幂乘

如果算一个矩阵的2次方,还好,但是如果算100次方工作量还挺大的,好在上面的对角矩阵能帮忙

\[A=S\Lambda S^{-1}\\ A^2=S\Lambda S^{-1}S\Lambda S^{-1}=S\Lambda^2S^{-1} \]

所以,对于一个矩阵,你只需要算出它的特征向量和特征值矩阵就好了,因为特征值矩阵是个对角矩阵,所以它的幂乘很好求

差分方程

差分方程是这样形式的方程

\[x_{k+1}=Ax_k(k=0,1,2...) \]

这其实就是递归，递归就必定有结束条件。所以一定要有个\(x_0\)已经给定，否则就一直递归下去了。

参考资料

• MIT线性代数公开课 - bilibili