线性代数之——特征值和特征向量

线性方程 $Ax=b$ 是稳定状态的问题，特征值在动态问题中有着巨大的重要性。 $du/dt=Au$ 的解随着时间增长、衰减或者震荡，是不能通过消元来求解的。接下来，我们进入线性代数一个新的部分，基于 $Ax=\lambda x$ ，我们要讨论的所有矩阵都是方阵。

1. 特征值和特征向量

几乎所有的向量在乘以矩阵 $A$ 后都会改变方向，某些特殊的向量 $x$ 和 $Ax$ 位于同一个方向，它们称之为特征向量。

A x = λ x

$Ax = \lambda x$

数字 $\lambda$ 称为特征值。它告诉我们在乘以 $A$ 后，向量是怎么被拉伸、缩小、反转或者不变的。 $\lambda = 0$ 意味着特征向量存在于矩阵的零空间中。任意向量都是单位矩阵的特征向量，因为 $Ix=x$ ，其特征值为 1。

要计算特征值的话，我们只需要知道 $det (A-\lambda I)=0$ 即可。

如果 $x_1$ 乘以 $A$ 的话，我们仍然得到 $x_1$ ，任意 $A$ 的乘方仍然得到 $A^nx_1=x_1$ 。如果 $x_2$ 乘以 $A$ 的话，我们得到 $\frac{1}{2}x_2$ ，再乘以 $A$ 我们得到 $(\frac{1}{2})^2x_2$ 。

当 $A$ 被平方的时候，其特征向量不变，特征值也变为平方。

这种模式将会继续保持，因为特征向量一直待在他们自己的方向，不会改变。

其它向量都会改变方向，但它们可以表示为特征向量的线性组合。

当我们将这个向量乘以 $A$ 后，每个特征向量都乘以了它们对应的特征值。

利用这个特性，我们可以进行 99 次乘法。

特征向量 $x_1$ 处于稳定状态，因为 $\lambda_1=1$ ，所以它不会改变。特征向量 $x_2$ 处于衰减状态，因为 $\lambda_2=0.5$ ，乘方次数很大时，它就相当于消失了。

上述这个特殊的矩阵是一个马尔科夫矩阵，它的每个元素都为正并且每一列相加之后和为 1，这保证了它的最大特征值为 1。

对于投影矩阵，它的特征值为 0 和 1。 $\lambda = 1$ 对应于稳定状态，投影矩阵将列空间的所有向量都投影到列空间中去，也即还是它自身， $Px_1 = x_1$ 。 $\lambda = 0$ 对应于零空间，投影矩阵将零空间的所有向量都投影到零向量， $Px_2 = \boldsymbol 0$ 。