MIT 18.06 linear algebra lecture 22 对角化和A的幂 笔记

上一节主要介绍了特征值和特征向量的概念，以及如何求解特征值和特征向量。本节内容主要有：如何对角化一个有 \(n\) 个线性无关特征向量的矩阵、如何利用对角化简化计算。

对角化一个矩阵 \(S^{-1}AS=\Lambda\)

如果矩阵 \(A\) 有 \(n\) 个线性无关的特征向量，将这些特征向量作为列向量合并为一个矩阵 \(S\)（方阵并且可逆）。

\[\begin{aligned} AS &= A\left[\begin{array}{cccc} \boldsymbol{x}_1 & \boldsymbol{x}_2 & \cdots & \boldsymbol{x}_n \end{array}\right]\\ &=\left[\begin{array}{cccc} \lambda_1\boldsymbol{x}_1 &\lambda_2\boldsymbol{x}_2 & \cdots & \lambda_n\boldsymbol{x}_n \end{array}\right]\\ &=S\left[\begin{array}{rrrr} \lambda_1 & 0 & \cdots & 0 \\ 0 & \lambda_2 & & 0 \\ \vdots & & \ddots & \vdots\\ 0 & \cdots & 0 & \lambda_n \end{array}\right]=S\Lambda \end{aligned} \]

注意到 \(\Lambda\) 是一对角矩阵，对角线上的元素为矩阵 \(A\) 的特征值。又因为矩阵 \(S\) 的列向量（即 \(A\) 的特征向量）是线性无关的，所以逆矩阵 \(S^{-1}\) 存在，因此可以在等式 \(AS=S\Lambda\) 两边乘上 \(S^{-1}\) 。

\[S^{-1}AS=\Lambda \]

同样也有， \(A=S\Lambda S^{-1}\)。

\(A\) 的幂

已知\(A\)的特征向量和特征值，那么\(A^2\) 的特征向量和特征值是多少？

\[\begin{aligned} \text{If }A\boldsymbol{x} &= \lambda \boldsymbol{x} \\ \text{then }A^2\boldsymbol{x} &= \lambda A\boldsymbol{x}=\lambda^2\boldsymbol{x} \end{aligned} \]

\(A^2\) 的特征向量与 \(A\) 的特征向量相同， \(A^2\) 的特征值是 \(A\) 的特征值的平方。从 \(A=S\Lambda S^{-1}\)的角度来看：

\[A^2=A=S\Lambda S^{-1}S\Lambda S^{-1}=S\Lambda^2 S^{-1} \]

同理，可以推导出 \(A^k=S\Lambda^kS^{-1}\)，即矩阵 \(A\) 的 \(k\) 次幂的特征向量与 \(A\) 的特征向量相同，特征值是 \(A\) 的特征值的 \(k\) 次幂。

如果矩阵 \(A\) 有 \(n\) 个线性无关的特征向量（对应的特征值为 \(\lambda_i\) ），当且仅当所有的 \(|\lambda_i|< 0\) 时，如果 \(k\rightarrow\infty\) 时 \(A^k\rightarrow 0\) .

当 \(A\) 的特征值均不相同时，\(A\) 有 \(n\) 个线性无关的特征向量，并且能够对角化。大多数情况下，矩阵的特征值均不相同。

重复特征值

如果 \(A\) 有重复的特征值，可能有 \(n\) 个线性无关的特征向量，也可能没有 \(n\) 个线性无关的特征向量。例如，单位矩阵的特征值均为 \(1\) ，但单位矩阵仍有 \(n\) 个线性无关的特征向量。

如果三角矩阵 \(A=\begin{bmatrix}2&1\\0&2\end{bmatrix}\)，其特征值为 \(2\) 和 \(2\) 。则其特征向量在 \(A-\lambda I=\begin{bmatrix}0&1\\0&0\end{bmatrix}\) 的零空间中，该零空间由 \(\boldsymbol{x}=\begin{bmatrix}1\\0\end{bmatrix}\) 生成，此时矩阵 \(A\) 并没有两个线性无关的特征向量。

差分方程 \(u_{k+1}=Au_k\)

给定向量 \(\boldsymbol{u}_0\) 。创建一个向量序列，每个新的向量都是 \(A\) 与前一个向量的乘积: \(\boldsymbol{u}_{k+1}=A\boldsymbol{u}_k\) 。则 \(\boldsymbol{u}_{k+1}=A\boldsymbol{u}_k\) 是一阶差分方程，\(\boldsymbol{u}_k=A^k\boldsymbol{u}_0\) 是该方程的一种解。

另外，可以将 \(\boldsymbol{u}_0\) 写成 \(A\) 的特征向量的线性组合：

\[\boldsymbol{u}_0 = c_1\boldsymbol{x}_1+c_2\boldsymbol{x}_2+\cdots+c_n\boldsymbol{x}_n=S\boldsymbol{c} \]

两边乘以矩阵 \(A\) ，则有：

\[A\boldsymbol{u}_0 = c_1\lambda_1\boldsymbol{x}_1+c_2\lambda_2\boldsymbol{x}_2+\cdots+c_n\lambda_n\boldsymbol{x}_n \]

另外有：

\[\boldsymbol{u}_k = A^k\boldsymbol{u}_0=c_1\lambda_1^k\boldsymbol{x}_1+c_2\lambda_2^k\boldsymbol{x}_2+\cdots+c_n\lambda_n^k\boldsymbol{x}_n=\Lambda^kS\boldsymbol{c} \]

斐波那契数列

斐波那契数列是 \(0,1,1,2,3,5,8,13,\cdots\)。数列中元素的关系是 \(F_{k+2}=F_{k+1}+F_k\) 。如果利用矩阵来理解斐波那契序列，可以通过矩阵的特征值可以知道数列中的数字的增长速度。

\(\boldsymbol{u}_{k+1}=A\boldsymbol{u}_k\) 是一阶方程。而 \(F_{k+2}=F_{k+1}+F_{k}\) 是二阶标量方程，但是通过一些技巧可以将其转换为一阶线性方程。令 \(\boldsymbol{u}_k=\left[\begin{array}{r}F_{k+1}\\F_{k}\end{array}\right]\)，再加上：

\[\begin{aligned} F_{k+2} &= F_{k+1} + F_{k} \\ F_{k+1} &= F_{k+1} \end{aligned} \]

上面的方程组等价于一阶方程 \(\boldsymbol{u}_{k+1}=\begin{bmatrix}1&1\\1&0\end{bmatrix}\boldsymbol{u}_k\) 。

接下来求解 \(A=\begin{bmatrix}1&1\\1&0\end{bmatrix}\) 的特征向量和特征值？因为 \(A\) 是对称矩阵，所以其特征值为实数并且特征向量互相正交。又因为 \(A\) 是 \(2\times 2\) 矩阵，根据迹可得特征值之和为 \(1\) ，根据行列式可得特征值之乘积为 \(-1\) 。

\[|A-\lambda I|=\left|\begin{array}{cc}1-\lambda & 1\\ 1 & -\lambda\end{array}\right| = \lambda^2-\lambda-1 \]

令上式为零，可求得 \(\lambda=\frac{1\pm\sqrt{1+4}}{2}\)；所以 \(\lambda_1=\frac{1}{2}(1+\sqrt{5})\approx1.618\)，\(\lambda_2=\frac{1}{2}(1-\sqrt{5})\approx0.618\)。 \(F_k\) 的增长主要由 \(\lambda_1\) 决定，因为 \(\lambda_1\) 是仅有的绝对值大于 \(1\) 的特征值。所以当 \(k\) 比较大时，\(F_k\approx c_1(\frac{1+\sqrt 5}{2})^k\)，其中 \(c_1\) 是一个常实数。（ \(\boldsymbol{u}_k=A^k\boldsymbol{u}_0=c_1\lambda^k_1x_1+c_2\lambda^k_2x_2\)，因为 \(|\lambda_2|<1\)，所以 \(\lambda_2^k\) 趋近于零）。

接下来求 \(A\) 的特征向量：

\[(A-\lambda I)\boldsymbol{x}=\left[\begin{array}{cc}1-\lambda & 1\\ 1 & -\lambda\end{array}\right]\boldsymbol{x}=\boldsymbol{0} \]

求解得 \(\boldsymbol{x}=\begin{bmatrix}\lambda\\1\end{bmatrix}\) ，则 \(\boldsymbol{x}_1=\begin{bmatrix}\lambda_1\\1\end{bmatrix}\)， \(\boldsymbol{x}_2=\begin{bmatrix}\lambda_2\\1\end{bmatrix}\) 。

最终通过 \(\boldsymbol{u}_0=\begin{bmatrix}F_1\\F_2\end{bmatrix}=\begin{bmatrix}1\\0\end{bmatrix}=c_1\boldsymbol{x}_1+c_2\boldsymbol{x}_2\) 求得 \(c_1=-c_2=\frac{1}{\sqrt{5}}\) 。因为 \(\left[\begin{array}{r}F_{k+1}\\F_k\end{array}\right]=\boldsymbol{u}_k=c_1\lambda_1^k\boldsymbol{x}_1+c_2\lambda_2^k\boldsymbol{x}_2\) ，可得：

\[F_k=\frac{1}{\sqrt 5}\bigg(\frac{1+\sqrt{5}}{5}\bigg)^k-\frac{1}{\sqrt 5}\bigg(\frac{1-\sqrt{5}}{5}\bigg)^k \]

通过特征值和特征向量，发现了斐波那契数列的闭式解。

总结：当一个随时间变化的序列遵循一阶方程的规则时，该方程的行列式决定了序列的长期表现，为了得到该序列的具体公式，可以找到对应矩阵的特征向量，并且求得相关的系数 \(c_1,c_2,\cdots\) 。

---

笔记来源：MIT 18.06 lecture 22