MIT 18.06 linear algebra lecture 2 消元法 笔记

消元法

基本上所有计算机软件都是用消元法（Elimination）解线性方程组。当\(\boldsymbol{A}\)矩阵可逆时，通过消元法可以求得\(A\boldsymbol{x}=\boldsymbol{b}\)的解\(\boldsymbol{x}\)。

\[A = \begin{bmatrix} 1 & 2 & 1\\ 3 & 8 & 1\\ 0 & 4 & 1 \end{bmatrix} \text{and } \boldsymbol{b} = \begin{bmatrix} 2\\ 12\\ 2\\ \end{bmatrix} \]

左上角的数字\(1\)称为第一个主元（pivot）。拿出矩阵第一行乘以合理的数字使得被矩阵第二行相减后，矩阵第二行第一个数字为\(0\),矩阵原来第二行的第一个数字\(3\)便被消去。

下面是该矩阵消元的步骤：

\[A = \begin{bmatrix} 1 & 2 & 1\\ 3 & 8 & 1\\ 0 & 4 & 1 \end{bmatrix} \to \begin{bmatrix} 1 & 2 & 1\\ 0 & 2 & -1\\ 0 & 4 & 1 \end{bmatrix} \to U= \begin{bmatrix} 1 & 2 & 1\\ 0 & 2 & -2\\ 0 & 0 & 5 \end{bmatrix} \]

对于向量\(\boldsymbol{b}\)也要进行同样的消元操作。实际中为了方便操作，可以把\(A\)和\(\boldsymbol{b}\)放置在一个矩阵中，称为增广矩阵（augmented matrix）。

\[\left[\begin{array}{r|r} A & \boldsymbol b \end{array}\right]= \left[\begin{array}{rrr|r} 1 & 2 & 1 & 2\\ 3 & 8 & 1 & 12\\ 0 & 4 & 1 & 2 \end{array}\right] \]

等式\(A\boldsymbol{x}=\boldsymbol{b}\)经过消元转换，得到新的等式\(U\boldsymbol{x}=\boldsymbol{c}\)。其中，$$
U=
\begin{bmatrix}
1 & 2 & 1 \
0 & 2 & -2 \
0 & 0 & 5
\end{bmatrix}

\[， \]

\boldsymbol{c}=
\begin{bmatrix}
2\
6\
-10
\end{bmatrix}$$。
通过\(U\boldsymbol{x}=\boldsymbol{c}\)得到的解与\(A\boldsymbol{x}=\boldsymbol{b}\)相同。

注意：
在消元时，可以换行，而且主元必须不能为\(0\)（在换行之后）。主元的乘积行列式，后面将会提到。

消元矩阵

• \(3\times3\)矩阵和\(3\times1\)的向量乘积是一个\(3\times1\)的列向量，是矩阵列向量的线性组合
• \(1\times3\)行向量和\(3\times3\)矩阵乘积是一个\(1\times3\)的行向量，是矩阵行向量的线性组合

通过矩阵进行消元，矩阵的第二行减去3倍的矩阵第一行：

\[\begin{bmatrix} 1 & 0 & 0\\ -3 & 1 & 0\\ 0 & 0 & 1 \end{bmatrix} \times \begin{bmatrix} 1 & 2 & 1\\ 3 & 8 & 1\\ 0 & 4 & 1 \end{bmatrix}= \begin{bmatrix} 1 & 2 & 1\\ 0 & 2 & -2\\ 0 & 4 & 1 \end{bmatrix} \]

用于消去第\(m\)行第\(n\)列元素的消元矩阵称为\(E_{21}\)，上面的计算过程是\(E_{21}A\)，三个消元得到\(U\)的步骤是\(E_{32}(E_{31}(E_{21}A))=U\)，其中\(E_{31}=I\)，因此\(E_{32}(E_{21}A)=U\)。
矩阵的乘法满足结合律，因此\((E_{32}E_{21})A=U\)，矩阵\(E_{32}E_{21}\)使得\(A\)转换为\(U\)，\(E_{32}E_{21}\)的逆矩阵使得\(U\)转换为\(A\)。
\(U\boldsymbol{x}=EA\boldsymbol{x}=E\boldsymbol{b}\)求解后，同样满足\(A\boldsymbol{x}=\boldsymbol{b}\)，消元法的所有步骤都能反转。

置换矩阵交换矩阵的两行，例如

\[P= \begin{bmatrix} 0 & 1 & 0\\ 1 & 0 & 0\\ 0 & 0 & 1 \end{bmatrix} \]

\(PA\)的第一行是\(A\)的第二行，\(PA\)的第二行是\(A\)的第一行。

逆矩阵

简单介绍下逆矩阵，假设

\[E_{21}= \begin{bmatrix} 1 & 0 & 0\\ -3 & 1 & 0\\ 0 & 0 & 1 \end{bmatrix} \]

会将与其相乘的矩阵的第二行减去三倍的第一行（第一行、第三行未变化），为了“撤销“这个操作，给第二行加上三倍的第一行。

\[E_{21}^{-1}= \begin{bmatrix} 1 & 0 & 0\\ 3 & 1 & 0\\ 0 & 0 & 1 \end{bmatrix} \]

事实上，\(E_{21}^{-1}E_{21}=I\)。

---

笔记来源：MIT 18.06 lecture2 note