3.1 Real Symmetric Matrices and Positive Definiteness 阅读笔记

实对称矩阵与正定性

reference的内容为唯一教程, 接下来的内容仅为本人的课后感悟, 对他人或无法起到任何指导作用.

Reference

Course website: Symmetric Matrices and Positive Definiteness | Linear Algebra | Mathematics | MIT OpenCourseWare
Course video: 【完整版-麻省理工-线性代数】全34讲配套教材_哔哩哔哩_bilibili
Course summary: Lecture 25: Symmetric matrices and positive deﬁniteness (mit.edu)
Extra reading: 线性代数与解析几何（第二版）6.2.1 节定理 6.2.3，魏战线李继成编

这一个 Unit 的内容比较杂, 前面还是对特征值和特征向量的继续讨论, 只不过对象放到了一类特殊矩阵: 对称矩阵. 有关"对称"的定义, 在实对称矩阵中很直观, 接着我们会发现实对称矩阵的很多性质, 也会引入二次型和正定的定义. 对复矩阵来说, 要考虑的是"共轭对称", 我们会简单说明其在 FFT 中的应用.

接下来的内容就比较散了. SVD, 线性变换与基变换, 伪逆. 其中线性变换与基变换已经早早提到过, 但是在这一讲将会结合 3Blue1Brown 以更宏观的视角关注!

那就先从实对称矩阵开始!

Real Symmetric Matrices

对称矩阵的定义是 $A=A^{\mathrm{T}}$ , 实对称矩阵需要保证元素均为实数.

Properties

实对称矩阵有两个特性:

特征值为实数. (旋转矩阵特征值为纯虚数)
特征向量相互正交. (可以选出相互正交/ orthonormal 的向量)

在通常(可对角化)情况下, 一个矩阵可以化为: $A=S\varLambda S^{-1}$ ；

在实对称的情况下, 则有 $A=Q\varLambda Q^{-1}$ , 而对于标准正交矩阵, 有 $Q=Q^{\mathrm{T}}$ , 所以对称矩阵可以写为

A = Q Λ Q^{T}

$A=Q\varLambda Q^{\mathrm{T}}$

又可以写为

Λ = Q^{T} A Q

$\varLambda=Q^{\mathrm{T}} A Q$

这个分解本身就代表着对称, $\left(Q\varLambda Q^{\mathrm{T}}\right)^{\mathrm{T}}=Q\varLambda Q^{\mathrm{T}}$ .

Why?

一. 实对称矩阵的特征值为实数.

对于矩阵 $A \bm{x}=\lambda \bm{x}$ , 两边取共轭有 $\bar A \bar{\bm{x}}=\bar\lambda \bar {\bm{x}}$ .

因为实矩阵, 因此有 $A\bar {\bm{x}}=\bar\lambda \bar {\bm{x}}$ , 从这一点也能看出实对称矩阵如果有复特征值则一定共轭成对出现, 对应特征向量也是共轭成对的.

两边取转置, 对称矩阵, 有 ${\bar{\bm{x}}^{\mathrm{T}}A^{\mathrm{T}}=\bar{\bm{x}}^{\mathrm{T}}\bar\lambda}=\bar{\bm{x}}^{\mathrm{T}}A$ , 对 $\bar{\bm{x}}^{\mathrm{T}}A$ 和右乘 , 得 $\bar{\bm{x}}^{\mathrm{T}}A \bm{x} = \bar{\bm{x}}^{\mathrm{T}} \lambda \bm{x} = \bar{\bm{x}}^{\mathrm{T}} \bar{\lambda} \bm{x}$ .

因此有 $\bar{\lambda} \bar{\bm{x}}^{\mathrm{T}}\bm{x} = {\lambda} \bar{\bm{x}}^{\mathrm{T}}\bm{x}$ .

而特征向量不可能是零向量, 因此 $\bar{\bm{x}}^{\mathrm{T}}\bm{x}=\begin{bmatrix}\bar {{x}}_1&\bar {{x}}_2&\cdots&\bar {{x}}_n\end{bmatrix}\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}=\bar {{x}}_1x_1+\bar {{x}}_2x_2+\cdots+\bar {{x}}_nx_n=\displaystyle\sum_{i=1}^{n} \left\vert x_i \right\vert ^{2} > 0$ . 所以两边消去得到 $\lambda = \bar{\lambda}$ , 特征值一定为实数.

二. 实对称矩阵一定可以找出组成标准正交基的特征向量

这个证明相当的麻烦, 我又看了一遍教材才看明白... 用数学归纳法, 当 $n = 1$ 的时候, 显然成立, 因为只有一个独立的特征向量 $\begin{bmatrix} 1 \\\end{bmatrix}$ .

设 $n = k - 1, k > 2$ 成立. 则当 $n = k$ 时, 设 $\lambda_1$ 为 $k$ 阶实对称矩阵 $A_k$ 的特征值, $\bm{x}_1$ 为特征向量.

这时我们一定可以将 $\bm{x}_1$ 扩展为 $\mathbb{R}^{n}$ 的标准正交基 $\begin{bmatrix} \alpha_1 & \cdots & \alpha_n \\\end{bmatrix}$ . 怎么做呢? 将 $\bm{x}_1$ 单位化得到 , 再取零空间的标准正交基 (用 Gram-Schmidt 方法) 得到 $\begin{bmatrix} \alpha_2 & \cdots & \alpha_n \\end{bmatrix}$ (显然秩为 1, 解空间维度为 n-1).

设 $P = \begin{bmatrix} \alpha_1 & \cdots & \alpha_n \\\end{bmatrix}$ . 则 $A_k P = \begin{bmatrix} \lambda_1 \alpha_1 & A \alpha_2 & \cdots & A \alpha_n \\\end{bmatrix}$ . 通过数感玄学可得:

\begin{aligned} A_{k} P & = [\begin{matrix} λ_{1} α_{1} & A α_{2} & \dots & A α_{n} \end{matrix}] \\ = [\begin{matrix} α_{1} & \dots & α_{n} \end{matrix}] [\begin{matrix} λ_{1} & x_{12} & \dots & x_{1 n} \\ 0 & ⋮ & ⋮ \\ ⋮ & ⋮ & ⋮ \\ 0 & x_{n 2} & \dots & x_{n n} \end{matrix}] \\ = P [\begin{matrix} λ_{1} & β^{T} \\ 0 & A_{k - 1} \end{matrix}] \end{aligned}

$\begin{align*} A_k P &= \begin{bmatrix} \lambda_1 \alpha_1 & A \alpha_2 & \cdots & A \alpha_n \\\end{bmatrix}\\ &= \begin{bmatrix} \alpha_1 & \cdots & \alpha_n \\\end{bmatrix} \begin{bmatrix} \lambda_1 & x_{12} & \cdots & x_{1n} \\ 0 & \vdots & & \vdots \\ \vdots & \vdots & & \vdots \\ 0 & x_{n2} & \cdots & x_{nn} \\\end{bmatrix}\\ &= P \begin{bmatrix} \lambda_1 & \bm{\beta}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} \end{align*}$

这里 $A_k$ 是实对称矩阵, $A_k = P \begin{bmatrix} \lambda_1 & \bm{\beta}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} P^{\mathrm{T}}$ ( $P$ 是正交矩阵!). 对称矩阵取转置相同, 因此对 $A_k$ 取转置得

[\begin{matrix} λ_{1} & β^{T} \\ 0 & A_{k - 1} \end{matrix}] = [\begin{matrix} λ_{1} & 0^{T} \\ β & A_{k - 1}^{T} \end{matrix}]

$\begin{bmatrix} \lambda_1 & \bm{\beta}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} = \begin{bmatrix} \lambda_1 & \boldsymbol{0}^{\mathrm{T}} \\ \bm{\beta} & A_{k-1}^{\mathrm{T}} \\\end{bmatrix}$

所以有 $\bm{\beta} = \boldsymbol{0}$ , $A_{k-1}$ 也是实对称. (元素一定是实数啊). 根据归纳法, 存在正交矩阵 $Q_{k-1}$ 使得 $A_{k-1} = Q_{k-1} \varLambda_{k-1} Q_{k-1}^{\mathrm{T}}$ .

通过数感玄学, 令 $Q_k = P \begin{bmatrix} 1 & \boldsymbol{0}^{\mathrm{T}} \\ \boldsymbol{0} & Q_{k-1} \\\end{bmatrix}$ , 发现这个矩阵也是正交的. 因为它的逆就是转置. 这时我们再用数感试试 $Q_k^{\mathrm{T}} A_k Q_k$ , 看看等于什么:

\begin{aligned} Q_{k}^{T} A_{k} Q_{k} & = [\begin{matrix} 1 & 0 \\ 0^{T} & Q_{k - 1}^{T} \end{matrix}] [\begin{matrix} λ_{1} & 0^{T} \\ 0 & A_{k - 1} \end{matrix}] [\begin{matrix} 1 & 0^{T} \\ 0 & Q_{k - 1} \end{matrix}] \\ = [\begin{matrix} λ_{1} & 0 \\ 0^{T} & Q_{k - 1}^{T} A_{k - 1} Q_{k - 1} \end{matrix}] \\ = [\begin{matrix} λ_{1} & 0 \\ 0^{T} & Λ_{k - 1} \end{matrix}] \\ = Λ_{k} \end{aligned}

$\begin{align*} Q_k^{\mathrm{T}} A_k Q_k &= \begin{bmatrix} 1 & \boldsymbol{0} \\ \boldsymbol{0}^{\mathrm{T}} & Q_{k-1}^{\mathrm{T}} \\\end{bmatrix} \begin{bmatrix} \lambda_1 & \bm{0}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} \begin{bmatrix} 1 & \boldsymbol{0}^{\mathrm{T}} \\ \boldsymbol{0} & Q_{k-1} \\\end{bmatrix}\\ &= \begin{bmatrix} \lambda_1 & \boldsymbol{0} \\ \boldsymbol{0}^{\mathrm{T}} & Q_{k-1}^{\mathrm{T}} A_{k-1} Q_{k-1} \\\end{bmatrix}\\ &= \begin{bmatrix} \lambda_1 & \boldsymbol{0} \\ \boldsymbol{0}^{\mathrm{T}} & \varLambda_{k-1} \\\end{bmatrix}\\ &= \varLambda_k \end{align*}$

易证 $\lambda_2, \cdots , \lambda_n$ 均为 $A_k$ 的特征值, 因此 $Q_k$ 就是我们要找的标准正交基, 证毕.

Information about Real Symmetric Matrices

我们现在知道了实对称矩阵特征值和特征向量的信息, 有什么用呢? 接下来从这两个角度来解释一下.

Projection onto Eigenvectors

如果 $A = A^{\mathrm{T}}$ , 则有:

\begin{aligned} A & = Q Λ Q^{T} \\ = [q_{1} q_{2} \dots q_{n}] [\begin{matrix} λ_{1} & \dots \\ λ_{2} & \dots \\ ⋮ & ⋮ & ⋱ & ⋮ \\ \dots & λ_{n} \end{matrix}] [\begin{matrix} q_{1}^{T} \\ q_{2}^{T} \\ ⋮ \\ q_{n}^{T} \end{matrix}] \\ = λ_{1} q_{1} q_{1}^{T} + λ_{2} q_{2} q_{2}^{T} + \dots + λ_{n} q_{n} q_{n}^{T} \end{aligned}

$\begin{align*} A &= Q\varLambda Q^{\mathrm{T}}\\ &= \Bigg[\bm{q}_1\ \bm{q}_2\ \cdots\ \bm{q}_n\Bigg]\begin{bmatrix}\lambda_1& &\cdots& \\&\lambda_2&\cdots&\\\vdots&\vdots&\ddots&\vdots\\& &\cdots&\lambda_n\end{bmatrix}\begin{bmatrix}\quad \bm{q}_1^{\mathrm{T}}\quad\\\quad \bm{q}_2^{\mathrm{T}}\quad\\\quad \vdots \quad\\\quad \bm{q}_n^{\mathrm{T}}\quad\end{bmatrix}\\ &= \lambda_1 \bm{q}_1 \bm{q}_1^{\mathrm{T}}+\lambda_2 \bm{q}_2\bm{q}_2^{\mathrm{T}}+\cdots+\lambda_n \bm{q}_n \bm{q}_n^{\mathrm{T}} \end{align*}$

注意这个展开式中的 $\bm{q}\bm{q}^{\mathrm{T}}$ , $\bm{q}$ 是单位列向量所以 $\bm{q}^{\mathrm{T}}\bm{q}=1$ , 结合投影矩阵的知识有 $\displaystyle \frac{\bm{q}\bm{q}^{\mathrm{T}}}{\bm{q}^{\mathrm{T}}\bm{q}}=\bm{q}\bm{q}^{\mathrm{T}}$ 是 $\bm{q}$ 方向上的投影矩阵, 很容易验证其性质. 逆等于转置, 平方不变. 因此:

每一个对称矩阵都可以分解为一系列相互正交的投影矩阵.

Information about Eigenvalues

我们已经知道实数特征值的符号和大小和系统稳定性有关. 对于微分方程 (笔记中跳过了, 详见现代控制理论...), 特征值的正负号会影响微分方程的收敛情况 (原课程第二十三讲, 需要实部为负的特征值保证收敛). 用消元法取得矩阵的主元, 观察主元的符号, 发现:

主元符号的正负数量与特征值的正负数量相同.

再判断大小 (离散系统). 发现 $A-bI$ 的特征值会比原来 $A$ 的特征值 $\lambda$ 小 $b$ . 因此求 $A-bI$ 有多少个正的主元, 就有多少满足 $\lambda - b > 0$ , 就能求出多少个 $A$ 的特征值大于 $b$ .

Positive Definite Matrices

如果对称矩阵是"好矩阵", 则正定矩阵 (Positive Definite Matrices) 是其一个更好的子类. 正定矩阵指特征值均为正数的矩阵 (根据上面的性质有矩阵的主元均为正).

举个例子, $\begin{bmatrix}5&2\\2&3\end{bmatrix}$ , 由行列式消元知其主元为 $5, \displaystyle \frac{11}{5}$ , 于是特征值必然大于零. 果然求特征值有 $\begin{vmatrix}5-\lambda&2\\2&3-\lambda\end{vmatrix}=\lambda^2-8\lambda+11=0, \lambda=4\pm\sqrt 5$ . 正定.