多元统计分析-矩阵复习

特别性质：

行列式

【定理】若 $A_{p\times q},B_{q\times p}$ , 则

$$|{\mathit{I}}_p+\mathit{A}\mathit{B}|=|{\mathit{I}}_q+\mathit{B}\mathit{A}|$$

证明:

$$\begin{array}{c}\because \left[\begin{array}{cc}{\mathit{I}}_p& \mathit{A}\\ \mathbf{0}& {\mathit{I}}_q\end{array}\right]\left[\begin{array}{cc}{\mathit{I}}_p& -\mathit{A}\\ \mathit{B}& {\mathit{I}}_q\end{array}\right]=\left[\begin{array}{cc}{\mathit{I}}_p+\mathit{A}\mathit{B}& \mathbf{0}\\ \mathit{B}& {\mathit{I}}_q\end{array}\right]\\ \left[\begin{array}{cc}{\mathit{I}}_p& \mathbf{0}\\ -\mathit{B}& {\mathit{I}}_q\end{array}\right]\left[\begin{array}{cc}{\mathit{I}}_p& -\mathit{A}\\ \mathit{B}& {\mathit{I}}_q\end{array}\right]=\left[\begin{array}{lc}{\mathit{I}}_p& -\mathit{A}\\ \mathbf{0}& {\mathit{I}}_q+\mathit{A}\mathit{B}\end{array}\right]\end{array}$$

所以上述两等式两边各取行列式，有

$$|{\mathit{I}}_p+\mathit{A}\mathit{B}|=|{\mathit{I}}_q+\mathit{B}\mathit{A}|$$

---

【定理】
$\left|A^{-1}\right|={\left|A\right|}^{-1}$

---

矩阵的逆

【定理】若 $\mathit{A}$ 和 $\mathit{B}$ 均为 $p$ 阶非退化方阵，则

$${\left[\begin{array}{cc}\mathit{A}& \mathbf{0}\\ \mathbf{0}& \mathit{B}\end{array}\right]}^{-1}=\left[\begin{array}{cc}{\mathit{A}}^{-1}& \mathbf{0}\\ \mathbf{0}& {\mathit{B}}^{-1}\end{array}\right]$$

---

幂等矩阵

【定理】若方阵满足 $A^2=A$ , 则称 $A$ 为幂等矩阵

【定理】对称的幂等矩阵称为投影矩阵

---

特征值和特征向量

【定理】若 $A_{p\times q}$ ， $B_{q\times p}$ ，则 $AB$ 和 $BA$ 有相同的非零特征值。
证明:

$$\begin{array}{l}\because \left[\begin{array}{cc}{\mathit{I}}_p& -\mathit{A}\\ \mathbf{0}& \lambda {\mathit{I}}_q\end{array}\right]\left[\begin{array}{cc}\lambda {\mathit{I}}_p& \mathit{A}\\ \mathit{B}& {\mathit{I}}_q\end{array}\right]=\left[\begin{array}{cc}\lambda {\mathit{I}}_p-\mathit{A}\mathit{B}& \mathbf{0}\\ \lambda \mathit{B}& \lambda {\mathit{I}}_q\end{array}\right],\\ \left[\begin{array}{cc}{\mathit{I}}_p& \mathbf{0}\\ -\mathit{B}& \lambda {\mathit{I}}_q\end{array}\right]\left[\begin{array}{cc}\lambda {\mathit{I}}_p& \mathit{A}\\ \mathit{B}& {\mathit{I}}_q\end{array}\right]=\left[\begin{array}{cc}\lambda {\mathit{I}}_p& \mathit{A}\\ \mathbf{0}& \lambda {\mathit{I}}_q-\mathit{B}\mathit{A}\end{array}\right]\\ \therefore \left|\begin{array}{cc}\lambda {\mathit{I}}_p-\mathit{A}\mathit{B}& \mathbf{0}\\ \lambda \mathit{B}& \lambda {\mathit{I}}_q\end{array}\right|=\left|\begin{array}{cc}\lambda {\mathit{I}}_p& \mathit{A}\\ \mathbf{0}& \lambda {\mathit{I}}_q-\mathit{B}\mathit{A}\end{array}\right|\text{ ，即 }{\lambda }^q|\lambda {\mathit{I}}_p-\mathit{A}\mathit{B}|={\lambda }^p|\lambda {\mathit{I}}_q-\mathit{B}\mathit{A}|\end{array}$$

$\mathit{A}$ 和 ${\mathit{A}}^{\prime }$ 有相同的特征值。

---

【定理】若 $A$ 为实对称矩阵, 则 $A$ 的特征值全为实数

---

【定理】实对称矩阵的特征向量互相正交

---

【定理】
若 A 为非退化矩阵，当且仅当 A 的特征值均不为零;
若 A 为退化矩阵，当且仅当 A 至少有一个特征值为零。

---

【定理】若 $A$ 可逆，相应于 ${\lambda }_1,\dots ,{\lambda }_p$ 的特征向量分别为 $X_1,\dots ,X_p$ ，则 $A^{-1}$ 的 $p$ 个特征值为 ${\lambda }_1^{-1},\dots ,{\lambda }_p^{-1}$ ，相应的特征向量仍可为 $X_1,\dots ,X_p$

---

【定理】
若 $A$ 为幂等矩阵，则 $A$ 的特征值为 0 或 1 ;
若 $A$ 为正交矩阵，则 $A$ 的特征值为 1 或 -1 。

---

对称阵的谱分解

设 ${\mathit{A}}_{p\times p}={\mathit{A}}^{\prime }$ ，则存在正交阵 $\mathit{T}$ 及对角矩阵 $\mathbf{\Lambda }=\mathrm{diag}({\lambda }_1,\dots ,{\lambda }_p)$ ，使得 $\mathit{A}=\mathit{T}\mathbf{\Lambda }{\mathit{T}}^{\prime }$

---

矩阵的奇异值分解

设 ${\mathit{A}}_{p\times p}，\mathrm{rank}(\mathit{A})=k，$则 $\mathrm{\exists }\mathit{U}={({\mathit{u}}_1,\dots ,{\mathit{u}}_k)}_{p\times k}，\mathit{V}={({\mathit{v}}_1,\dots ,{\mathit{v}}_k)}_{p\times k}，\mathbf{\Lambda }=\mathrm{diag}({\lambda }_1,\dots ,{\lambda }_p)$ ，使得 $\mathit{A}$ 可做如下奇异值分解:

$$\mathit{A}=\mathit{U}\mathbf{\Lambda }{\mathit{V}}^{\prime }=\sum _{i=1}^k{\lambda }_i{\mathit{u}}_i{\mathit{v}}_i^{\prime }$$

$U$ 是 $A{A}^T$ 的特征向量, $V$ 是 $A^{T}A$ 的特征向量

矩阵的迹

投影阵的秩和迹相等

【定理】若 $A$ 为投影阵, 则 $tr(A)=rank(A)$

正定矩阵

正定阵的逆正定

【定理】若 $A$ 正定, 则 $A^{-1}$ 正定

---

一个半正定阵可表示为两个相同等秩的矩阵的乘积

【定理】
设 $\mathit{A}\ge \mathbf{0}$ 是 $p$ 阶秩为 $r$ 的矩阵，则存在一个秩为 $r$ (即列满秩) 的 $p\times r$ 矩阵 $\mathit{B}$ ，使得 $\mathit{A}=\mathit{B}{\mathit{B}}^{\prime }$ 。

对称阵正定当且仅当特征值都大于0

设 $A$ 为 $p$ 阶对称矩阵，则 $A>0(\ge 0)$，当且仅当 ${\lambda }_i>0(\ge 0),𝑖=1,\dots ,𝑝$。

---

半正定矩阵的秩等于正特征值的个数

半正定矩阵正定当且仅当行列式不等于0

设 𝑨≥𝟎，则 𝑨>𝟎 当且仅当 |𝑨|≠0。

矩阵的秩

两个相同矩阵乘积的秩等于原来的秩

$rank(A{A}^{\prime })=rank(A^{\prime }A)=rank(A)$

特征值极值问题

【定理1.9.1】(柯西-许瓦兹(Cauchy-Schwarz)不等式) 设 $\mathit{X}$ 和 $\mathit{Y}$ 是两个 $p$ 维向量，则 ${\left({\mathit{X}}^{\prime }\mathit{Y}\right)}^2\le \left({\mathit{X}}^{\prime }\mathit{X}\right)\left({\mathit{Y}}^{\prime }\mathit{Y}\right)$ ， " $=$ " 成立当且仅当 $\mathit{Y}=c\mathit{X}$ ，这里 $c$ 为常数。

【定理1.9.2】(推广的柯西-许瓦兹(Cauchy-Schwarz)不等式）设 $\mathit{B}>\mathbf{0}，\mathrm{则}{\left({\mathit{X}}^{\prime }\mathit{Y}\right)}^2\le \left({\mathit{X}}^{\prime }\mathit{B}\mathit{X}\right)\left({\mathit{Y}}^{\prime }{\mathit{B}}^{-1}\mathit{Y}\right)$ ， " $=$ " 成立当且仅当 $\mathit{Y}=c\mathit{B}\mathit{X}$ ，这里 $c$ 为常数。

【证明】
由平方根矩阵的定义和柯西不等式，取 $\mathit{B}>0$ ，则 $\mathrm{\exists }{\mathit{B}}^{1/2}>0$ ， $s.t.$

$${\left[{\left({\mathit{B}}^{1/2}\mathit{X}\right)}^{\prime }\left({\mathit{B}}^{-1/2}\mathit{Y}\right)\right]}^2\le \left[{\left({\mathit{B}}^{1/2}\mathit{X}\right)}^{\prime }\left({\mathit{B}}^{1/2}\mathit{X}\right)\right]\left[{\left({\mathit{B}}^{-1/2}\mathit{Y}\right)}^{\prime }\left({\mathit{B}}^{-1/2}\mathit{Y}\right)\right]$$

即

$${\left({\mathit{X}}^{\prime }\mathit{Y}\right)}^2\le \left({\mathit{X}}^{\prime }\mathit{B}\mathit{X}\right)\left({\mathit{Y}}^{\prime }{\mathit{B}}^{-1}\mathit{Y}\right)$$