多元统计分析-矩阵复习
特别性质：
行列式
【定理】若 \(A_{p\times q}~,~B_{q\times p}\) , 则
\[\left|\boldsymbol{I}_{p}+\boldsymbol{A B}\right|=\left|\boldsymbol{I}_{q}+\boldsymbol{B} \boldsymbol{A}\right| \]证明:
\[\begin{array}{c} \because\left[\begin{array}{cc} \boldsymbol{I}_{p} & \boldsymbol{A} \\ \mathbf{0} & \boldsymbol{I}_{q} \end{array}\right]\left[\begin{array}{cc} \boldsymbol{I}_{p} & -\boldsymbol{A} \\ \boldsymbol{B} & \boldsymbol{I}_{q} \end{array}\right]=\left[\begin{array}{cc} \boldsymbol{I}_{p}+\boldsymbol{A B} & \mathbf{0} \\ \boldsymbol{B} & \boldsymbol{I}_{q} \end{array}\right] \\ {\left[\begin{array}{cc} \boldsymbol{I}_{p} & \mathbf{0} \\ -\boldsymbol{B} & \boldsymbol{I}_{q} \end{array}\right]\left[\begin{array}{cc} \boldsymbol{I}_{p} & -\boldsymbol{A} \\ \boldsymbol{B} & \boldsymbol{I}_{q} \end{array}\right]=\left[\begin{array}{lc} \boldsymbol{I}_{p} & -\boldsymbol{A} \\ \mathbf{0} & \boldsymbol{I}_{q}+\boldsymbol{A B} \end{array}\right]} \end{array}\]所以上述两等式两边各取行列式，有
\[\left|\boldsymbol{I}_{p}+\boldsymbol{A B}\right|=\left|\boldsymbol{I}_{q}+\boldsymbol{B A}\right| \]
【定理】
\(\left|A^{-1}\right|=\left|A\right|^{-1}\)
矩阵的逆
【定理】若 \(\boldsymbol{A}\) 和 \(\boldsymbol{B}\) 均为 \(p\) 阶非退化方阵，则
\[\left[\begin{array}{cc} \boldsymbol{A} & \mathbf{0} \\ \mathbf{0} & \boldsymbol{B} \end{array}\right]^{-1}=\left[\begin{array}{cc} \boldsymbol{A}^{-1} & \mathbf{0} \\ \mathbf{0} & \boldsymbol{B}^{-1} \end{array}\right]\]
幂等矩阵
【定理】若方阵满足 \(A^2=A\) , 则称 \(A\) 为幂等矩阵
【定理】对称的幂等矩阵称为投影矩阵
特征值和特征向量
【定理】若 \(A_{p \times q}\) ， \(B_{q \times p}\) ，则 \(A B\) 和 \(B A\) 有相同的非零特征值。
证明:\[\begin{array}{l} \because\left[\begin{array}{cc} \boldsymbol{I}_{p} & -\boldsymbol{A} \\ \mathbf{0} & \lambda \boldsymbol{I}_{q} \end{array}\right]\left[\begin{array}{cc} \lambda \boldsymbol{I}_{p} & \boldsymbol{A} \\ \boldsymbol{B} & \boldsymbol{I}_{q} \end{array}\right]=\left[\begin{array}{cc} \lambda \boldsymbol{I}_{p}-\boldsymbol{A B} & \mathbf{0} \\ \lambda \boldsymbol{B} & \lambda \boldsymbol{I}_{q} \end{array}\right],\\ \left[\begin{array}{cc} \boldsymbol{I}_{p} & \mathbf{0} \\ -\boldsymbol{B} & \lambda \boldsymbol{I}_{q} \end{array}\right]\left[\begin{array}{cc} \lambda \boldsymbol{I}_{p} & \boldsymbol{A} \\ \boldsymbol{B} & \boldsymbol{I}_{q} \end{array}\right]=\left[\begin{array}{cc} \lambda \boldsymbol{I}_{p} & \boldsymbol{A} \\ \mathbf{0} & \lambda \boldsymbol{I}_{q}-\boldsymbol{B} \boldsymbol{A} \end{array}\right] \\ \therefore\left|\begin{array}{cc} \lambda \boldsymbol{I}_{p}-\boldsymbol{A B} & \mathbf{0} \\ \lambda \boldsymbol{B} & \lambda \boldsymbol{I}_{q} \end{array}\right|=\left|\begin{array}{cc} \lambda \boldsymbol{I}_{p} & \boldsymbol{A} \\ \mathbf{0} & \lambda \boldsymbol{I}_{q}-\boldsymbol{B} \boldsymbol{A} \end{array}\right| \text { ，即 } \lambda^{q}\left|\lambda \boldsymbol{I}_{p}-\boldsymbol{A B}\right|=\lambda^{p}\left|\lambda \boldsymbol{I}_{q}-\boldsymbol{B} \boldsymbol{A}\right| \end{array}\]\(\boldsymbol{A}\) 和 \(\boldsymbol{A}^{\prime}\) 有相同的特征值。
【定理】若 \(A\) 为实对称矩阵, 则 \(A\) 的特征值全为实数
【定理】实对称矩阵的特征向量互相正交
【定理】
若 A 为非退化矩阵，当且仅当 A 的特征值均不为零;
若 A 为退化矩阵，当且仅当 A 至少有一个特征值为零。
【定理】若 \(A\) 可逆，相应于 \(\lambda_{1}, \ldots, \lambda_{p}\) 的特征向量分别为 \(X_{1}, \ldots, X_{p}\) ，则 \(A^{-1}\) 的 \(p\) 个特征值为 \(\lambda_{1}^{-1}, \ldots, \lambda_{p}^{-1}\) ，相应的特征向量仍可为 \(X_{1}, \ldots, X_{p}\)
【定理】
若 \(A\) 为幂等矩阵，则 \(A\) 的特征值为 0 或 1 ;
若 \(A\) 为正交矩阵，则 \(A\) 的特征值为 1 或 -1 。
对称阵的谱分解
设 \(\boldsymbol{A}_{p \times p}=\boldsymbol{A}^{\prime}\) ，则存在正交阵 \(\boldsymbol{T}\) 及对角矩阵 \(\boldsymbol{\Lambda}=\operatorname{diag}\left(\lambda_{1}, \ldots, \lambda_{p}\right)\) ，使得 \(\boldsymbol{A}=\boldsymbol{T} \boldsymbol{\Lambda} \boldsymbol{T}^{\prime}\)
矩阵的奇异值分解
设 \(\boldsymbol{A}_{p \times p} ， \operatorname{rank}(\boldsymbol{A})=k ，\)则 \(\exists \boldsymbol{U}=\left(\boldsymbol{u}_{1}, \ldots, \boldsymbol{u}_{k}\right)_{p \times k} ， \boldsymbol{V}=\left(\boldsymbol{v}_{1}, \ldots, \boldsymbol{v}_{k}\right)_{p \times k} ， \boldsymbol{\Lambda}=\operatorname{diag}\left(\lambda_{1}, \ldots, \lambda_{p}\right)\) ，使得 \(\boldsymbol{A}\) 可做如下奇异值分解:
\[\boldsymbol{A}=\boldsymbol{U} \boldsymbol{\Lambda} \boldsymbol{V}^{\prime}=\sum_{i=1}^{k} \lambda_{i} \boldsymbol{u}_{i} \boldsymbol{v}_{i}^{\prime} \]\(U\) 是 \(AA^T\) 的特征向量, \(V\) 是 \(A^TA\) 的特征向量
矩阵的迹
投影阵的秩和迹相等
【定理】若 \(A\) 为投影阵, 则 \(tr(A)=rank(A)\)
正定矩阵
正定阵的逆正定
【定理】若 \(A\) 正定, 则 \(A^{-1}\) 正定
一个半正定阵可表示为两个相同等秩的矩阵的乘积
【定理】
设 \(\boldsymbol{A} \geq \mathbf{0}\) 是 \(p\) 阶秩为 \(r\) 的矩阵，则存在一个秩为 \(r\) (即列满秩) 的 \(p \times r\) 矩阵 \(\boldsymbol{B}\) ，使得 \(\boldsymbol{A}=\boldsymbol{B} \boldsymbol{B}^{\prime}\) 。
对称阵正定当且仅当特征值都大于0
设 \(A\) 为 \(p\) 阶对称矩阵，则 \(A>0(\geq0)\)，当且仅当 \(\lambda_i>0 (\geq0),𝑖=1,…,𝑝\)。
半正定矩阵的秩等于正特征值的个数
半正定矩阵正定当且仅当行列式不等于0
设 𝑨≥𝟎，则 𝑨>𝟎 当且仅当 |𝑨|≠0。
矩阵的秩
两个相同矩阵乘积的秩等于原来的秩
\(rank(AA')= rank(A'A)= rank(A)\)
特征值极值问题
【定理1.9.1】(柯西-许瓦兹(Cauchy-Schwarz)不等式) 设 \(\boldsymbol{X}\) 和 \(\boldsymbol{Y}\) 是两个 \(p\) 维向量，则 \(\left(\boldsymbol{X}^{\prime} \boldsymbol{Y}\right)^{2} \leq\left(\boldsymbol{X}^{\prime} \boldsymbol{X}\right)\left(\boldsymbol{Y}^{\prime} \boldsymbol{Y}\right)\) ， " \(=\) " 成立当且仅当 \(\boldsymbol{Y}=c \boldsymbol{X}\) ，这里 \(c\) 为常数。
【定理1.9.2】(推广的柯西-许瓦兹(Cauchy-Schwarz)不等式）设 \(\boldsymbol{B}>\mathbf{0} ，则 \left(\boldsymbol{X}^{\prime} \boldsymbol{Y}\right)^{2} \leq\left(\boldsymbol{X}^{\prime} \boldsymbol{B} \boldsymbol{X}\right)\left(\boldsymbol{Y}^{\prime} \boldsymbol{B}^{-1} \boldsymbol{Y}\right)\) ， " \(=\) " 成立当且仅当 \(\boldsymbol{Y}=c \boldsymbol{B} \boldsymbol{X}\) ，这里 \(c\) 为常数。
【证明】
由平方根矩阵的定义和柯西不等式，取 \(\boldsymbol{B}>0\) ，则 \(\exists \boldsymbol{B}^{1 / 2}>0\) ， \(s.t.\)\[\left[\left(\boldsymbol{B}^{1 / 2} \boldsymbol{X}\right)^{\prime}\left(\boldsymbol{B}^{-1 / 2} \boldsymbol{Y}\right)\right]^{2} \leq\left[\left(\boldsymbol{B}^{1 / 2} \boldsymbol{X}\right)^{\prime}\left(\boldsymbol{B}^{1 / 2} \boldsymbol{X}\right)\right]\left[\left(\boldsymbol{B}^{-1 / 2} \boldsymbol{Y}\right)^{\prime}\left(\boldsymbol{B}^{-1 / 2} \boldsymbol{Y}\right)\right] \]即
\[\left(\boldsymbol{X}^{\prime} \boldsymbol{Y}\right)^{2} \leq\left(\boldsymbol{X}^{\prime} \boldsymbol{B} \boldsymbol{X}\right)\left(\boldsymbol{Y}^{\prime} \boldsymbol{B}^{-1} \boldsymbol{Y}\right) \]
