矩阵论补充知识点

知识点1： 当

A

和

B

都是

n

阶方阵时，

A B

行列式的计算满足：

| A B | = | A | | B | = | B | | A | = | B A |

🐹 推广：三个矩阵都是方阵的时候，三个矩阵相乘的行列式等于各个矩阵的行列式相乘。

参考1.1：根据矩阵相乘的行列式等于分别行列式的乘积，这样写对吗？ - 知乎

知识点2： 分块矩阵的行列式：

① 若 $A$ 和 $D$ 是方阵：

| \begin{array}{cc} A & O \\ O & D \end{array} | = | \begin{array}{cc} A & * \\ O & D \end{array} | = | \begin{array}{cc} A & O \\ * & D \end{array} | = | A | | D |

参考2.1：分块矩阵行列式公式 - 趣趣的文章 - 知乎
参考2.2：分块矩阵行列式的性质证明 - CSDN
参考2.3：分块矩阵计算行列式三板斧 - CSDN

知识点3： 分块矩阵(

A

、

B

、

C

和

D

均是方阵)求逆：

① 准对角矩阵

{[\begin{array}{cc} A & O \\ O & D \end{array}]}^{- 1} = [\begin{array}{cc} A^{- 1} & O \\ O & D^{- 1} \end{array}] {[\begin{array}{cc} O & B \\ C & O \end{array}]}^{- 1} = [\begin{array}{cc} O & C^{- 1} \\ B^{- 1} & O \end{array}]

② 分块上三角矩阵/分块下三角

{[\begin{array}{cc} A & B \\ O & D \end{array}]}^{- 1} = [\begin{array}{cc} A^{- 1} & - A^{- 1} B D^{- 1} \\ O & D^{- 1} \end{array}] {[\begin{array}{cc} A & O \\ C & D \end{array}]}^{- 1} = [\begin{array}{cc} A^{- 1} & O \\ - D^{- 1} C A^{- 1} & D^{- 1} \end{array}]

参考3.1：分块矩阵怎么求逆？ - 知乎

知识点4： 方阵

A

的多项式对应的特征值：

① 若 $λ$ 是 $A$ 的特征值，如果 $A$ 可逆．则 $\frac{1}{λ}$ 是 $A^{- 1}$ 的特征值。

② 若 $λ$ 是 $A$ 的特征值， $f (x)$ 是一个多项式，则 $f (λ)$ 是 $f (A)$ 的特征值。

参考4.1：第七课线性代数 - 第 5 章特征值与特征向量

知识点5： 代数重数与几何重数的理解

几 何 重 数 = \dim {v \in V^{n} ∣ (λ I - T) v = 0}

代 数 重 数 = \dim {v \in V^{n} ∣ \exists k \in N (N 是 自 然 数 集), 使 得 {(λ I - T)}^{k} v = 0}

（PS：我暂时认为上面的说法是正确的，想要深入研究并验证上述说法，可能需要彻底把下面的知识点6-Jordan标准型搞明白。）

从上面的几何和代数重数的计算可知，几何重数和代数重数其计算的公式就不一样，只不过是几何重数(一个特征值对应的特征空间)一定是包含在代数重数对应的特征空间中(因为代数重数中 $k$ 可取 $k = 1, 2, 3, \dots$ )，并且可以得到结论：代数重数 $\geq$ 几何重数。

或者我可以以一种不正确的表述方法描述我的理解：

几 何 重 数 \Rightarrow 代 数 重 数 几 何 重 数 ⇍ 代 数 重 数

也即：几何重数是代数重数的充分不必要条件，代数重数是几何重数的必要不充分条件。

参考5.1：如何理解几何重数和代数重数？ - 知乎
参考5.2：为什么几何重数小于等于代数重数？当几何重数小于代数重数时，代数重数究竟有何意义？ - 2422的回答 - 知乎
参考5.3：什么情况下特征值的几何重数小于代数重数？ - 逸风晴的回答 - 知乎
参考5.4：矩阵特征值与矩阵本身的关系是什么？ - 三川啦啦啦的回答 - 知乎

知识点6： Jordan标准型的理解：

（😥 PS：Jordan标准型整体知识十分复杂，暂时无法整理出概述本质的简要表述，因此这里先给出如下8个参考链接，日后如果有时间进行详细学习之后，再做回来补充，或者直接另写一个博客文章链接过去。）

参考6.1：【线性代数】包看包会的若当标准形证明(1)-引言 - bilibili
参考6.2：线性变换的Jordan标准形 - 高铭骏 - 个人博客
参考6.3：#9 Jordan标准型的几何构造、几何意义和构造方法 - 常俊基的文章 - 知乎
参考6.4：为什么要引入“若尔当标准型”？ - 知乎
参考6.5：Jordan标准形的本质是什么？ - 知乎
参考6.6：几何重数小于代数重数的原因分析 - 1313的文章 - 知乎
参考6.7：Jordan标准型的行列式计算方法 - 刻苦用功的大白 - bilibili
参考6.8：Jordan标准型的初等变换计算方法 - DX390609 - bilibili

知识点7： 矩阵二次型：

矩阵的二次型是指一个关于向量 $x \in R^{n}$ 的二次多项式，可以表示为：

q (x) = x^{T} A x = \sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j}

其中 $A$ 是 $n \times n$ 的实对称矩阵， $x = (x_{1}, x_{2}, \dots, x_{n})^{T}$ 是 $n$ 维列向量。 $a_{i j}$ 是矩阵 $A$ 的元素。矩阵 $A$ 是二次型的系数矩阵。

💠 矩阵二次型在数学和工程领域有许多应用。以下是其中的一些：
① 物理学：矩阵二次型可用于描述力学系统和电磁场的动态性质，例如能量函数、势能函数等可以表示为二次型形式，而矩阵二次型的特征值和特征向量也在物理学中有很多应用。
② 统计学：矩阵二次型可用于多元统计分析中的方差分析、协方差矩阵、线性判别分析和主成分分析等。
③ 优化问题：矩阵二次型可用于优化问题的求解，例如线性规划、二次规划、整数规划和非线性规划等。
④ 信号处理：矩阵二次型可用于信号处理领域的自适应滤波和卷积运算等。
⑤ 机器学习：矩阵二次型在机器学习领域中被广泛应用，例如支持向量机（SVM）就是利用二次型来构造分类器的，而通过对二次型的特征分解可以得到数据的主成分，进而对数据进行降维处理。

🌂 正定二次型：

正定二次型是指二次型函数的取值恒为正数，即对于二次型函数 $Q (x) = x^{T} A x$ ，对于任意的非零向量 $x \in R^{n}$ ，都有 $Q (x) > 0$ 成立的情况。其中 $A$ 是 $n \times n$ 的实对称正定矩阵。

👂 研究正定二次型的意义在于它在数学和应用中具有广泛的应用。以下是一些重要的应用：
① 优化问题：正定二次型在优化问题中发挥着重要作用。例如，在约束为线性的最优化问题中，如果目标函数是正定二次型，那么该问题的最优解可以通过求解线性方程组来得到。
② 物理学：正定二次型在物理学中具有广泛应用。例如，在势能函数中，正定二次型可以表示系统的稳定性。
③ 统计学：正定二次型在统计学中有着广泛应用，特别是在多元正态分布中。正定二次型可以用来描述协方差矩阵的特性。
④ 机器学习：在机器学习中，正定二次型被广泛应用于支持向量机、正则化等领域。例如，在支持向量机中，正定二次型可以用来定义核函数，进而将高维数据映射到低维空间。

🎁 正定二次型在几何上有以下理解：
一个 $n$ 维向量 $x$ ，它在二次型 $Q (x)$ 作用下得到的值 $Q (x)$ 可被视为向量 $x$ 的长度的平方，即 $Q (x) = | x |^{2}$ ，其中 $| \cdot |$ 表示向量的模长。

如果二次型 $Q (x)$ 是正定的，那么它在 $x$ 取遍所有的非零向量时所得到的值都大于零，即 $Q (x) > 0$ 。这意味着对于所有的非零向量 $x$ ，它在 $Q (x)$ 作用下的结果都是正数，也就是说，向量 $x$ 的长度的平方都大于零，即 $| x |^{2} > 0$ ，即向量 $x$ 的长度都大于零。因此，正定二次型可以被视为一种将向量长度映射到正实数上的函数，它在几何上对应着一个内积，即 $Q (x) = x^{T} A x$ ，其中 $A$ 是一个对称正定矩阵， $x^{T}$ 表示向量 $x$ 的转置。

因此，正定二次型在几何上的意义就是它定义了一个向量空间上的内积，它可以被用来描述向量的长度、角度、投影等几何性质，以及向量之间的正交性等性质。在实际应用中，正定二次型经常被用来表示优化问题的目标函数，因为它具有良好的数学性质，例如可以使用梯度下降等优化算法来求解极小值。

在几何上，正定二次型可以理解为一个椭圆或者一个超曲面，在每个点的函数值都是正数。具体来说，对于一个 $n$ 元正定二次型 $Q (x_{1}, x_{2}, \dots, x_{n}) = \sum_{i = 1}^{n} \sum_{j = 1}^{n} a_{i j} x_{i} x_{j}$ ，可以将它写成向量形式，即 $Q (x) = x^{T} A x$ ，其中 $x$ 是一个 $n$ 维列向量， $A$ 是一个 $n \times n$ 的对称矩阵， $A = (a_{i j})$ 。

因为 $A$ 是对称矩阵，所以它可以通过正交对角化变成一个对角矩阵 $D$ ，即 $A = P^{T} D P$ ，其中 $P$ 是一个正交矩阵，即 $P^{T} P = P P^{T} = I$ ， $D$ 是一个对角矩阵，对角线上的元素为 $A$ 的特征值。因此，原来的二次型可以写成：

Q(x)=x T Ax=xT PT DPx=(Px)T D(Px)

令 $y = P x$ ，则原来的二次型可以写成 $y^{T} D y$ 的形式，其中 $y$ 的每个分量是 $x$ 在正交基 $P$ 下的坐标， $D$ 是一个对角矩阵，它的对角线上的元素是原二次型的特征值。因为原来的二次型是正定的，所以 $D$ 的每个特征值都大于零，因此 $y^{T} D y$ 在每个点的函数值都是正数。

从几何角度来看， $y^{T} D y$ 对应的是一个椭圆或者一个超曲面，而且在每个点的函数值都是正数。这个椭圆或超曲面的形状和大小与矩阵 $A$ 的特征值有关。具体地，如果 $A$ 的所有特征值都很大，则对应的椭圆或超曲面就很扁，而且长轴和短轴的比例比较大；如果 $A$ 的某些特征值很小，那么对应的椭圆或超曲面就很圆。这种几何意义有助于理解正定二次型的性质，以及在优化问题中的应用。

参考链接7.1：二次型的意义是什么？有什么应用？ - 知乎
参考链接7.2：记忆常用公式 - 博客侦探 - 博客园
参考链接7.3：深度科普度规与时空(上)：从二次型的几何直观说起 - PeiLingX的文章 - 知乎
参考链接7.4：二次型和特征值 - WHL的文章 - 知乎
参考链接7.5：线性代数-6.二次型 - 钱辰的文章 - 知乎

知识点8： 正交矩阵/对称矩阵/酉矩阵：

空间	实空间 $R$		复(酉)空间 $C$
变换	正交变换	$(x, x) = (T x, T x) ⟺ (x, y) = (T x, T y)$	酉变换	$(x, x) = (T x, T x)$
变换	对称变换	$(T x, y) = (x, T y)$	酉对称变换(Hermit变换)	$(T x, y) = (x, T y)$
矩阵	正交矩阵	$Q^{T} Q = I ⟺ Q^{T} = Q^{- 1}$	酉矩阵	$A^{H} A = A A^{H} = I$
	实对称矩阵	$A^{T} = A$	厄米特(Hermite)矩阵	$A^{H} = A$
			正规矩阵	$A^{H} A = A A^{H}$

正交变换不会改变向量间的正交性，如果 $u$ 和 $v$ 正交，则 $T (u)$ 和 $T (v)$ 仍然是正交的。

知识点9： 欧氏空间与酉空间一些结论小结：

⓪ 过渡矩阵(我个人又称为基变换矩阵)：旧基到新基的转换矩阵；度量矩阵：欧式空间的一组基之间的内积作为元素构成的矩阵。

① 欧式空间两个不同基对应的度量矩阵 $A$ 和 $B$ 是合同的，即 $A ≃ B$ ；

② 一个基为标准正交基的充要条件是它的度量矩阵为单位矩阵；

③ 一个矩阵 $Q$ 为正交矩阵的充要条件为它的列向量是两两相互正交的单位向量。

④ 正交矩阵非奇异、其逆矩阵仍是正交矩阵、两个正交阵相乘仍是正交阵；

⑤ 欧氏空间一个变换 $T$ 为正交变换的充要条件是 $T$ 对应于标准正交基下的矩阵是正交矩阵；

⑥ 正交变换在标准正交基下的矩阵才是正交矩阵，在别的基下不一定是正交矩阵；

⑦ 两个标准正交基之间的过渡矩阵是正交矩阵。

⑧ 欧式空间一个变换 $T$ 为实对称变换的充要条件是 $T$ 对于标准正交基的矩阵是实对称矩阵；

⑨ 实对称矩阵的特征值均为实数、实对称矩阵不同特征值对应的特征向量正交；

⑩ 酉空间的正交变换被称为“酉变换”，酉变换在酉空间的标准正交基下的矩阵 $A$ 是酉矩阵，即满足 $A^{H} A = A A^{H} = I$ ；

⑪ 酉矩阵的逆矩阵是酉矩阵、两个酉矩阵乘积是酉矩阵；

⑫ 酉空间的对称变换被称为“Hermite变换/酉对称变换”，Hermite变换在酉空间的标准正交基下的矩阵 $A$ 是Hermite矩阵，即满足 $A^{H} = A$ ；

⑬ Hermite矩阵的特征值均为实数、Hermite矩阵不同特征值对应的特征向量正交；

⑭ Schur定理：任意 $n$ 阶方阵一定(酉)相似于上/下三角矩阵

欧式空间中：设 $A \in R^{n \times n}$ 的特征值为 $λ_{1}, λ_{2}, \dots, λ_{n}$ ，且 $λ_{i} \in R$ ，则一定存在正交矩阵 $Q$ 使得：

Q^{- 1} A Q = Q^{T} A Q = [\begin{array}{cccc} λ_{1} & * & \dots & * \\ λ_{2} & \dots & * \\ ⋱ & ⋮ \\ λ_{n} \end{array}]

酉空间中：设 $A \in C^{n \times n}$ 的特征值为 $λ_{1}, λ_{2}, \dots, λ_{n}$ ，则一定存在酉矩阵 $P$ 使得：

P^{- 1} A P = P^{H} A P = [\begin{array}{cccc} λ_{1} & * & \dots & * \\ λ_{2} & \dots & * \\ ⋱ & ⋮ \\ λ_{n} \end{array}]

⑮ $n$ 阶方阵(酉)相似于对角矩阵的充要条件： $A$ 为正规矩阵，即 $A^{H} A = A A^{H}$

设 $A \in R^{n \times n}$ ，且 $A$ 的特征值都是实数，则 $A$ 正交相似于对角矩阵的充要条件是 $A$ 为正规矩阵(在实数域就是实对称矩阵 $A$ ， $A$ 有n个线性无关的特征向量)；
设 $A \in C^{n \times n}$ ，则 $A$ 相似于对角矩阵的充要条件是 $A$ 为正规矩阵。

⑯ 实对称矩阵一定能正交相似于对角矩阵。

⑰ $T$ 为欧式空间的对称变换，则一定能找到一组基使 $T$ 在该基下的矩阵为对角矩阵。

⑱ 复对称矩阵与实对称矩阵的显著区别之一是不一定能对角化。

⑲ 任何 $n$ 阶方阵都可以相似于一个Jordan标准形矩阵。

⑳ 实矩阵的复特征值一定是成对共轭出现的。

知识点10： 常见向量范数和矩阵范数

	向量范数	矩阵范数	关系	关系
0-范数	$‖ x ‖_{0} = 非零元素个数$
1-范数	$‖ x ‖_{1} = \sum_{i} \| x_{i} \|$	$‖ A ‖_{1} = max_{j} \sum_{i = 1}^{m} \| a_{i j} \|$	从属范数；相容；	从属范数的定义： $‖ A ‖ = max_{‖ x ‖_{V} = 1} ‖ A x ‖_{V}$ 此时 $‖ \cdot ‖$ 与向量范数 $‖ \cdot ‖_{V}$ 相容。由于是从属范数，因此单位阵 $I$ 的这三种范数均等于1： $‖ I ‖_{1} = ‖ I ‖_{2} = ‖ I ‖_{\infty} = 1$
2-范数	$‖ x ‖_{2} = \sqrt{\sum_{i} \| x_{i} \|^{2}}$	$‖ A ‖_{2} = \sqrt{λ_{max}}$ ， $λ_{max}$ 是矩阵 $A^{H} A$ 的最大特征值
$\infty$ -范数	$‖ x ‖_{\infty} = max \| x_{i} \|$	$‖ A ‖_{\infty} = max_{i} \sum_{j = 1}^{n} \| a_{i j} \|$
Lp范数	$‖ x ‖_{p} = {(\sum_{i} \| x_{i} \|^{p})}^{\frac{1}{p}}$
$m_{1}$ 范数		$‖ A ‖_{m_{1}} = \sum_{i = 1}^{m} \sum_{j = 1}^{n} \| a_{i j} \|$
$m_{2}$ 范数 (F-范数)		$‖ A ‖_{m_{2}} = ‖ A ‖_{F} = {(\sum_{i = 1}^{m} \sum_{j = 1}^{n} \| a_{i j} \|^{2})}^{\frac{1}{2}} = {(tr (A^{H} A))}^{\frac{1}{2}}$
$m_{\infty}$ 范数		$‖ A ‖_{m_{\infty}} = n \cdot max_{i, j} \| a_{i j} \|$

知识点11： 级数的收敛性

🍺 正项级数及其判敛法（重点部分）

在级数理论中，正项级数是非常重要的一种，对一般级数的研究有时可以通过对正项级数的研究来获得结果，就像非负函数广义积分和一般广义积分的关系一样。
所谓正项级数是这样一类级数：级数的每一项都是非负的。如果级数的各项都是负数，则它乘以-1后就得到一个正项级数，它们具有相同的敛散性。
正项级数收敛性的判别方法主要包括：利用部分和数列判别法、比较原则、比式判别法、根式判别法、积分判别法以及拉贝尔判别法等。
设 $\sum_{i = 1}^{\infty} a_{n}$ 与 $\sum_{i = 1}^{\infty} b_{n}$ 为正项级数，其收敛性判断如下：

比较审敛法
- 基本形式
  - 若 $a_{n} \leq b_{n}$ 且 $\sum_{i = 1}^{\infty} b_{n}$ 收敛，则 $\sum_{i = 1}^{\infty} a_{n}$ 也收敛。
  - 若 $a_{n} \geq b_{n}$ 且 $\sum_{i = 1}^{\infty} b_{n}$ 发散，则 $\sum_{i = 1}^{\infty} a_{n}$ 也发散。
- 极限形式
  - 设 $lim_{n \to \infty} \frac{a_{n}}{b_{n}} = l (0 < l < + \infty)$ ，则级数 $\sum_{i = 1}^{\infty} a_{n}$ 与 $\sum_{i = 1}^{\infty} b_{n}$ 的敛散性相同。
- 推论
  - 设 $lim_{n \to \infty} \frac{a_{n}}{b_{n}} = 0$ ，且 $\sum_{i = 1}^{\infty} b_{n}$ 收敛，则 $\sum_{i = 1}^{\infty} a_{n}$ 也收敛。
  - 设 $lim_{n \to \infty} \frac{a_{n}}{b_{n}} = + \infty$ ，且 $\sum_{i = 1}^{\infty} b_{n}$ 发散，则 $\sum_{i = 1}^{\infty} a_{n}$ 也发散。
比值审敛法
- 设 $lim_{n \to \infty} \frac{a_{n + 1}}{a_{n}} = ρ$
  - 若 $ρ < 1$ ，级数 $\sum_{i = 1}^{\infty} a_{n}$ 收敛；
  - 若 $ρ > 1$ ，级数 $\sum_{i = 1}^{\infty} a_{n}$ 发散；
  - 若 $ρ = 1$ ，级数 $\sum_{i = 1}^{\infty} a_{n}$ 可能收敛、可能发散，需另外判断。
根值审敛法
- 设 $lim_{n \to \infty} \sqrt[n]{a_{n}} = ρ$
  - 若 $ρ < 1$ ，级数 $\sum_{i = 1}^{\infty} a_{n}$ 收敛；
  - 若 $ρ > 1$ ，级数 $\sum_{i = 1}^{\infty} a_{n}$ 发散；
  - 若 $ρ = 1$ ，级数 $\sum_{i = 1}^{\infty} a_{n}$ 可能收敛、可能发散，需另外判断。

🎨 幂级数的收敛半径和收敛域
① 函数项级数
定义： $\sum_{n = 1}^{\infty} u_{n} (x) = u_{1} (x) + u_{2} (x) + \dots + u_{n} (x) + \dots$
收敛点 $x_{s}$ ：使函数项级数 $\sum_{n = 1}^{\infty} u_{n} (x_{s})$ 收敛的点。
收敛点 $x_{f}$ ：使函数项级数 $\sum_{n = 1}^{\infty} u_{n} (x_{f})$ 发散的点。
收敛域： $D = {x_{s} ∣ \sum_{n = 1}^{\infty} u_{n} (x_{s}) 收敛}$ ，即所有收敛点的集合。

② 幂级数及其收敛性
定义： $\sum_{n = 0}^{\infty} a_{n} x^{n} = a_{0} + a_{1} x + \dots + a_{n} x^{n} + \dots$ 。
收敛半径：若 $lim_{n \to \infty} \frac{| a_{n + 1} |}{| a_{n} |} = ρ$ ，则有：
1° 当 $0 < ρ < + \infty$ 时，收敛半径为 $R = \frac{1}{ρ}$ ；
2° 当 $ρ = 0$ 时，收敛半径为 $R = + \infty$ ；
3° 当 $ρ = + \infty$ 时，收敛半径为 $R = 0$ 。

在实际应用中，常常用 $R = lim_{n \to \infty} \frac{| a_{n} |}{| a_{n + 1} |}$ 直接计算幂级数 $\sum_{n = 0}^{\infty} a_{n} x^{n}$ 的收敛半径。另一方面，利用正项级数的根值判别法，收敛半径 $ρ$ 也可以用极限 $lim_{n \to \infty} \sqrt[n]{| a_{n} |}$ 来计算

🍭 绝对收敛级数与条件收敛级数：

绝对收敛和条件收敛的本质区别在于：是否满足“黎曼重排定理”。

黎曼重排定理：
- 如果一个实数项无穷级数若是条件收敛的，它的项在重新排列之后，重新排列后的级数收敛的值可能会收敛到任何一个给定的值，甚至发散；
- 而对于一个绝对收敛级数，它的项在重新排列之后，收敛性不变，并且级数和不变。

此定理说明，我们不能随意排列一个级数，并且在级数求和时候尽量不能随机排列更不能轻易加括号(一个例子就是 $(- 1)^{n}$ 这个不收敛级数，如果在计算该级数和时加括号，则可能会导致得到一个收敛级数和)。

收敛半径。。。。。。。。。

转载11.1：绝对收敛级数与条件收敛级数有何本质区别？ - 达瓦里希也喝脉动的回答 - 知乎
 https://blog.csdn.net/HGGshiwo/article/details/105209452
数分笔记——6种数项级数的收敛性证明的基本方法 - Fiddie的文章 - 知乎
 高等数学十：（1）无穷级数 - Lawliet的文章 - 知乎
 高等数学十：（4）函数项级数的一致收敛 - Lawliet的文章 - 知乎

知识点12： 矩阵相关多项式的定义：

① 方阵 $A$ 的多项式 $f (A)$ ：

f (t) = \sum_{i = 0}^{n} a_{i} t^{i} ⟺ f (A) = a_{0} I + a_{1} A + \dots + a_{n} A^{n} = \sum_{i = 0}^{n} a_{i} A^{i}

② 方阵 $A$ 的特征矩阵：

A (λ) = λ I - A

③ 方阵 $A$ 的特征多项式 $φ (λ)$ ：

φ (λ) = det (λ I - A) = | λ I - A |

④ 方阵 $A$ 的特征方程：特征多项式 $φ (λ) = 0$

φ (λ) = det (λ I - A) = | λ I - A | = 0

⑤ 方阵 $A$ 的零化多项式 $ψ (λ)$ ：
若存在一个多项式：

ψ (λ) = a_{0} + a_{1} λ + \dots + a_{m} λ^{m}

使得

ψ (A) = a_{0} I + a_{1} A + \dots + a_{m} A^{m} = O

则 $ψ (λ)$ 就是 $A$ 的一个零化多项式。

📢 注意：凯莱-哈密顿(Cayley-Hamilton)定理：可以利用多项式长除法用于方阵幂次的计算 $A^{n} = ?$ ，其中 $n$ 是一个很大的数。

方阵 $A$ 特征多项式 $φ (λ)$ 是一个零化多项式，因为 $φ (A) = O$ 。

⑥ 方阵 $A$ 的最小多项式 $m (λ)$ ：
对于一个矩阵 $A$ ，称它首项系数为1的次数最低的零化多项式是 $A$ 的最小多项式。(关于最小多项式的较为详细知识请看知识点13)。

参考12.1：多项式矩阵 - 维基百科
参考12.2：矩阵多项式 - 维基百科
参考12.3：矩阵多项式与多项式矩阵 - 豆丁文档
参考12.4：零化多项式 - 中文数学Wiki
参考12.5：【矩阵论笔记】零化多项式 - CSDN
参考12.6：最小多项式 - 中文数学Wiki

知识点13： 方阵

A

的最小多项式

对于一个矩阵 $A$ ，我们称它首项系数为1的次数最低的零化多项式是 $A$ 的最小多项式，记作 $m (λ)$ ，显然有 $m (A) = O$ 。

🚩 $m (λ)$ 的几个性质：
① 最小多项式是零化多项式的因子；
② 相似矩阵具有相同的最小多项式，但是最小多项式相同的矩阵不一定相似，这一点和特征多项式是一样的，特征多项式相同的矩阵也不一定相似；
③ 最小多项式保留了特征根因式，即最小多项式整除特征多项式。

⭕ 最小多项式 $m (λ)$ 的求法：
① 第一种方法：算出这个矩阵的Jordan标准型，设其特征值分别为 $λ_{1}, λ_{2}, \dots, λ_{k}$ 。如果Jordan标准型中以 $λ_{i}$ 为对角元的Jordan块的最大阶数为 $t_{i}$ ，那么这个矩阵的最小多项式为：

m (λ) = (λ - λ_{1})^{t_{1}} \times (λ - λ_{2})^{t_{2}} \times \dots \times (λ - λ_{k})^{t_{k}}

② 第二种方法：判断 $A$ 是否可以被 $I$ 线性表示，如果不能，判断 $A^{2}$ 是否可以被 $A$ 和 $I$ 线性表示，如果不能，判断 $A^{3}$ 是否可以被 $A^{2}$ 、 $A$ 、 $I$ 先行表示。以此类推，直到出现某个 $k$ ，使得 $A^{k}$ 可以被 $A^{k - 1}$ 、···、 $A$ 、 $I$ 线性表示，不妨设：

A^{k} = a_{k - 1} A^{k - 1} + \dots + a_{1} A + a_{0} I

那么其最小多项式 $m (λ)$ 为：

m (λ) = λ^{k} - a_{k - 1} λ^{k - 1} - \dots - a_{1} λ + a_{0}

例如：如果 $A^{2} = 2 A - I$ ，那么A的最小多项式为 $m (λ) = λ^{2} - 2 λ + 1$

③ 第三种方法：矩阵 $A$ 的最小多项式就是 $A$ 的特征矩阵的第 $n$ 个不变因子 $d_{n} (λ)$ ，这是求解一个矩阵的最小多项式的有效通法。

④ 第四种方法：矩阵的最小多项式为最后一个不变因子。由Smith标准型(不变因子)的定义，最后一个不变因子是所有初等因子的最小公倍式，而最小多项式是所有初等因子的最小公倍式，则最小多项式是最后一个不变因子。最小多项式最高次幂是一次，由前一个不变因子整除后一个不变因子，前面的所有不变因子是一次因式的乘积，即不变因子相乘得到的特征多项式都是一次因式的乘积 r级Jordan块的最小多项式是初等因子，所以在大范围内，Jordan标准型的最小多项式是所有初等因子的乘积。

参考13.1：最小多项式 - 中文数学Wiki
参考13.2：矩阵的最小多项式怎么求？ - Morant的回答 - 知乎
参考13.3：这个矩阵怎么求最小多项式？ - 悲伤的阿木木的回答 - 知乎
参考13.4：为什么矩阵的最小多项式为最后一个不变因子 - 百度知道
参考13.5：求极小多项式举例 - CSDN
参考13.6：「管理数学基础」1.5 矩阵理论：方阵的行列式因子、不变因子、初等因子：高等代数中给定一个矩阵求它的不变因子主要就两种方法：化成Smith标准型、求出行列式因子。

知识点14： 几种特殊子空间：

① 不变子空间： $T$ 是 $V^{n}$ 上一个线性变换， $V_{1}$ 是 $V^{n}$ 的一个子空间，若 $x \in V_{1}$ ，有 $T x \in V_{1}$ ，则 $V_{1}$ 是线性变换 $T$ 的一个不变子空间。
不变子空间的一些性质：
a. 零空间和整个空间都是 $T$ 的不变子空间，即 $T (\vec{0}) = \vec{0}$ 和 $T (V) = V$ ；
b. 交集和并集仍是 $T$ 的不变子空间。即如果 $U_{1}, U_{2}$ 是 $T$ 的不变子空间，则 $U_{1} \cap U_{2}$ 和 $U_{1} \cup U_{2}$ 也是 $T$ 的不变子空间；
c. 如果 $U$ 和 $W$ 都是 $T$ 的不变子空间，则 $U + W$ 也是 $T$ 的不变子空间；
d. 如果 $U$ 是 $T$ 的不变子空间，则 $T (U)$ 也是 $T$ 的不变子空间。这条性质可以推广到 $T^{n} (U)$ 仍是 $T$ 的不变子空间；
e. 对于每个特征值 $λ$ ，其对应的特征子空间是 $T$ 的不变子空间。

② 特征子空间： $V^{n}$ 上一个线性变换 $T$ 的属于特征值 $λ_{i}$ 的所有特征向量+加零向量构成的子空间，即：

V_{λ_{i}} = {x ∣ T x = λ_{i} x, x \in V^{n}}

特征子空间的一些性质：
a. 特征子空间一定是不变子空间，一个线性变换 $T $ ，其特征值 $λ$ 对应的特征子空间是 $T $ 的不变子空间，即其中的向量经 $T $ 作用后仍在该子空间内。
b. 不同特征值对应的特征子空间是两两直和的。因为特征向量属于不同特征值对应的特征子空间之间线性无关，故它们的直和构成整个向量空间。
c. 如果一个线性变换 $T$ 是对称矩阵，那么其特征子空间是正交的。也就是说，属于不同特征值的特征向量是正交的。
d. 把特征子空间 $V_{λ_{i}}$ 的维数也称作对应特征根 $λ_{i}$ 的几何重数，若一个矩阵的几何重数等于代数重数，就称这个矩阵是非亏损的，反之称为亏损的。

参考14.1：不变子空间 - 中文数学Wiki
参考14.2：高等代数中的各种空间 - 柿子君的文章 - 知乎

知识点15： 线性方程组有解：

一个线性方程组仅有零解的充分必要条件是该线性方程组的系数矩阵的行向量(或列向量)线性无关，即矩阵的秩等于未知量的个数。

具体来说，设线性方程组为 $A x = b$ ，其中 $A$ 是一 $m \times n$ 的矩阵， $x$ 和 $b$ 是 $n$ 维和 $m$ 维列向量。则该线性方程组仅有零解的充要条件为 $rank (A) = n$ ，即 $A$ 的列向量线性无关。

知识点16： 谱半径的理解

📜 请问矩阵的谱半径该如何理解，谱半径有没有几何意义?

矩阵的谱半径可以理解为矩阵的所有特征值的绝对值的最大值。具体地，设 $A$ 是一个 $n \times n$ 的矩阵，它的特征值为 $λ_{1}, λ_{2}, \dots, λ_{n}$ ，则 $A$ 的谱半径定义为：

ρ (A) = max_{i} | λ_{i} | (i = 1, 2, \dots, n)

从几何意义上来看，矩阵的谱半径可以描述线性变换的“最大拉伸率”。设 $A$ 是一个 $n$ 维线性变换，如果对于所有向量 $x \in R^{n}$ ，有 $| A x | \leq K | x |$ ，其中 $K$ 是一个常数，则称 $K$ 是 $A$ 的一个上界。而 $A$ 的谱半径 $ρ (A)$ 就是所有上界中最小的一个。也就是说，矩阵的谱半径描述了 $A$ 的最大拉伸率，即所有向量长度的最大变化率。

需要注意的是，矩阵的谱半径并不一定等于矩阵的模长的最大值。矩阵的模长定义为 $| A | = max_{| x | = 1} | A x |$ ，它表示在所有长度为 $1$ 的向量上， $A$ 的最大拉伸率。而矩阵的谱半径是所有特征值的绝对值的最大值，因此它只和 $A$ 的特征值有关，而不是和 $A$ 的模长有关。

📚 矩阵谱半径有什么应用呢？

矩阵谱半径在控制理论、信号处理、网络分析、优化等领域都有广泛的应用。

① 在控制理论中，矩阵谱半径可以用于判断系统的稳定性。当矩阵的谱半径小于1时，系统是稳定的，否则是不稳定的。

② 在信号处理中，矩阵谱半径可以用于信号去噪。通常情况下，信号是由一个稳定的矩阵变换得到的，因此矩阵的谱半径可以用于判断信号的稳定性。如果信号的谱半径较小，可以通过对信号进行矩阵变换，使得信号的谱半径变小，从而实现信号去噪的目的。

③ 在网络分析中，矩阵谱半径可以用于衡量网络的中心性。一些重要的网络指标，如中心性和影响力等，可以通过矩阵谱半径来计算。

④ 在优化中，矩阵谱半径可以用于判断优化算法的收敛性。如果优化算法收敛，那么矩阵的谱半径应该小于1，否则算法不收敛。因此，可以根据矩阵谱半径的大小来选择合适的优化算法。

📀 谱半径的一些性质：

① 矩阵 $A$ 的2范数又可表示为谱半径的形式：

‖ A ‖_{2} = \sqrt{λ_{max}} ， λ_{max} 是 矩 阵 A^{H} A 的 最 大 特 征 值 ⟺ ‖ A ‖_{2} = \sqrt{ρ (A^{H} A)} = \sqrt{ρ (A A^{H})}

特别的，若 $A$ 是正规矩阵，则有 $‖ A ‖_{2} = ρ (A) = max_{i} | λ_{i} |$ 。

② 设 $A \in C^{n \times n}$ ，则对 $C^{n \times n}$ 上的任意矩阵范数 $‖ \cdot ‖$ 都有：

ρ (A) \leq ‖ A ‖

并且 $ρ (A)$ 是 $A$ 的所有范数的下确界。

③ 若对 $C^{n \times n}$ 上的某一矩阵范数 $‖ \cdot ‖_{M}$ 有 $‖ A ‖_{M} < 1 ⟺ ρ (A) < 1$ ，则 $I - A$ 就是可逆的。

④ 对于任意的 $n$ 阶矩阵 $A$ ，其谱半径 $ρ (A)$ 不超过其所有元素的模的最大值，即 $| ρ (A) | \leq | A |_{\infty}$ 。

⑤ 如果矩阵 $A$ 是幂零矩阵，即存在正整数 $k$ ，使得 $A^{k} = O$ ，那么 $ρ (A) = 0$ 。

⑥ 对于任意两个 $n$ 阶矩阵 $A$ 和 $B$ ，有 $ρ (A B) \leq ρ (A) ρ (B)$ 。

⑦ 对于任意 $n$ 阶方阵 $A$ ，其谱半径等于 $A$ 的转置矩阵 $A^{T}$ 的谱半径，即 $ρ (A) = ρ (A^{T})$ 。

⑧ 如果 $A$ 是一个实对称矩阵，那么 $ρ (A)$ 等于 $A$ 的模最大的特征值的模，即 $ρ (A) = | λ_{max} (A) |$ 。

⑨ 对于任意 $n$ 阶矩阵 $A$ ，都有 $ρ (A) \geq \frac{\sum_{i = 1}^{n} | a_{i, i} |}{n}$ ，其中 $a_{i, i}$ 是矩阵 $A$ 的第 $i$ 个对角元素。

参考16.1：对范数、矩阵谱半径的通俗化理解 - CSDN
参考16.2：向量与矩阵的范数
参考16.3：「管理数学基础」1.7 矩阵理论：方阵特征值估计、圆盘定理、谱与谱半径

知识点17： 矩阵的常见分解：

LU分解

	具体内容	备注
定义及形式	对于n阶方阵 $A$ ，若存在n阶单位下三角矩阵 $L$ 和n阶上三角形矩阵 $U$ ，使得 $A = L U$ ，则称其为矩阵的LU分解，也称为Doolittle分解。	$L$ 是单位下三角矩阵， $U$ 为非奇异上三角矩阵；
计算方法	Gauss消元法
计算方法	待定系数法
存在性	矩阵 $A \in R^{n \times n}$ 存在的充要条件是 $A$ 的所有顺序主子式都非奇异(行列式非零)	矩阵不一定存在LU分解
唯一性	若矩阵存在LU分解，其分解不是唯一的(因为 $A = L U = L D^{- 1} D U = \hat{L} \hat{U}$ ，注意，考虑此种情况时， $\hat{L}$ 和 $\hat{U}$ 均不是单位上/下三角，但若其中一个是单位上/下三角，则分解是唯一的)	但有如下定理：当且仅当 $A$ 的顺序主子式 $Δ_{k} \neq 0$ 时， $A$ 可以唯一的分解为 $A = L D U$ ，其中 $L$ 和 $U$ 分别是单位上和单位下三角， $D$ 是对角矩阵， $D = diag (d_{1}, d_{2}, \dots, d_{n})$ ，其中 $d_{k} = \frac{Δ_{k}}{Δ_{k - 1}}$
应用	可用于求解线性方程组；也可以用于矩阵求逆；
其他说明	说明1：虽然定义是可逆方阵(非奇异矩阵)，但是LU分解不但可以应用于方阵也可应用于非方阵，LU分解不但可以用于非奇异矩阵，还可以用于奇异矩阵。	参考16.5
其他说明	说明2：条件更弱的LU分解定理(选主元LU分解) 在LU分解算法中，称 $a_{k k}^{(k - 1)}$ 为主元，若 $a_{k k}^{(k - 1)} = 0$ ，则算法无法进行下去；此外若 $\| a_{k k}^{(k - 1)} \|$ 值非常小，则因为舍入误差导致结果误差非常大。可通过选主元来解决此问题。选主元需要引入置换矩阵。	选主元LU分解也不是一定存在的；详细内容参考16.1。

QR分解

	具体内容	备注
定义及形式	1、若实(复)非奇异矩阵 $A$ 能够化成正交(酉)矩阵 $Q$ 与实(复)非奇异上三角矩阵 $R$ 的乘积，即 $A = Q R$ ； 2、设 $A$ 是 $m \times n$ 实(复)矩阵，且其 $n$ 个列线性无关(列满秩)，则 $A$ 可以分解为 $A_{m \times n} = Q_{m \times n} R_{n \times n}$ ； 3、奇异阵也可以通过Givens、Householder变换法化为 $Q R$ 的形式，但是所化成的上三角矩阵是奇异的。	定义2中，其中 $Q$ 是实(复)矩阵，且满足 $Q^{T} Q = I$ 或 $Q^{H} Q = I$ (说明 $Q$ 的列向量两两相互正交)， $R$ 是 $n$ 阶非奇异上三角矩阵。
计算方法	1、施密特(Schmidt)正交化方法
	2、Givens变换方法
	3、Householder变换方法
存在性	实际上任意矩阵都是可以进行QR分解的，但是我们一般考虑非奇异方阵和列满秩的矩阵求解QR分解。
唯一性	QR分解不唯一，但是对于 $n$ 阶实(复)非奇异方阵，除去相差一个对角元素的模长全等于1的对角矩阵因子 $D$ 外不考虑，可认为QR分解唯一。	如果 $A$ 是一个列满秩矩阵，并且 $R$ 的主对角元都为正数时，QR分解的结果唯一。
唯一性	证明：设矩阵 $A$ 有两个QR分解： $A = Q R = Q_{1} R_{1}$ ，则有： $Q = Q_{1} R_{1} R^{- 1} = Q_{1} D$ ，其中 $D = R_{1} R^{- 1}$ 仍是可逆上三角矩阵，并且容易证明 $D^{H} D = I$ ，因此 $D$ 为对角线元素模长为1的对角阵。因此考虑上 $D$ 的影响，则 $Q_{1} = Q D^{- 1}$ ， $R_{1} = D R$	如果 $A$ 是一个列满秩矩阵，并且 $R$ 的主对角元都为正数时，QR分解的结果唯一。
应用	QR分解被广泛应用于线性最小二乘问题的求解和矩阵特征值的计算。
其他说明

满秩分解

	具体内容	备注
定义及形式	设 $A \in C_{r}^{m \times n} (r > 0)$ ，若存在矩阵 $F \in C_{r}^{m \times r}$ 和 $G \in C_{r}^{r \times n}$ 使得 $A = F G$	式中 $F$ 为列满秩、 $G$ 为行满秩，它们的秩： $rank (F) = rank (G) = r$
计算方法	Hermite标准型(行最简型)方法求解 $F$ 、 $G$ （具体参考笔记）
存在性	任何非零矩阵一定存在满秩分解，证明参考：矩阵的分解：满秩分解和奇异值分解-CSDN博客
唯一性	满秩分解不唯一。证：假设存在 $r$ 阶可逆方阵 $D$ ，则 $A = F G = F (D D^{- 1}) G = (F D) (D^{- 1} G) = F^{'} G^{'}$
应用	满秩分解用途很广，尤其是后期的对于广义逆的学习来说非常重要；满秩分解可以用于数据压缩：满秩分解、奇异值分解（SVD）原理总结
其他说明

特征值分解

	具体内容	备注
定义及形式	矩阵特征值分解又可称作矩阵的对角化、谱分解，是将方阵分解为由其特征值和特征向量表示的矩阵积的方法。对于一个秩为 $m$ 的方阵 $A$ ，应该存在 $m$ 个这样的特征值，完备形式为： $A (x_{1}, x_{2}, \dots, x_{m}) = (λ_{1} x_{1}, λ_{2} x_{2}, \dots, λ_{m} x_{m}) = (x_{1}, x_{2}, \dots, x_{m}) (\begin{array}{cccc} λ_{1} & 0 & \dots & 0 \\ 0 & λ_{2} & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & λ_{m} \end{array})$ 上面的式子可以写作 $A X = X Λ ⟺ A = X Λ X^{- 1} ⟺ A = X Λ X^{T}$	从变换的角度理解，从运动变换的角度理解，矩阵乘以向量可以分三步：首先将这个向量使用特征向量组成的正交基向量进行分解；然后目标向量在每个特征向量方向上的分量分别进行拉伸操作；对所有特征向量方向上的拉伸结果进行合并。
计算方法	计算方法相对简单，就是特征值分解，
存在性	不是任意方阵都存在特征值分解。 $n$ 阶方阵可以做特征值分解的充要条件是其有 $n$ 个线性无关的特征向量。	只要保证有 $n$ 个线性无关的特征向量即可，方阵不一定需要满秩，例如方阵 $A = (\begin{matrix} 1 & 1 \\ 1 & 1 \end{matrix})$
唯一性	特征值分解不是唯一的，但所有的特征值分解都会共享相同的特征值。特征向量的选择和缩放可能会不同，从而导致不同的特征向量矩阵和对应的特征值矩阵。
应用
其他说明	一般而言，方阵特征值分解后特征向量组成的矩阵 $X$ 一般是正交阵。

SVD分解

	具体内容	备注
定义及形式	对于一个秩为 $r$ 的矩阵 $A$ ，必存在 $m \times m$ 的正交阵 $U$ 、 $n \times n$ 的正交阵 $V$ 和 $m \times n$ 的矩阵 $Γ$ ，使得 $A_{m \times n} = U_{m \times m} Σ_{m \times n} V_{n \times n}^{T} = U_{m \times m} {(\begin{array}{cc} D_{r \times r} & O \\ O & O \end{array})}_{m \times n} V_{n \times n}^{T}$ 其中， $D_{r \times r} = diag (\sqrt{λ_{1}}, \sqrt{λ_{2}}, \dots, \sqrt{λ_{r}})$	$A \in C_{r}^{m \times n}$ ， $A^{H} A$ 的特征值为： $λ_{1} \geq λ_{2} \geq \dots \geq λ_{r} > λ_{r + 1} = \dots = λ_{n} = 0$ 称 $σ_{i} = \sqrt{λ_{i}}$ 为矩阵 $A$ 的奇异值。
计算方法	第一步：求出 $A^{H} A$ 的 $n$ 个特征值 $λ_{1}, λ_{2}, \dots, λ_{r}, λ_{r + 1} = \dots = λ_{n} = 0$ （并按照从大到小排列）和对应的标准正交的特征向量 $v_{1}, v_{2}, \dots, v_{r}, v_{r + 1}, \dots, v_{n}$ ；
	第二步：取标准正交的特征向量构成正交矩阵 $V = (v_{1}, v_{2}, \dots, v_{r}, v_{r + 1}, \dots, v_{n})$ ，取正奇异值，即前 $r$ 个奇异值，即非零特征值开根号构成 $D$ 矩阵， $D_{r \times r} = diag (\sqrt{λ_{1}}, \sqrt{λ_{2}}, \dots, \sqrt{λ_{r}})$ ，添加额外的0组成 $m \times n$ 的矩阵 $Σ_{m \times n} = (\begin{array}{cc} D_{r \times r} & O \\ O & O \end{array})$
	第三步：构成前 $r$ 个标准正交向量 $u_{1}, u_{2}, \dots, u_{r}$ ，其中 $u_{i} = \frac{1}{\sqrt{λ_{i}}} A v_{i}, i = 1, 2, \dots, r$
	第四步：按照标准正交基扩充的方法，将 $u_{1}, u_{2}, \dots, u_{r}$ 扩充为 $m$ 维向量空间 $R^{m}$ 的标准正交基 $u_{1}, u_{2}, \dots, u_{r}, b_{1}, \dots, b_{m - r}$ 组成正交矩阵 $U_{m \times m} = u_{1}, u_{2}, \dots, u_{r}, b_{1}, \dots, b_{m - r}$ ，请参考链接16.9通过例子来理解扩充基方法
	第五步：写出SVD的分解结果即可： $A_{m \times n} = U_{m \times m} Σ_{m \times n} V_{n \times n}^{T}$
存在性	任何矩阵都可以进行上面的奇异值分解，它是方阵对角化的推广。
唯一性	一个矩阵的奇异值分解一定存在，但不唯一。
应用	参考：奇异值分解（SVD）有哪些很厉害的应用？ - 叶小飞的回答 - 知乎
其他说明	矩阵 $A$ 的奇异值的个数等于 $A$ 的列数， $A$ 的非零奇异值的个数等于 $rank (A)$

参考17.1：矩阵分解算法 - 博客园
参考17.2：矩阵的几种分解方式 - 加强版 - 二圈妹的文章 - 知乎
参考17.3：【矩阵论】矩阵的各种分解汇总 - ohanlon的文章 - 知乎
参考17.4：常见的几种矩阵分解方式 - bitcarmanlee的文章 - CSDN
参考17.5：非方阵LU分解 - Cliven的文章 - CSDN
参考17.6：矩阵与数值计算（2）——矩阵三角分解LU、PALU、Cholesky三角分解、QR分解 - 乔胤博的文章 - 知乎
参考17.7：【矩阵论】UR(QR) 分解 - 施密特正交化 - ohanlon的文章 - 知乎：行满秩矩阵的QR分解。
参考17.8：奇异值分解（SVD）的定义、证明、求法（矩阵分解——3. 奇异值分解（SVD）） - Iterator的文章 - 知乎
参考17.9：【矩阵论】矩阵的奇异值分解 - ohanlon的文章 - 知乎
参考17.10：【线性代数】矩阵的特征值分解（对角化、谱分解）- CSDN

知识点18： 齐次/非齐次微分方程组的解：

① 齐次微分方程组的解

对于如下形式的齐次微分方程组：

\frac{d}{d t} x (t) = A x (t)

其中， $A = (a_{i j})_{n \times n}$ ， $x (t) = {(ξ_{1} (t), ξ_{2} (t), \dots, ξ_{n} (t))}^{T}$ 。

其解空间为：

S = {\begin{matrix} x (t) ∣ \frac{d}{d t} x (t) = A x (t) \end{matrix}}

有以下2个结论：

矩阵函数 $e^{t A}$ 是可逆的，其 $n$ 个列向量 $x_{1} (t), \dots, x_{n} (t)$ 是 $S$ 的一个基，也就是基础解系。
若给了初始条件 $ξ_{1} (0) = γ_{1}, ξ_{2} (0) = γ_{2}, \dots, ξ_{n} (0) = γ_{n}$ ，记 $c = (γ_{1}, γ_{2}, \dots, γ_{n})^{T}$ ，则称 $x (t) = e^{t A} c$ 为一般解/通解。

x (t) = e^{t A} c = γ_{1} x_{1} (t) + γ_{2} x_{2} (t) + \dots + γ_{n} x_{n} (t)

② 非齐次微分方程组的解

对于如下形式的非齐次微分方程组：

\frac{d}{d t} x (t) = A x (t) + b (t)

其中， $b (t) = {(β_{1} (t), β_{2} (t), \dots, β_{n} (n))}^{T}$ 。

设 $x (t)$ 是方程一般解/通解， $\tilde{x} (t)$ 是方程的一个特解。

特解 $\tilde{x} (t)$ 的求解一般是通过常数变异法： $\tilde{x} (t) = e^{t A} c (t)$ 。最终可求得非齐次微分方程组的一个特解为：

\tilde{x} (t) = e^{t A} \int_{t_{0}}^{t} e^{- s A} b (s) d s

综上，可得下面2条结论：

非齐次微分方程组的一般解/通解为：

x (t) = e^{t A} k + \tilde{x} (t) = e^{t A} k + e^{t A} \int_{t_{0}}^{t} e^{- s A} b (s) d s

若给定初始条件： $x (t_{0}) = x_{0}$ ，则解为：

x (t) = e^{t A} (e^{- t_{0} A} x_{0} + \int_{t_{0}}^{t} e^{- s A} b (s) d s)

其中， $k = (κ_{1}, κ_{2}, \dots, κ_{n})^{T}$ 为任意常数向量。

知识点19： 投影：

① 矢量向矢量投影：把矢量 $x$ 投影到矢量 $a$ 上

{Proj}_{a} x = a \frac{(a, x)}{‖ a ‖^{2}} = a \frac{(a, x)}{(a, a)} = a (a, a)^{- 1} (a, x) = a (a^{H} a)^{- 1} a^{H} x

② 矢量向矩阵投影：把矢量 $x$ 投影到矩阵 $A$ 的列构成的空间中

{Proj}_{A} x = A (A^{H} A)^{- 1} A^{H} \cdot x

③ 矩阵向矩阵投影：把矩阵 $X$ 向 $A$ 的列向量张成的子空间投影

{Proj}_{A} X = A (A^{H} A)^{- 1} A^{H} \cdot X

④ 矩阵向矩阵补空间投影：把矩阵 $X$ 向 $A$ 的列向量张成的子空间的正交补空间投影

{Proj}_{A^{⊥}} X = I - A (A^{H} A)^{- 1} A^{H} \cdot X

知识点20： 特征值与秩：

设方阵 $A$ 阶数为 $n$ ，特征值个数为 $k$ ，其中有 $i$ 重特征值 $λ_{i}$ ，单个 $λ$ 对应的无关特征向量个数为 $t$ ，方阵的秩为 $r$ 。

特征值

① 特征值个数 $k$ (包括重根和复根)与方阵的阶数 $n$ 相等；

② 特征值个数 $k$ $\geq$ 所有无关特征向量数之和(因为 $i$ 重特征值 $λ_{i}$ 最多有 $i$ 个线性无关的特征向量)；

③ 特征值个数 $k$ 与方阵的秩无关。

特征向量

① 单个 $λ$ 对应的无关特征向量个数 $t$ 与方阵的秩 $r$ 没有什么直接的关系，它们都小于等于方阵阶数 $n$ 。

方阵的秩：方阵的秩 $r$ 与它的特征值 $λ_{i} = 0$ 的重数 $i$ 有关

① 当方阵 $A$ 可以相似对角化时(这里自然是包括了方阵 $A$ 为实对称矩阵的情况)， $i = n - r$ 。

因为 $A \sim Λ$ , 所以 $rank (A) = rank (Λ)$ 。此时若 $rank (A) = rank (Λ) = r$ ，意味着对角阵有 $r$ 个不为零的特征值，即 $A$ 也有 $r$ 个不为零的特征值，进而得到 $A$ 有 $n - r$ 重特征值： $λ_{i} = 0$

② 当方阵 $A$ 不可相似对角化时， $i \geq n - r$ 。

首先，对于 $i$ 重特征值 $λ_{i}$ 最多有 $i$ 个线性无关的特征向量，反过来说，同一特征值 $λ_{i}$ 对应的线性无关的特征向量个数(设为t） $t <= i$ 。对于 $λ_{i} = 0$ ，有 $r (0 E - A) = rank (- A) = rank (A) = r$ ，所以， $λ_{i}$ 的线性无关特征向量个数 $t = n - r$ ，根据上一行的说法就有， $λ_{i} = 0$ 的重数 $t \leq i$ ，即 $i \geq n - r$ 。

🧺 正交变换(正交矩阵)不改变秩、特征值、行列式、迹，另外它不改变向量的长度(保模长性质)。

参考20.1：特征值个数，特征向量个数与矩阵的秩之间有什么关系？ - 知乎

知识点21： 范德蒙(Vandermonde)矩阵和范德蒙行列式：

🎫 Vandermonde 矩阵具有以下形式：

A = {[\begin{array}{ccccc} 1 & x_{1} & x_{1}^{2} & \dots & x_{1}^{m - 1} \\ 1 & x_{2} & x_{2}^{2} & \dots & x_{2}^{m - 1} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n} & x_{n}^{2} & \dots & x_{n}^{m - 1} \end{array}]}_{n \times m} A^{T} = {[\begin{array}{cccc} 1 & 1 & \dots & 1 \\ x_{1} & x_{2} & \dots & x_{n} \\ x_{1}^{2} & x_{2}^{2} & \dots & x_{n}^{2} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{1}^{m - 1} & x_{2}^{m - 1} & \dots & x_{n}^{m - 1} \end{array}]}_{m \times n}

具有如上 $A$ 或者 $A^{T}$ 形式的矩阵称为范德蒙(Vandermonde)矩阵。

🏓 $n$ 阶Vandermonde矩阵的行列式计算

\det A_{n} = \prod_{1 \leq j, i \leq n} (x_{i} - x_{j})

例如：

\det A_{3} = | \begin{array}{lll} 1 & x_{1} & x_{1}^{2} \\ 1 & x_{2} & x_{2}^{2} \\ 1 & x_{3} & x_{3}^{2} \end{array} | = (x_{2} - x_{1}) (x_{3} - x_{2}) (x_{3} - x_{1})

🍰 范德蒙矩阵的秩

当 $m \leq n$ 时，矩阵的秩为 $m$ ，当且仅当所有的 $x_{i}$ 各不相等。
当 $m \geq n$ 时，矩阵的秩为 $n$ ，当且仅当至少 $n$ 个 $x_{i}$ 各不相等。

🏳‍🌈 范德蒙矩阵的应用

可应用于多项式最小二乘法拟合以及多项式插值。

参考资料21.1：范德蒙矩阵、范德蒙行列式 - 小时百科

知识点22： 秩1矩阵

秩为1的矩阵一定能分解成一个行矩阵和列矩阵的乘积：

A = u v^{T}

$n$ 阶矩阵 $A$ ， $rank (A) = 1$ ，则 $A$ 的特征值一个是 $A$ 的迹，其余都是0，即：

λ_{1} = tr (A) = \sum_{i = 1}^{n} a_{i i}, λ_{2} = λ_{3} = \dots = λ_{n} = 0

秩1矩阵可对角化的条件：

若 $λ_{1} = tr (A) \neq 0$ ，则秩1矩阵 $A$ 可以矩阵对角化；
若 $λ_{1} = tr (A) = 0$ ，则秩1矩阵 $A$ 不可以矩阵对角化；

参考22.1：关于秩为1矩阵的重要结论 - 小海考研人的文章 - 知乎
参考22.2：秩1矩阵的性质及其在统计学中的应用 - 文献
参考22.3：为什么秩为1的矩阵可以写成1列乘1行的情形呢？ - 知乎

知识点23： 奇异值分解(SVD)

矩阵对角化

矩阵对角化有很多应用：简化计算、解方程等等，但不是所有矩阵都可以对角化的，矩阵可对角化的条件参考本文知识点17_特征值分解和矩阵可对角化的充要条件 - 我思故我在的文章 - 知乎。可对角化矩阵例：对称矩阵。

对于一般的 $m \times n$ 矩阵 $A$ ，有没有类似的操作？

① 回忆线性代数的知识：方程 $A x = b$ 不一定有解，但是 $A^{T} A x = A^{T} b$ 一定有解。

② 考虑方阵 $A^{T} A$ 和 $A A^{T}$ ，它们都是半正定矩阵，所以可以对角化而且特征值大于等于0。

方阵 $A^{T} A$ 和 $A A^{T}$ 可进行对角化： $A^{T} A = V Λ_{1} V^{T} A A^{T} = U Λ_{2} U^{T}$ ，也就有：

\begin{aligned} V^{T} A^{T} A V = (A V)^{T} (A V) = Λ_{1} \\ U^{T} A A^{T} U = (U^{T}) A (A^{T} U) = Λ_{2} \end{aligned}

💦 猜测：找到正交矩阵 $U$ 和 $V$ 使得 $m \times n$ 矩阵 $U^{T} A V$ 可以写成 $Σ$ ？其中 $Σ$ 是某种意义上的“对角”矩阵。

奇异值

对于一个 $m \times n$ 的实矩阵 $A$ ，则 $A^{T} A$ 是一个 $n \times n$ 的对称矩阵， ${q_{1}, q_{2}, \dots, q_{n}}$ 是由 $A^{T} A$ 的特征向量构成的 $R^{n}$ 中的正交归一基，对应的实特征值为 ${λ_{1}, λ_{2}, \dots, λ_{n}}$ ，假设 $λ_{1} \geq λ_{2} \geq \dots \geq λ_{n} \geq 0$ ，则矩阵 $A$ 的奇异值定义 $A^{T} A$ 的特征值的平方根：

σ_{1} = \sqrt{λ_{i}}

引入如下两个不加证明的定理：

定理1：对于一个 $m \times n$ 的矩阵 $A$ ，其秩满足： $rank (A) = rank (A^{T}) = rank (A A^{T}) = rank (A^{T} A)$ 。

定理2：对于一个 $m \times n$ 的实矩阵 $A$ ，其非0奇异值 $σ_{1} \geq σ_{2} \geq \dots \geq σ_{r} > 0$ 的个数 $r$ 等于矩阵 $A$ 的秩， $r = rank (A)$

奇异值分解

广义对角矩阵： $m \times n$ 矩阵 $Σ$

Σ = [\begin{array}{cc} D & 0 \\ 0 & 0 \end{array}]

其中， $D$ 是一个 $r \times r$ 的对角矩阵， $Σ$ 所有大于 $r$ 的行和列的元素均为0。

定理(SVD)： $m \times n$ 矩阵 $A$ 的秩为 $r$ 。则存在一个形状如上的 $m \times n$ 矩阵 $Σ$ 且 $D$ 的对角元是 $A$ 的前 $r$ 个(非零)的奇异值， $m \times m$ 的正交矩阵 $U$ 和 $n \times n$ 的正交矩阵 $V$ ，而且以上矩阵满足关系：

A = U Σ V^{T}

推论1： ${u_{1}, u_{2}, \dots, u_{m}}$ 是矩阵 $A A^{T}$ 的特征向量， ${v_{1}, v_{2}, \dots, v_{n}}$ 是矩阵 $A^{T} A$ 的特征向量，即 $U$ 和 $V$ 分别是将 $A A^{T}$ 和 $A^{T} A$ 对角化的正交矩阵。

推论2：
① ${v_{1}, v_{2}, \dots, v_{r}}$ 是 $C (A^{T})$ 的正交归一基， $V_{r} = (v_{1}, v_{2}, \dots, v_{r})$ ；
② ${v_{r + 1}, v_{r + 2}, \dots, v_{n}}$ 是 $N (A)$ 的正交归一基， $V_{n - r} = (v_{r + 1}, v_{r + 2}, \dots, v_{n})$ ；
③ ${u_{1}, u_{2}, \dots, u_{r}}$ 是 $C (A)$ 的正交归一基， $U_{r} = (u_{1}, u_{2}, \dots, u_{r})$ ；
④ ${u_{r + 1}, u_{r + 2}, \dots, u_{m}}$ 是 $N (A^{T})$ 的正交归一基， $U_{m - r} = (u_{r + 1}, u_{r + 2}, \dots, u_{m})$ ；

推论3： $A A^{T}$ 和 $A^{T} A$ 的非0特征值都相同。

奇异值分解的应用

数据压缩：假设 $r a n k (A) < min (m, n)$ ，则：

A = (U_{r}, U_{m - r}) [\begin{array}{cc} D & 0 \\ 0 & 0 \end{array}] [\begin{matrix} V_{r}^{T} \\ V_{n - r}^{T} \end{matrix}] = U_{r} D V_{r}^{T} = \sum_{i = 1}^{r} σ_{i} u_{i} v_{i}^{T}

这意味着可以只用 $U_{r}$ 、 $D$ 、 $V_{r}$ 三个子矩阵的总共 $r \times (m + 1 + n)$ 个分量完全决定 $A$ 。

例如：图像压缩
先考虑灰度图像，可以用一个 $m \times n$ 的矩阵描述，每个元素是该像素的灰度(0-255之间的整数，0是黑，255是白)，如果 $r \times (m + 1 + n) < m n$ ，我们可以只储存或者传输 $U_{r}$ 、 $D$ 、 $V_{r}$ (无损)。例如矩阵秩为1的时候我们只需要储存一个行向量和一个列向量，甚至可以把很小的奇异值当成零忽略，进一步压缩图片（有损）。

矩阵伪逆：由于 $m \times n$ 的矩阵 $A = U Σ V^{T}$ ，则其伪逆可直接求得：

A^{+} = V Σ^{+} U^{T} = V (\begin{array}{cc} D^{- 1} & 0 \\ 0 & 0 \end{array}) U^{T} = \sum_{k = 1}^{r} σ_{k}^{- 1} v_{k} u_{k}^{T}

① $A^{+} A = V Σ^{+} U^{T} U Σ V^{T} = V (\begin{array}{cc} I_{r \times r} & 0 \\ 0 & 0 \end{array}) V^{T}$ 是投影到 $C (A^{T})$ 的矩阵。

② $A A^{+} = U Σ V^{T} V Σ^{+} U^{T} = U (\begin{array}{cc} I_{r \times r} & 0 \\ 0 & 0 \end{array}) U^{T}$ 是投影到 $C (A)$ 的矩阵。

矩阵伪逆可以用来求解最小二乘问题：最小二乘 $A^{T} A x = A^{T} b$ 的解为 $x^{+} = A^{+} b$ 。

矩阵的模： $‖ A ‖ = max \frac{‖ A x ‖}{‖ x ‖} = σ_{1}$ (关于矩阵模的详细定义和性质请参考链接23.1)。

参考23.1：奇异值分解 - 颜文斌 - 清华大学(在线pdf文件)
参考23.2：矩阵之芯 SVD: 奇异值分解及其几何解释 - mathinside的文章
参考23.3：矩阵的奇异值分解与广义逆矩阵及其应用 - 知乎、一文学会，线性回归超全总结，让你成为高手！ - 知乎：这两篇文章内容相似，简要提及了SVD的自由度问题。

知识点24： 主成分分析(PCA)

统计知识

假设一组数据来源于 $n$ 个样本 ${μ_{1}, μ_{2}, \dots, μ_{n}}$ ，其平均值 $\bar{μ} = \frac{\sum {i = 1}^{n} μ_{i}}{n}$ ，标准差 $σ = \sqrt{\frac{\sum {i = 1}^{n} (μ_{i} - \bar{μ})}{n - 1}}$ 。

标准差有 $n - 1$ 个自由度，因为平均值也是一个自由度；标准差越大，数据越分散。

假设 $n$ 个样本，每个样本 $i$ 我们得到两个数据 $μ_{i}$ 和 $ρ_{i}$ (例所有同学的期中考试成绩 $μ_{i}$ 和平时作业成绩 $ρ_{i}$ ，则协方差可定义为： $cov (μ, ρ) = \frac{\sum_{i = 1}^{n} (μ_{i} - \bar{μ}) (ρ_{i} - \bar{ρ})}{n - 1}$ 。

协方差描述了 $μ$ 和 $ρ$ 之间的相关性 —— $(μ, ρ) > 0$ 正相关， $(μ, ρ) < 0$ 负相关。

将数据存在一个 $m \times n$ 的矩阵 $A_{0}$ 中，每一行对应一种数据，每一列代表一个样本，将中心化之后的数据记为 $A$ (由 $A_{0}$ 的每一个元素减去它所在行的平均值得到)：

A_{i j} = (A_{0})_{i j} - \frac{\sum_{k = 1}^{n} (A_{0})_{i k}}{n}

则协方差矩阵（covariance matrix）可定义为：

S = \frac{A A^{T}}{n - 1}

样本方差： $S_{i i} = σ_{i}^{2}$ ，第 $i$ 种数据的标准差平方。 $S_{i j}$ ：第 $i$ 种和第 $j$ 种数据的协方差；
总方差(totalvariance)： $tr S = \sum_{i} S_{i i} = \sum_{i} σ_{i}^{2}$ 。

主成分分析(PCA)

一般来说数据 $i$ 和数据 $j$ 可能会有相关，也就是说它们之间的协方差 $S_{i j}$ 不等于 $0$ ，主成分分析就是要找到原有数据的一系列线性组合作为新的数据，新数据之间的协方差为0。

$A$ 的奇异值分解为 $A = U Σ V^{T}$ ，定义新的数据矩阵 $B$ ：

B = U^{T} A = Σ V^{T}

此时，计算可得新的数据矩阵 $B$ 的协方差为：

\frac{B B^{T}}{n - 1} = \frac{Σ V^{T} V Σ^{T}}{n - 1} = \frac{Σ Σ^{T}}{n - 1}

因为 $Σ Σ^{T}$ 是对角矩阵，因此 $B$ 的数据之间的协方差为0，同时可得“新数据的方差 = $A$ 的奇异值平方/(n-1)”。

PCA的简要分析

原数据矩阵： $A = (a_{1}, a_{2}, \dots, a_{n})$ ；

第 $i$ 列向量 $a_{i}$ 对应样本 $i$ 的数据；

新数据矩阵： $B = (b_{1}, b_{2}, \dots, b_{n}) = U^{T} A = (U^{T} a_{1}, U^{T} a_{2}, \dots, U^{T} a_{n})$

$B$ 的第 $i$ 列向量 $b_{i}$ 对应样本 $i$ 的数据，这些数据由 $a_{i}$ 的分量决定： $b_{i} = U^{T} a_{i}$ ；

因为 $U$ 是正交矩阵 $U U^{T} = U^{T} U = I$ ， $a_{i} = U b$ 。

① $A$ 的非零奇异值的数量是 $A$ 的秩 $r$ ， $r + 1$ 到 $m$ 的新数据的方差是0；

② 所有的数据都在 $R^{m}$ 的 $m - r$ 个平面 $\sum_{j = 1}^{m} U_{j i} x_{j} = 0, i = r + 1, \dots, m$ 的交集上；

③ 所有数据点分布在一个 $r$ 维的空间中，这个空间由 ${u_{1}, u_{2}, \dots, u_{r}}$ 张成（是 $C (A)$ 的正交归一基）；

④ 如果第 $i$ 个奇异值很接近 $0$ ，说明数据很靠近平面 $\sum_{j = 1}^{m} U_{j i} x_{j} = 0, i = r + 1, \dots, m$ 。

主成分： ${u_{1}, u_{2}, \dots, u_{r}}$ ，其中 $u_{1}$ 是所有数据变化最大的方向（对应的方差最大）， $u_{3}$ 次之……主成分是描述整组数据最重要的线性组合，而且互相独立；由于 $r \leq m$ ，所以虽然每个样本测了 $m$ 个数据，里面只有 $r$ 个是独立的。

${v_{1}, v_{2}, \dots, v_{r}}$ 都是 $n$ 维向量，每个分量对应一个样本：
第一主成分的数值： $u_{1}^{T} A = u_{1}^{T} (\sum_{k = 1}^{r} σ_{k} u_{i} v_{i}^{T}) = σ_{1} v_{1}^{T}$ ；
$σ_{1} v_{1}$ 的第 $i$ 个分量是第 $i$ 个样本的第一主成分的值，同理 $σ_{j} v_{j}$ 的第 $i$ 个分量是第 $i$ 个样本的第 $j$ 个主成分的值；
$v_{j}$ 是单位向量，所以每个分量的绝对值小于等于1，数据的分散程度取决于 $σ_{j}$ 。

知识点25： Toeplitz矩阵的范德蒙德分解：

对于任意的秩满足 $r \leq N$ 的半正定Toeplitz矩阵 $T (u) \in C^{N \times N}$ ，则有如下的 $r -$ 原子范德蒙德分解：

T (u) = \sum_{k = 1}^{r} p_{k} a (f_{k}) a^{H} (f_{k}) = A (f) diag (p) A^{H} (f)

其中， $A (f) = [a (f_{1}), a (f_{2}), \dots, a (f_{r})]$ 。当 $r < N$ 时，此分解是唯一的。

参考25.1：压缩感知的尽头: 原子范数最小化 - CSDN

知识点26： Kronecker积和矩阵向量化(拉直)Vec的相关性质：

Kronecker积的相关定理：

定理1：设矩阵 $A \in C^{m \times n}, B \in C^{p \times q}$ ，则有 $rank (A \otimes B) = rank (A) rank (B)$ 。

定理2：设矩阵 $A \in C^{m \times m}, B \in C^{n \times n}$ ，则有 $Tr (A \otimes B) = Tr (A) Tr (B)$ 。

定理3：设矩阵 $A \in C^{m \times m}, B \in C^{n \times n}$ ，则有 $\det (A \otimes B) = \det (A)^{n} \det (B)^{m}$ 。

定理4：若 $A ⪰ 0, B ⪰ 0$ ，则有 $A \otimes B ⪰ 0$ 。

矩阵的向量化Vec：

矩阵的 $Vec (A)$ ，一般是按列拉直(也可按照行拉直，根据具体情况分析)，将矩阵 $A$ 表示为排列成一个 $m n \times 1$ 的列向量，即：

Vec (A) = [a_{11}, a_{21}, \dots, a_{m 1}, \dots, a_{1 n}, a_{2 n}, \dots, a_{m n}]^{T}

定理5： $Vec (x y^{T}) = y \otimes x$ ， $Vec (A \otimes b) = Vec (A) \otimes b$ 。

假定 $A, B \in R^{m \times n}$ ，则这两个矩阵乘积的迹具有如下性质：

定理6： $Tr (A^{T} B) = Vec (A)^{T} Vec (B)$ ， $Tr (A B C) = Vec (A)^{T} (I_{p} \otimes B) Vec (C)$ ， $Tr (A B C D) = Vec (D^{T})^{T} (C^{T} \otimes A) Vec (B) = Vec (D^{T})^{T} (A \otimes C^{T}) Vec (B^{T})$

定理7：设矩阵 $A \in C^{m \times n}, X \in C^{n \times p}, B \in C^{p \times q}$ ，则有 $Vec (A X B) = (A \otimes B^{T}) Vec (X)$ 。

推论7：设矩阵 $A \in C^{m \times m}, X \in C^{m \times n}, B \in C^{n \times n}$ ，则有 $Vec (A X) = (A \otimes I_{n}) Vec (X)$ ， $Vec (X B) = (I_{m} \otimes B^{T}) Vec (X)$ ， $Vec (A X + X B) = (A \otimes I_{n} + I_{m} \otimes B^{T}) Vec (X)$ 。

参考26.1：矩阵Kronecker乘积性质与应用 - 豆丁
参考26.2：Kronecker积及矩阵论进阶 - 阿里多多的西瓜的文章 - 知乎第一弹、第二弹、第三弹

知识点27： 矩阵的特征值和奇异值：

设矩阵 $A \in R^{n \times n}$ ，其特征值为 $(λ_{1}, λ_{2}, \dots, λ_{n})$ ；

矩阵 $A A^{T}$ 的特征值为 $(μ_{1}, μ_{2}, \dots, μ_{n})$ ；

矩阵 $A$ 的奇异值为 $(σ_{1}, σ_{2}, \dots, σ_{n}) = (\sqrt{μ_{1}}, \sqrt{μ_{2}}, \dots, \sqrt{μ_{n}})$ 。

知识点28： 矩阵迹的相关定义与性质

矩阵迹的定义

矩阵的迹：就是矩阵的主对角线上所有元素的和，矩阵 $A_{n \times n}$ 的迹和 $A B$ 的迹分别为：

Tr (A) = \sum_{i = 1}^{n} a_{i i} Tr (A B) = \sum_{i = 1}^{m} \sum_{j = 1}^{n} a_{i j} b_{j i}

矩阵的F范数为 $| | A | |_{F} = \sqrt{\sum_{i = 1}^{m} \sum_{j = 1}^{n} | a_{i j} |^{2}}$ ，F范数可以用矩阵的迹来表示：

| | A | |_{F} = \sqrt{Tr (A A^{T})}

矩阵迹的运算和性质
- 性质1：循环相乘迹不变 —— $Tr (A B C D = Tr (D A B C = Tr (C D A B = Tr (B C D A)$ ；
- 性质2：若 $a$ 为一个实数，则有 —— $Tr (a A) = a Tr (A)$ ；
- 性质3：矩阵的迹等于矩阵特征值的和 —— 设矩阵 $A$ 的特征值为 $(λ_{1}, \dots, λ_{n})$ ，则 $Tr (A) = \sum_{i = 1}^{n} a_{i i} = \sum_{i = 1}^{n} λ_{i}$
矩阵迹的求导公式

参考28.1：机器学习中常用的矩阵公式 - CSDN
参考28.2：关于矩阵迹的相关性质 - zzduang的文章 - 知乎

知识点29： 矩阵核范数的定义：

矩阵 $A$ 的核范数记为 $| | A | |_{⋆}$ ，具体定义为：

| | A | |_{⋆} = \sum_{i = 1}^{n} λ_{i}

其中， $λ_{i}$ 为矩阵 $A$ 的奇异值，也即，矩阵 $A$ 的核范数为奇异值之和。

线性代数中，向量空间的子空间的“和”与“直和”，这两个概念的区别是什么？ - 知乎
https://www.zhihu.com/question/38577398

知识点30： 半正定矩阵

半正定矩阵是数学中的一个经典概念，是指对于任意非零向量 $x$ ，都有 $x^{T} A x \geq 0$ 。在实际应用中，半正定矩阵经常出现在最优化、高维数据分析、微分方程等领域中。

介绍2种常见的半正定矩阵分解方法，它们分别是Cholesky分解、特征值分解。

Cholesky分解
在Cholesky分解中，将半正定矩阵 $A$ 分解为 $A = R^{T} R$ 的形式，其中 $R$ 是一个上三角矩阵。
特征值分解
在特征值分解中，将半正定矩阵 $A$ 分解为 $A = V Λ V^{T}$ 的形式，其中 $V$ 是 $A$ 的特征向量矩阵， $Λ$ 是 $A$ 的特征值矩阵。具体而言，特征向量是指一个非零向量在线性变换下仍保持在同一方向上的向量，而特征值是指特征向量在该变换下的伸缩比率。