二次型
二次型是一种特殊的二次函数，其中只含二次项，在机器学习中常以目标函数的形式出现。
基本概念
- 二次型（Quardic Form），只包含二次项的函数，如：
二次型可以写成矩阵的形式：\(\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x}\)，\(\boldsymbol{x}^T = (x\ y\ z)^T\)。其中 \(\boldsymbol{A} = [a]_{ij}\) 是对称矩阵。对于一个二次型，可以快速地求出 \(\boldsymbol{A}\) ：平方项 \(ax_i^2\) 的系数是矩阵的主对角线元素，交叉乘积项 \(ax_ix_j\) 的系数由 \(a_{ij}\) 和 \(a_{ji}\) 均分。实对称矩阵与二次型一一对应。例子中的 \(\boldsymbol{A}\) 为：
- 正定二次型与正定矩阵
如果一个二次型对于任意非 \(\boldsymbol{0}\) 向量 \(\boldsymbol{x}\) 都有：
则称该二次型为正定（Positive Definite）二次型，\(\boldsymbol{A}\) 为正定矩阵（实对称矩阵与二次型一一对应）。正定矩阵的所有主对角线元素 \(a_{ii} > 0\)。证明：
根据正定的定义，构造一个第 \(i\) 个分量为1，其余分量为0的向量 \(\boldsymbol{x}\)，则有 \(\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x} = a_{ii} > 0\)
证毕。
- 半正定二次型与半正定矩阵
如果一个二次型对于任意非 \(\boldsymbol{0}\) 向量 \(\boldsymbol{x}\) 都有：
则称该二次型为半正定（Positive Semi-Definite）二次型，\(\boldsymbol{A}\) 半为正定矩阵（实对称矩阵与二次型一一对应）。
- 负定二次型与负定矩阵
如果一个二次型对于任意非 \(\boldsymbol{0}\) 向量 \(\boldsymbol{x}\) 都有：
则称该二次型为负定（Negative Definite）二次型，\(\boldsymbol{A}\) 为负定矩阵（实对称矩阵与二次型一一对应）。类似的可以定义半负定矩阵。如果既不正定也不负定，则称为不定。
半正定矩阵的一些性质
- 若给定任意一个半正定矩阵 \(\boldsymbol{A}\) 和一个向量 \(\boldsymbol{x}\)，则两者相乘得到的向量 \(\boldsymbol{y = Ax}\) 与向量 \(\boldsymbol{x}\) 的夹角恒小于或等于 $\frac{\pi}{2} (等价于： \(\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x} \geq 0\));
- 协方差矩阵是半正定的[1][2]；
- 半正定矩阵的行列式是非负的；
- 两个半正定矩阵的和是半正定的；
- 非负实数与半正定矩阵的数乘矩阵是半正定的。
正定矩阵判定规则
- \(\boldsymbol{A}\) 的 \(n\) 个特征值 \(\lambda_1,\ ...,\ \lambda_n\) 均大于0.
证明
待补充
- 存在可逆矩阵 \(\boldsymbol{P}\) 使得 \(\boldsymbol{A} = \boldsymbol{P} \boldsymbol{P}\).
证明
对于任意非 \(\boldsymbol{0}\) 向量 \(\boldsymbol{x}\) 有：
\[\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x} = \boldsymbol{x}^T \boldsymbol{P}^T \boldsymbol{P} \boldsymbol{x} = (\boldsymbol{Px})^T \boldsymbol{Px} \]因为 \(\boldsymbol{P}\) 可逆，故对于任意非 \(\boldsymbol{0}\) 向量 \(\boldsymbol{x}\) 有 \(\boldsymbol{Px} \neq \boldsymbol{0}\)，即 \((\boldsymbol{Px})^T \boldsymbol{Px} > 0\)。
证毕。
- 如果 \(\boldsymbol{A}\) 是正定矩阵，则 \(\boldsymbol{A}\) 也是正定矩阵.
证明
\((\boldsymbol{x}^T \boldsymbol{A}^T \boldsymbol{x})^T = \boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x} > 0\)
证毕。
- \(\boldsymbol{A}\) 的所有顺序主子式（由矩阵前 \(k\) 行，前 \(k\) 列的元素形成的行列式）均为正.
证明
待补充
未完待续。。。
