黑塞矩阵（Hessian Matrix）

黑塞矩阵和雅可比矩阵，相信搞机器学习方向的同学多多少少也听过一点。但是平时毕竟用到的还是不多，因此也不是很重视，甚至对它们的定义也不是很清楚。😫😫😫此次，就借这个博客梳理一下黑塞矩阵及其用途。🐳

定义

黑塞矩阵是由多元函数的二阶偏导组成的矩阵。假设 \(f(x_1, x_2, ..., x_n)\) 二阶可导，则其黑塞矩阵为：

\[\left[ \begin{array}{cccc} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1 \partial x_2} & ... & \frac{\partial^2 f}{\partial x_1 \partial x_n} \\ \frac{\partial^2 f}{\partial x_2^2} & \frac{\partial^2 f}{\partial x^2_2} & ... & \frac{\partial^2 f}{\partial x_2 \partial x_n} \\ ... & ... & ... & ... \\ \frac{\partial^2 f}{\partial x_n \partial x_1} & \frac{\partial^2 f}{\partial x_n \partial x_2} & ... & \frac{\partial^2 f}{\partial x^2_n} \\ \end{array} \right] \]

一般情况下，多元函数的混合二阶偏导与求导次序无关，即：

\[\frac{\partial^2 f}{\partial x_i \partial x_j} = \frac{\partial^2 f}{\partial x_j \partial x_i} \]

函数凹凸性与黑塞矩阵

先说一下凹凸函数：

凹函数：
对于函数 \(f(\boldsymbol{x})\) ，对于其定义域内的任意两点 \(\boldsymbol{x,\ y}\) ，以及任意实数 \(\theta \in [0, 1]\) ，若

\[f(\theta \boldsymbol{x} + (1 - \theta) \boldsymbol{y}) \leq \theta f(\boldsymbol{x}) + (1 - \theta) f(\boldsymbol{y}) \]

成立，则 \(f\) 为凸函数（下凸）。若上式严格成立（将小于等于换成小于），则为严格凸函数。同理可定义凹函数（上凸）和严格凹函数。

假设 \(f(x_1, x_2, ..., x_n)\) 二阶可导，则

• 若其黑塞矩阵半正定，则函数是凸函数
• 若黑塞矩阵正定，则函数为严格凸函数
• 若黑塞矩阵半负定，则函数为凹函数
• 若黑塞矩阵负定，则函数为严格凹函数

函数极值与黑塞矩阵

令 \(\boldsymbol{x}_0\) 为 \(f(\boldsymbol{x})\) 的驻点（梯度为0的点），则：

• 黑塞矩阵在该点处正定，则 \(f\) 在该点有严格极小值
• 黑塞矩阵在该点处负定，则 \(f\) 在该点有严格极大值
• 黑塞矩阵在该点处不定，则该点不是极值点，为鞍点

多元函数求极值的过程：求梯度，找到所有驻点 ==> 计算在驻点处的黑塞矩阵 ==> 判断驻点是否为极值点。