海森矩阵
海森矩阵：是一个多元函数的二阶偏导数构成的方阵。
1. 二元函数的海森矩阵
如果不理解二元函数的泰勒展开可先阅读博客。
$$f(x_{0} + h,y_{0} + k) = f(x_{0},y_{0}) + \frac{h\cdot \frac{\partial }{\partial x} + k\cdot \frac{\partial }{\partial y}}{1!}f(x_{0},y_{0}) + \frac{\left ( h\cdot \frac{\partial }{\partial x} + k\cdot \frac{\partial }{\partial y} \right )^{2}}{2!}f(x_{0},y_{0}) +...+ \frac{\left ( h\cdot \frac{\partial }{\partial x} + k\cdot \frac{\partial }{\partial y} \right )^{n}}{n!}f(x_{0},y_{0}) + R_{n}$$
写成矩阵形式为
$$f(x_{0} + h,y_{0} + k) = f(x_{0},y_{0}) + \begin{bmatrix}
\frac{\partial f}{\partial x} & \frac{\partial f}{\partial y}
\end{bmatrix} \bigg|_{(x_{0},y_{0})} \begin{bmatrix}
h\\
k
\end{bmatrix} +
\frac{1}{2}\begin{bmatrix}
h & k
\end{bmatrix}\begin{bmatrix}
\frac{\partial ^{2}f}{\partial x^{2}} & \frac{\partial ^{2}f}{\partial x\partial y} \\
\frac{\partial ^{2}f}{\partial x\partial y} & \frac{\partial ^{2}f}{\partial y^{2}}
\end{bmatrix} \Bigg|_{(x_{0},y_{0})}
\begin{bmatrix}
h\\
k
\end{bmatrix} + \cdots $$
这里我们只写泰勒展开的前三项，第三项就是一个二次型。后面的项太过复杂，一般前三项够了。
记自变量为 $x = (x^{(1)}, x^{(2)})$，是一个向量，将函数 $f(x)$ 在 $x_{0}$ 处展开，于是 $\Delta x = \begin{bmatrix}
x^{(1)} - x_{0}^{(1)} \\
x^{(2)} - x_{0}^{(2)}
\end{bmatrix}$，将上面的展开式进一步表示为梯度形式：
$$f(x) = f(x_{0}) + \nabla f(x_{0})^{T}\Delta x + \frac{1}{2}\Delta x^{T}G(x_{0})\Delta x + \cdots $$
其中，$\nabla f(x_{0})$ 为 $f(x)$ 在点 $x_{0}$ 处的梯度向量，$G(x_{0})$ 是一个二阶矩阵，称为 $f(x)$ 在 $x_{0}$ 处的海森矩阵，它们取值为别为：
$$\nabla f(x_{0}) = \left ( \frac{\partial f}{\partial x^{(1)}}, \frac{\partial f}{\partial x^{(2)}}\right ) \Bigg |_{(x_{0})}$$
$$G(x_{0}) = \begin{bmatrix}
\frac{\partial ^{2}f}{\partial x^{(1)2}} & \frac{\partial ^{2}f}{\partial x^{(1)}\partial x^{(2)}} \\
\frac{\partial ^{2}f}{\partial x^{(1)}\partial x^{(2)}} & \frac{\partial ^{2}f}{\partial x^{(2)2}}
\end{bmatrix} \Bigg|_{(x_{0})}$$
2. 多元函数的海森矩阵
由上面介绍的二元函数的海森矩阵，进一步推广到多元函数的海森矩阵。这里也仅仅是展开到二阶。
记自变量向量为 $x = (x^{(1)}, x^{(2)}, \cdots, x^{(n)})$，$f(x)$ 是一个 $n$ 元的函数，则其在点 $x_{0}$ 处的泰勒展开式为
$$f(x) = f(x_{0}) + \nabla f(x_{0})^{T}\Delta x + \frac{1}{2}\Delta x^{T}G(x_{0})\Delta x + \cdots$$
这个形式和二元的展开是一样的，但是一些取值不一样：
$$\Delta x = \begin{bmatrix}
x^{(1)} - x_{0}^{(1)} \\
x^{(2)} - x_{0}^{(2)} \\
\vdots \\
x^{(n)} - x_{0}^{(n)}
\end{bmatrix}$$
$$\nabla f(x_{0}) = \left ( \frac{\partial f}{\partial x^{(1)}}, \frac{\partial f}{\partial x^{(2)}}, \cdots ,\frac{\partial f}{\partial x^{(n)}} \right ) \Bigg |_{(x_{0})}$$
$$G(x_{0}) = \begin{bmatrix}
\frac{\partial ^{2}f}{\partial x^{(1)2}} & \frac{\partial ^{2}f}{\partial x^{(1)}\partial x^{(2)}} & \cdots & \frac{\partial ^{2}f}{\partial x^{(1)}\partial x^{(n)}} \\
\frac{\partial ^{2}f}{\partial x^{(1)}\partial x^{(2)}} & \frac{\partial ^{2}f}{\partial x^{(2)2}} & \cdots & \frac{\partial ^{2}f}{\partial x^{(2)}\partial x^{(n)}} \\
\vdots & \vdots & \ddots & \vdots \\
\frac{\partial ^{2}f}{\partial x^{(1)}\partial x^{(n)}} & \frac{\partial ^{2}f}{\partial x^{(2)}\partial x^{(n)}} & \cdots & \frac{\partial ^{2}f}{\partial x^{(n)2}}
\end{bmatrix}$$
这个 $n$ 阶矩阵 $G(x_{0})$ 称为 $f(x)$ 在 $x_{0}$ 处的海森矩阵。
3. 利用海森矩阵判定多元函数的极值
我们已经知道如何判断二元函数的极值点，如果不了解，可先去阅读博客。
现在来考虑 $n$ 元函数的极值，自变量为向量 $x = (x^{(1)}, x^{(2)}, \cdots, x^{(n)})$，假如 $f(x)$ 在点 $x_{0}$ 的邻域有二阶连续偏导数，若
$$\frac{\partial f}{\partial x^{(j)}} = 0, j = 1,2,\cdots,n$$
并且
$$A = G(x_{0}) = \begin{bmatrix}
\frac{\partial ^{2}f}{\partial x^{(1)2}} & \frac{\partial ^{2}f}{\partial x^{(1)}\partial x^{(2)}} & \cdots & \frac{\partial ^{2}f}{\partial x^{(1)}\partial x^{(n)}} \\
\frac{\partial ^{2}f}{\partial x^{(1)}\partial x^{(2)}} & \frac{\partial ^{2}f}{\partial x^{(2)2}} & \cdots & \frac{\partial ^{2}f}{\partial x^{(2)}\partial x^{(n)}} \\
\vdots & \vdots & \ddots & \vdots \\
\frac{\partial ^{2}f}{\partial x^{(1)}\partial x^{(n)}} & \frac{\partial ^{2}f}{\partial x^{(2)}\partial x^{(n)}} & \cdots & \frac{\partial ^{2}f}{\partial x^{(n)2}}
\end{bmatrix}$$
则有如下结果：
1）当 $A$ 为正定矩阵时，$f(x)$ 在 $x_{0}$ 处是极小值。
2）当 $B$ 为负定矩阵时，$f(x)$ 在 $x_{0}$ 处是极大值。
