Jacobian矩阵和Hessian矩阵

1.Jacobian矩阵

在矩阵论中，Jacobian矩阵是一阶偏导矩阵，其行列式称为Jacobian行列式。假设 函数 $f:R^n \to R^m$， 输入是向量 $x \in R^n$ ，输出为向量 $f(x) \in R^m$ ,那么对应的Jacobian矩阵 $J$ 是一个 $m*n$ 的矩阵，其定义如下：

\[\mathbf J = \frac{d\mathbf f}{d\mathbf x} = \begin{bmatrix}\dfrac{\partial \mathbf{f}}{\partial x_1} & \cdots & \dfrac{\partial \mathbf{f}}{\partial x_n} \end{bmatrix}= \begin{bmatrix}\dfrac{\partial f_1}{\partial x_1} & \cdots & \dfrac{\partial f_1}{\partial x_n}\\
    \vdots & \ddots & \vdots\\
    \dfrac{\partial f_m}{\partial x_1} & \cdots & \dfrac{\partial f_m}{\partial x_n} \end{bmatrix}\]

或者，也可以记作：

\[\mathbf J_{i,j} = \frac{\partial f_i}{\partial x_j} .\]

 

2.Hessian矩阵

假设函数 $f:R^n \to R$ 的输入 $x\in R^n$，输出 $f(x)\in R$。如果函数$f$的二阶偏导全部存在，并在定义域内连续，那么函数$f$的Hessian矩阵$H$