最优化 梯度 海塞矩阵

一、方向导数

lim t->0  f(x0+td)-f(x0)  /   t 存在

则该极限为f在x0处沿方向d的方向导数

 

记为

    ∂ f/∂ d

下降方向：

方向导数∂ f/∂ d <0 ，则d为f在x0处的下降方向

 

二、梯度

 对于向量x,若每个偏导数

  ∂ f/∂ x(i) 都存在

则列向量为f在x处的梯度

 

记号

▽f(x)

 

三、可微与梯度

 

可微则一定存在梯度

梯度存在不一定可微

 

定理

若f在x处可微，则 方向导数=梯度 的转置*方向向量d

 

四、海塞矩阵

（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。

 

海塞矩阵由目标函数  f在点x处的二阶偏导数组成的  n×n阶矩阵

 

当二阶偏导连续，矩阵为对称矩阵