二阶优化方法

牛顿法

用目标函数的二阶泰勒展开式来近似目标函数，然后对这个二阶展开式求极值就可以得到迭代公式。

优点：收敛速度快

缺点：计算复杂度大，且要求海森矩阵正定。

 

拟牛顿法

用正定矩阵近似海赛矩阵的逆矩阵或海赛矩阵，简化了计算的过程。

 

参考博客

https://blog.csdn.net/itplus/article/details/21896453