梯度法，牛顿法，拟牛顿法

牛顿法推导

牛顿法相当于已知一点的函数值，一介函数值，二阶函数值，可以拟合出一个二次方程的曲线，然后二次方程的最低点也就是下一次更新的x值

 

但是会面对二阶导非正定的情况，加上hessen矩阵求非常麻烦，所以就有了拟牛顿BFGS

 

 

B0的初始值，工程上不是I，取为yk/sk,也就是近似的二阶导