Newton方法

Newton方法主要解决无等式约束和等式约束的最优化方法。

1、函数进行二阶泰勒展开近似

Taylor近似函数求导等于0进而得到Newton步径。(搜索方向)

2、Newton减量（停止条件）

当1/2λ²<ε停止搜索

3、搜索策略

回溯直线搜索确定搜索步长t

P.s 回溯直线搜索

下降方法：Δx步径即为搜索方向，t步长或者步进或者叫比例因子

下降方向：gradient*步径<0即为下降方向

直线搜索：x:=x+tΔx

回溯直线搜索 Backtracking Line Search(BLS)