Newton法

崔雪婷 最优化基础理论与方法 3.2章节

1.目标

无约束优化问题
$min\ f(x),x\in R^n$
其中$f(x)$是二阶可微的

2.牛顿法的思想

设$x^*$是局部解，则$x^*$满足

$$\nabla f(x)=0$$

选取初始点$x^1$,在$x^1$出按照泰勒展开，取二次近似多项式

$$f(x)\approx f(x^1)+\nabla f(x^1)^T(x-x^1)+\frac{1}{2}(x-x^1)\nabla^2f(x^1)(x-x^1)$$

令近似二次函数的导数=0，得到

$$\nabla f(x^1)+\nabla^2f(x^1)(x-x^1)=0$$

当$\nabla^2f(x^1)$是非奇异矩阵时，求解线上式得到
$x^2=x^1-[\nabla^2f(x^1)]^{-1}\nabla f(x^1),\quad 这里x^2是迭代值$
作为$x^*$的近似
注意，该方法只有$f(x)$在展开点处的Hesse矩阵$\nabla^2 f(x^1)$非奇异时才可以使用
即有迭代公式(牛顿公式)

$$x^{k+1}=x^k-[\nabla^2f(x^k)]^{-1}\nabla f(x^k)$$

可以改写为
$x^{k+1}=x^k+d^k,其中d^k是线性方程组\nabla^2(x^k)d=-\nabla f(x^k)的解向量$

3.牛顿法的步骤

• 1.取初始点$x^1$,置精度$epsilon$,置k=1$
• 2.如果$||\nabla f(x^k)||\le \epsilon,则停止计算(x^k作为无约束问题的解);否则，求解线性方程组$

$$\nabla^2f(x^k)d=-\nabla f(x^k)$$

得到$d^k$

• 3.置

$$x^{k+1}=x^k+d^k,k:=k+1$$

转第2步

4.优缺点

优点：当初始点$x^0$取得比较接近于收敛点$x^*$，且$\nabla^2f(x)满足较好的性质(正定),具有二阶收敛，二次终止性$
缺点：计算量大(Hessian矩阵)，适用范围较窄