Newton法

崔雪婷 最优化基础理论与方法 3.2章节

1.目标

无约束优化问题
\(min\ f(x),x\in R^n\)
其中\(f(x)\)是二阶可微的

2.牛顿法的思想

设\(x^*\)是局部解，则\(x^*\)满足

\[\nabla f(x)=0 \]

选取初始点\(x^1\),在\(x^1\)出按照泰勒展开，取二次近似多项式

\[f(x)\approx f(x^1)+\nabla f(x^1)^T(x-x^1)+\frac{1}{2}(x-x^1)\nabla^2f(x^1)(x-x^1) \]

令近似二次函数的导数=0，得到

\[\nabla f(x^1)+\nabla^2f(x^1)(x-x^1)=0 \]

当\(\nabla^2f(x^1)\)是非奇异矩阵时，求解线上式得到
\(x^2=x^1-[\nabla^2f(x^1)]^{-1}\nabla f(x^1),\quad 这里x^2是迭代值\)
作为\(x^*\)的近似
注意，该方法只有\(f(x)\)在展开点处的Hesse矩阵\(\nabla^2 f(x^1)\)非奇异时才可以使用
即有迭代公式(牛顿公式)

\[x^{k+1}=x^k-[\nabla^2f(x^k)]^{-1}\nabla f(x^k) \]

可以改写为
\(x^{k+1}=x^k+d^k,其中d^k是线性方程组\nabla^2(x^k)d=-\nabla f(x^k)的解向量\)

3.牛顿法的步骤

• 1.取初始点\(x^1\),置精度\(epsilon\),置k=1$
• 2.如果\(||\nabla f(x^k)||\le \epsilon,则停止计算(x^k作为无约束问题的解);否则，求解线性方程组\)

\[\nabla^2f(x^k)d=-\nabla f(x^k) \]

得到\(d^k\)

• 3.置

\[x^{k+1}=x^k+d^k,k:=k+1 \]

转第2步

4.优缺点

优点：当初始点\(x^0\)取得比较接近于收敛点\(x^*\)，且\(\nabla^2f(x)满足较好的性质(正定),具有二阶收敛，二次终止性\)
缺点：计算量大(Hessian矩阵)，适用范围较窄