牛顿迭代法

最近的工作中，在求算子softamx时需要使用牛顿迭代法，记录下。

基本思想

牛顿迭代法的具体内容可以参考 牛顿迭代法的维基百科页面。

几何直觉

观察本文上面的图片，凭借我们的直觉可以发现，如果在函数\(f(x)\)的根附近的点\(x_n\)上画一条切线，这条切线与\(x\)轴的交点\(x_{n+1}\)比\(x_n\)更加接近方程的根。如果在\(x_{n+1}\)这个点继续使用上一次的方法，再画一条切线，可以想见新的切线与\(x\)轴的交点肯定比\(x_{n+1}\)更接近根，如此迭代就会越来越逼近方程的根。下面这幅图表示的更清晰

所以，据此可以推导出如下的方程，

\[\frac{0 - f(x_n)}{x_{n+1} - x_n} = f'(x_n) \]

进一步化简可以得到，

\[x_{n+1}=x_{n}-{\frac {f(x_{n})}{f'(x_{n})}} \]

这就是牛顿迭代法的基本公式。

但是牛顿迭代法不一定总是有效，已有证明牛顿迭代法的二次收敛必须满足以下条件：

• \(f'(x)\neq 0\);
• 对于所有\(x\in I\)，其中\(I\)为区间\([α − r, α + r]\)，且\(x_{0}\)在区间其中\(I\)内，即$ r\geqslant \left|a-x_{0}\right|\(的，对于所有\)x\in I\(，\)f''(x)$是连续的;
• \(x_{0}\)足够接近根 α。

所以使用牛顿迭代法，首先需要选择离方程的根足够近的起点，而且这个起点的切线斜率不能为0。

公式推导

牛顿迭代法的另一种推导方式是使用泰勒展开式

\[f(x)=f(x_0)+f^\prime(x_0)(x-x_0)+\frac{1}{2}f^{\prime\prime}(x_0)(x-x_0)^2+\dots + \frac{1}{n!}f^{(n)}(x_0)(x-x_0)^n + o(x-x_0)^n \]

使用一阶展开近似可以得到

\[f(x)=f(x_0)+f^\prime(x_0)(x-x_0) \]

化简就可以得到之前的方程(2)。

牛顿迭代法求极值

使用牛顿迭代法可以求函数的极值，通过迭代的方法求方程\(f(x)\)的极值。根据微积分原理，令\(f'(x) = 0\)的\(x\)就是函数的极值所在，同样利用泰勒公式展开到二阶，有

\[f(x)=f(x_0)+f^\prime(x_0)(x-x_0)+\frac{1}{2}f^{\prime\prime}(x_0)(x-x_0)^2 \]

两边同时对\(x\)求导数，并令其为0，我们就能得到

\[f^\prime(x_0)+f^{\prime\prime}(x_0)(x-x_0) = 0 \]

同样可以得到

\[x=x_0-{\frac {f''(x_{0})}{f'(x_{0})}} \]

这就是牛顿迭代法求极值的理论依据。

指令迭代

假设计算机中有求倒数的指令\(y = rec(x) = 1/x\)，但是精度不高，如何通过牛顿迭代法提高精度？

可以这么想，假设我们的输入是\(a\)，那么我们对输入求倒数就等价于求方程\(a = 1/x\)的根，也就是求方程\(f(x) = 1/x -a\)的根，那么根据牛顿迭代法，如果我们找到一个初值\(x_0\)，就可以按照如下的方程来迭代

\[x_{n+1} = x_n - \frac{f(x_n)}{f'(x_n)}=2x_n - ax_{n}^2 \]

而刚好这个初值就是指令使用一次之后的结果（相比随意找一个数字，这个值离根更近），即\(x_0 = 1/a = rec(a)\)。

更一般的，假如

我们利用指令\(f\)需要对数\(a\)做指令计算\(f(a)\)，但是该指令的精度不高，可以转化成求\(f^{-1}(x) = a\)得根，也就是求\(g(x) = f^{-1}(x) - a\)的根

比如，假如有求一个数的自然对数的指令vln，那么可以通过计算\(f(x) = e^x -a\)的根计算\(vln(a)\)的值。

方程举例

下面我们使用牛顿迭代法用C++的代码求解一个数的立方根，假定这个数是\(a\)，该问题等价于求方程\(x^3 = a\)的根，也就是求方程\(f(x) = x^3 - a\)的根。根据牛顿迭代法，可以按照如下的步骤求根

1. 确定迭代的终止条件，我们假设假定\(|x_n^3 - a |< 0.00001\)即停止该迭代；

2. 确定初始点，即选择合适的\(x_0\)。很明显如果\(a = 0\)，方程的根就是0，我们选取1作为初始点；

3. 确认迭代方程，根据方程(2)，我们的迭代方程是

   \[x_{n+1} = \frac{2x_n}{3}+\frac{a}{3x_n^2} \]

于是，我们的程序如下所示

#include <iostream>
#include <math.h>
using namespace std;

int main()
{
    double a,x0,x1,rsl;
    int times = 0;
    cin >> a;  //输入需要求解的数字

    x0 = 1.0;
    rsl = fabs(x0*x0*x0 - a);

    while(rsl > 0.00001)
    {
        x1 = (2/3.0)*x0 + a/(3.0*x0*x0);
        x0 = x1;
        rsl = fabs(x1*x1*x1 - a);
        times++;
        cout << times << " : " << "actual data -- " << x1*x1*x1 << ", result -- " \
            << rsl << endl;
    }

    cout << "Final x is "<< x1 << " and result is "<< x1*x1*x1 << endl;
    return 0;
}

使用这个程序求解-34.5的立方根结果如下

1 : actual data -- -1271.41, result -- 1236.91
2 : actual data -- -392.257, result -- 357.757
3 : actual data -- -132.242, result -- 97.7418
4 : actual data -- -56.6032, result -- 22.1032
5 : actual data -- -37.2522, result -- 2.75222
6 : actual data -- -34.5672, result -- 0.0672223
7 : actual data -- -34.5, result -- 4.35659e-05
8 : actual data -- -34.5, result -- 1.83391e-11
Final x is -3.25542 and result is -34.5

可以看出通过8轮迭代就找到了-34.5的近似根-3.25542。