牛顿迭代法的可视化详解

牛顿迭代法（Newton's method）又称为牛顿-拉夫逊（拉弗森）方法（Newton-Raphson method），它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。

以 Isaac Newton 和 Joseph Raphson 命名的 Newton-Raphson 方法在设计上是一种求根算法，这意味着它的目标是找到函数 f(x)=0 的值 x。在几何上可以将其视为 x 的值，这时函数与 x 轴相交。

Newton-Raphson 算法也可以用于一些简单的事情，例如在给定之前的连续评估成绩的情况下，找出预测需要在期末考试中获得 A 的分数。其实如果你曾经在 Microsoft Excel 中使用过求解器函数，那么就使用过像 Newton-Raphson 这样的求根算法。另外一个复杂用例是使用 Black-Scholes 公式反向求解金融期权合约的隐含波动率。

Newton-Raphson公式

虽然公式本身非常简单，但如果想知道它实际上在做什么就需要仔细查看。

首先，让我们回顾一下整体方法：

1、初步猜测根可能在哪里

2、应用 Newton-Raphson 公式获得更新后的猜测，该猜测将比初始猜测更接近根

3、重复步骤 2，直到新的猜测足够接近真实值。

这样就足够了吗？Newton-Raphson 方法给出了根的近似值，尽管通常它对于任何合理的应用都足够接近！但是我们如何定义足够接近？什么时候停止迭代？

一般情况下Newton-Raphson 方法有两种处理何时停止的方法。1、如果猜测从一个步骤到下一步的变化不超过阈值，例如 0.00001，那么算法将停止并确认最新的猜测足够接近。2、如果我们达到一定数量的猜测但仍未达到阈值，那么我们就放弃继续猜测。

从公式中我们可以看到，每一个新的猜测都是我们之前的猜测被某个神秘的数量调整了🔮。如果我们通过一个例子来可视化这个过程，它很快就会清楚发生了什么!

作为一个例子，让我们考虑上面的函数，并做一个 x=10 的初始猜测（注意这里实际的根在 x=4）。Newton-Raphson 算法的前几个猜测在下面的 GIF 中可视化👇

我们最初的猜测是 x=10。为了计算我们的下一个猜测，我们需要评估函数本身及其在 x=10 处的导数。在 10 处求值的函数的导数只是简单地给出了该点切线曲线的斜率。该切线在 GIF 中绘制为 Tangent 0。

看下一个猜测相对于前一个切线出现的位置，你注意到什么了吗？下一个猜测出现在前一个切线与 x 轴相交的位置。这就是 Newton-Raphson 方法的亮点！

事实上， f(x)/f'(x) 只是给出了我们当前猜测与切线穿过 x 轴的点之间的距离（在 x 方向上）。正是这个距离告诉我们每次更新的猜测是多少，正如我们在 GIF 中看到的那样，随着我们接近根本身，更新变得越来越小。

 

 完整文章：

https://www.overfit.cn/post/37cdf43c67df46bbb1ac52418a4237ef