2022-10-27 14:07阅读: 159评论: 0推荐: 0

牛顿迭代法

最优化方法

最优化方法

迭代法

$x 为不动点 ⟺ f (x) = x$

求解非线性方程 $f (x) = 0$ ，可将其改写为具有解为不动点形式的另一个函数 $g (x)$ ，使得 $\forall x [f (x) = 0 \leftrightarrow g (x) = x]$ 。取任意初始值 $x_{0}$ 和相应的迭代结果 $x_{n} = g (x_{n - 1}) = (\underset{n}{\underset{⏟}{g \circ \dots \circ g}}) (x_{0})$ ，得到序列 ${x_{0}, x_{1}, \dots, x_{n}}$ ，若 $lim_{n \to \infty} x_{n} \to x_{c}$ ，由于 $lim_{n \to \infty} g (x_{n}) = lim_{n \to \infty} x_{n + 1} \to x_{c}$ ，故 $x_{c} = g (x_{c})$ 则 $x_{c}$ 为原方程 $f (x)$ 的一个解。称这一迭代法得到的序列收敛，也称这一迭代法本身收敛；否则发散。

由于构造的 $g (x)$ 和选择的 $x_{0}$ 不同，不同迭代法的收敛性和收敛过程也不同。

压缩映像原理

$g (x) 为区间 [a, b] 上的压缩映像 ⟺ \forall x \in [a, b] (g (x) \in [a, b]) and \exists L_{c} \in (0, 1), \forall x, y \in [a, b] (| g (x) - g (y) | \leq L_{c} | x - y |)$

若 $g (x) 为区间 [a, b] 上的压缩映像$ ，则

$g (x) 在区间 [a, b] 上存在 g (x) = x 的唯一解 x_{c}$
$\forall x_{0} \in [a, b] (lim_{n} x_{n} \to x_{c})$
迭代 $k$ 次后的误差：先验估计误差 $\frac{L_{c}^{k}}{1 - L_{c}} | g (x_{0}) - x_{0} |$ ，后验估计误差 $\frac{L_{c}}{1 - L_{c}} | x_{n} - x_{n - 1} |$

$L_{c}$ 代表了压缩比例。由误差公式可知， $L_{c}$ 越小，误差越小，收敛速度越快。在比较小的一个区间内， $L_{c}$ 近似为函数的导数的绝对值， $L_{c} \approx | g^{'} (x_{c}) |$ ，故此绝对值越小，局部收敛速度越快。

加速方法

参数法 $x_{n + 1} = \frac{g (x_{n}) - θ x_{n}}{1 - θ}$

\begin{aligned} g (x) - θ x & = (1 - θ) x \\ h (x) & = \frac{g (x) - θ x}{1 - θ} \\ h (x) 为新的迭代函数 & , 且 h^{'} (x) = \frac{g^{'} (x) - θ}{1 - θ} \end{aligned}

选择适当的 $θ$ ，令 $| h^{'} |$ 尽可能小。

松弛法 ${\begin{cases} ω_{n} = \frac{1}{1 - g^{'} (x_{n})}, \\ x_{n + 1} = (1 - ω_{n}) x_{n} + ω_{n} g (x_{n}) . \end{cases}$

\begin{aligned} h (x) & = (1 - ω) x + ω g (x) \\ h^{'} (x) & = (1 - ω) + ω g^{'} (x) \\ h^{'} (x) = 0 & ⟹ ω = \frac{1}{1 - g^{'} (x)} \end{aligned}

Altken 方法 ${\begin{cases} x_{n 1} = g (x_{n}), \\ x_{n 2} = g (x_{n 1}), \\ x_{n + 1} = x_{n 2} - \frac{(x_{n 2} - x_{n 1})^{2}}{x_{n 2} - 2 x_{n 1} + x_{n}} . \end{cases}$

取参数法的参数 $θ_{n} = \frac{g (g (x_{n})) - g (x_{n})}{g (x_{n}) - x_{n}} = \frac{x_{n 2} - x_{n 1}}{x_{n 1} - x_{n}}$ ，在参数法中能够令 $h^{'} (x) \approx 0$ 。

\begin{aligned} x_{n + 1} & = \frac{g (x_{n}) - θ}{1 - θ} \\ = x_{n 2} - \frac{(x_{n 2} - x_{n 1})^{2}}{x_{n 2} - 2 x_{n 1} + x_{n}} \end{aligned}

牛顿迭代法

迭代法是利用函数的收敛性计算非线性方程的解的一种方法，关键是要保证选择的迭代函数的收敛性。牛顿迭代法如下。

求单调函数 $f (x) = 0$ 的解

选择一个接近零点的数 $x_{0}$ ；
$x_{n + 1} = g (x_{n}) = x_{n} - \frac{f (x_{n})}{f^{'} (x_{n})}$ ；
$x_{n}$ 收敛到不动点。

该方法几种不同理解（获得方式）：

从图像上看，这一过程实际上是在求解方程 $x_{n + 1} f^{'} (x_{n}) + f (x_{n}) - x_{n} f^{'} (x_{n}) = 0$ ，这是一个过点 $(x_{n}, f (x_{n}))$ 且斜率为 $f^{'} (x_{n})$ 的直线。这条直线来源于原函数的泰勒展开，忽略二阶及以上的项， $f (x) \approx f (x_{0}) + f^{'} (x_{0}) (x - x_{0})$ 。变形后得到迭代函数 $g (x)$ 。

收敛速度：由压缩映像原理一节可知， $x_{c}$ 周围的迭代函数导数绝对值越小，收敛速度越快，若 $f^{'} (x_{c}) \neq 0$ ，由于 $f (x_{c}) = 0$ ， $g^{'} (x_{c}) = 1 - \frac{{f^{'}}^{2} (x_{c})}{{f^{'}}^{2} (x_{c})} = 0$ ，具有较快的收敛速度。

参数法中，选择迭代函数 $g (x) = x + f (x)$ 。获得速度优化后的新迭代函数 $h (x) = \frac{g (x) - θ x}{1 - θ}, h^{'} (x) = \frac{g^{'} (x) - θ}{1 - θ} = \frac{1 + f^{'} (x) - θ}{1 - θ}$ ，令 $h^{'} (x) = 0$ 得 $θ = 1 + f^{'} (x) = g^{'} (x)$ ，最终 $h (x) = \frac{g (x) - θ x}{1 - θ} = x - \frac{f (x)}{f^{'} (x)}$ 。但函数名还是被改为 $g (x)$ ，即 $g (x) \leftarrow h (x)$ 。