【最优化方法】第四次要点整理

目录

• 梯度下降法
  • 梯度下降法的收敛性
• 最速下降法
• 牛顿法
  • 修正牛顿法
  • 阻尼牛顿法

梯度下降法

【算法原理】给定 $x_k$，设 $f(x)$ 一阶可微，给定 $d \in \mathbb{R}^n$，有：

$$\begin{aligned} f'(x_k, d) &= \lim_{t\rightarrow 0^{+}} \frac{f(x_k + td) - f(x_k)}{t} \\ (泰勒展开) &= \lim_{t\rightarrow 0^{+}} \frac{f(x_k) + \nabla f(x_k)^\top td + o(t) - f(x_k)}{t} \\ &= \nabla f(x_k)^\top d \end{aligned}$$

取 $d = - \nabla f(x_k)$ 是 $f(x)$ 在 $x=x_k$ 处下降最快的方向。

【算法步骤】初值设为 $x_0, \varepsilon$，迭代方程为：

$$x_{k+1} = x_k - \alpha_k \nabla f(x_k)$$

其中 $\alpha_k$ 由精确线搜索或非精确线搜索技术求得。停机准则为：

$$|| \nabla f(x_k) || \leq \varepsilon$$

梯度下降法的收敛性

【定义 1】如果函数 $f$ 在区间 $D$ 上 Lipschitz 连续，那么对于 $\forall x,y \in D$，有：

$$\exists L > 0, \ || \nabla f(x) - \nabla f(y) || \leq L ||x-y||$$

其中常数 $L$ 称为 $f$ 在区间 $D$ 上的 Lipschitz 常数。

【定义 2】若 $f(x)$ 在区间 $D$ 上 $k$ 阶连续可微，且 $f(x)$ 的 $p$ 阶导数在区间 $D$ 上具有常数 $L$ 的 Lipschitz 连续性，则 $f(x) \in C^{k,p}_L(D)$。

【引理 1】设 $f(x) \in C^{1,1}_L(\mathbb{R}^n)$，则对于 $\forall x,y \in \mathbb{R}^n$，有：

$$|f(y) - f(x) - \nabla f(x_k)^\top (y-x)| \leq \frac{L}{2} ||y-x||^2$$

【引理 2】设 $f(x)$ 二阶连续可微，则$\nabla f(x)$ 具有常数 $L$ 的 Lipschitz 连续性当且仅当 $|| \nabla^2 f(x) ||_2 \leq L$。

【定理】设 $f(x) \in C^{1,1}_L(\mathbb{R}^n)$，$f(x)$ 有下界，$\forall \alpha \in (0, \frac{2}{L})$，且算法产生的无穷迭代点列为 $\{x_k\}$，则：

• $\lim \limits_{k\rightarrow \infty} ||\nabla f(x_k)|| =0$
• $\{x_k\}$ 的任一聚点 $x^*$ 满足 $\nabla f(x^*) = 0$
• $g^*_N \leq \frac{c}{N+1} (f(x_0) - f^*)^{\frac{1}{2}}$，其中 $c$ 为常数，$f^* = \min f(x)$，$g^*_N = \min \limits_{0 \leq k \leq N} ||\nabla f(x_k)||^2$

数列的聚点是指在无限数列中，无限接近于某个数的数值。换句话说，聚点是数列中可能出现的极限值。

最速下降法

【算法原理】每一次迭代，均沿梯度的反方向：

$$x_{k+1} = x_{k} - \alpha_{k} \nabla f(x_{k})$$

其中：

$$\alpha_{k} = \mathop{\arg\min}_{\alpha \geq 0} f(x_{k} - \alpha_{k} \nabla f(x_{k})) = \mathop{\arg\min}_{\alpha \geq 0} f(x_{k+1})$$

【性质】最速下降法每次更新的轨迹都和上一次垂直，即：

$$\nabla f(x_{k} - \alpha_{k} \nabla f(x_{k}))^\top \cdot \nabla f(x_{k}) = 0$$

或：

$$\nabla f(x_{k+1})^\top \cdot \nabla f(x_{k}) = 0$$

因此，当用最速下降法寻找极小点时，其搜索路径呈直角锯齿状。

【算法步骤】

• 第一步：选取初始点 $x_0$，给定终止误差 $\varepsilon > 0$ ，令 $k=0$
• 第二步：计算 $\nabla f(x_k)$，若 $|| \nabla f(x_k) || \leq \varepsilon$，停止迭代并输出 $x^*=x_k$；否则进行第三步
• 第三步（确定迭代方向）：取 $p_k = -\nabla f(x_k)$
• 第四步（确定步长）：进行一维搜索，求 $\lambda_k$，使得：

$$f(x_k + \lambda_k p_k) = \mathop{\min}_{\lambda \geq 0} f(x_k + \lambda p_k)$$

令 $x_{k+1} \leftarrow x_k + \lambda_k p_k$，$k \leftarrow k+1$，回到第二步

【最速下降法与梯度下降法的细微差别】对于梯度下降法，我们需要预先设定步长 $\alpha$；而最速下降法的步长 $\alpha_k$ 是通过优化函数计算得到的。也就是说两者的区别在于每次迭代的步长是否恒定。

【例题】

牛顿法

【算法原理】$f(x)$ 在 $x_k$ 处的二阶泰勒展开：

$$f(x_{k+1}) = f(x_k) + \nabla f(x_k)^\top (x_{k+1} - x_k) + \frac{1}{2} (x_{k+1} - x_k)^\top \nabla^2 f(x_k) (x_{k+1} - x_k)$$

设 $d_k = x_{k+1} - x_k$，则上式可变为：

$$f(x_{k} + d_k) = f(x_k) + \nabla f(x_k)^\top d_k + \frac{1}{2} d_k^\top \nabla^2 f(x_k) d_k$$

那么当 $d_k$ 取多少时，可以使 $f(x_{k} + d_k)$ 最小？对上式两边对 $d_k$ 求梯度得：

$$\nabla f(x_{k} + d_k) = \nabla f(x_k) + \nabla^2 f(x_k) d_k$$

当 $f(x_{k} + d_k)$ 最小时，有：

$$\nabla f(x_{k} + d_k) = \nabla f(x_k) + \nabla^2 f(x_k) d_k = 0$$

即：

$$d_k = - (\nabla^2 f(x_k))^{-1} \nabla f(x_k)$$

这个就是牛顿方向。

【算法步骤】

• 第一步：选取初始点 $x_0$，给定终止误差 $\varepsilon > 0$ ，令 $k=0$
• 第二步：计算 $\nabla f(x_k)$，若 $|| \nabla f(x_k) || \leq \varepsilon$，停止迭代并输出 $x^*=x_k$；否则进行第三步
• 第三步（确定迭代方向）：取 $d_k = -(\nabla^2 f(x_k))^{-1} \nabla f(x_k)$
• 第四步（迭代更新）：令 $x_{k+1} \leftarrow x_k + d_k = x_k - (\nabla^2 f(x_k))^{-1} \nabla f(x_k)$，$k \leftarrow k+1$，回到第二步

牛顿法的适用条件：

• 海塞矩阵 $\nabla^2 f(x_k)$ 正定，若半正定可能会退化为线性收敛
• $x_0$ 要靠近 $x^*$（目标解为 $x^*$）

【优缺点】

• 优点：收敛速度非常快，是二阶收敛速度
• 缺点：
  • 无法保证 $\nabla^2 f(x_k)$ 正定且可逆，且计算成本较大（若 $\nabla^2 f(x_k)$ 不是正定的，则迭代方向不是下降方向）
  • 无法保证 $x_0$ 充分靠近 $x^*$，否则会导致迭代不稳定，进而导致算法无法收敛（局部收敛性）

【改进】

• 改进第一个缺点：修正 $\nabla^2 f(x_k)$ 使其正定，于是就有了修正牛顿法
• 改进第二个缺点：引入线搜索技术，于是就有了阻尼牛顿法

修正牛顿法

【牛顿-梯度混合下降法（Goldstein-Price 算法，或 G-P 算法）】在每步迭代中：

$$d_k = \begin{cases} -(\nabla^2 f(x_k))^{-1} \nabla f(x_k), \ \ 当 \nabla^2 f(x_k) 正定 \\ -\nabla f(x_k), \ \ 其他情况 \end{cases}$$

【正则化牛顿法（Levenberg-Marquardt 算法，或 L-M 算法）】修正方法如下：

• 若 $\nabla^2 f(x_k)$ 不正定，取 $Q_k > - \lambda_{\mathop{min}} (\nabla^2 f(x_k))$（即取其特征值中的最小值）
• 若 $\nabla^2 f(x_k)$ 正定，取 $Q_k = 0$

则 $G_k = \nabla^2 f(x_k) + Q_k I$ 正定，其中 $I$ 为单位阵。此时 L-M 算法的下降方向为：

$$d_k = -(\nabla^2 f(x_k) + Q_k I)^{-1} \nabla f(x_k) = - G_k \nabla f(x_k)$$

只要 $Q_k$ 足够大，一定可以使海塞矩阵的所有特征值都大于 0。

阻尼牛顿法

【算法步骤】

• 第一步：选取初始点 $x_0$，给定终止误差 $\varepsilon > 0$ ，令 $k=0$
• 第二步：计算 $\nabla f(x_k)$，若 $|| \nabla f(x_k) || \leq \varepsilon$，停止迭代并输出 $x^*=x_k$；否则进行第三步
• 第三步（确定迭代方向）：取 $d_k = -(\nabla^2 f(x_k))^{-1} \nabla f(x_k)$
• 第四步：沿着搜索方向 $d_k$ 进行精确或非精确线搜索，确定 $\alpha_k$
• 第五步（迭代更新）：令 $x_{k+1} \leftarrow x_k + \alpha_k d_k = x_k - \alpha_k (\nabla^2 f(x_k))^{-1} \nabla f(x_k)$，$k \leftarrow k+1$，回到第二步