最优化方法_Part2

5 无约束优化问题（壹）

5.1 无约束优化问题

5.1.1 无约束优化问题：$minf(\mathit{x})$

• 最小二乘问题：$min\Vert \mathit{A}\mathit{x}\mathbf{-}\mathit{b}\Vert$；
• 采用适当的方法可将约束优化问题转换为无约束优化问题；
• 最优解的定义：
  • 局部最优解$\bar{\mathit{x}}$：$\mathrm{\forall }\mathit{x}\in {\mathit{N}}_{ϵ}(\bar{\mathit{x}}),f(\mathit{x})\ge f(\bar{\mathit{x}})$
  • 全局最优解${\mathit{x}}^{\ast }$：$\mathrm{\forall }\mathit{x}\in {\mathbb{R}}^n,f(\mathit{x})\ge f({\mathit{x}}^{\ast })$
  • 严格局部/全局最优解：即将上面式子中的$\ge \to >$

5.1.2 无约束优化问题最优性条件

考虑无约束优化问题：$minf(\mathit{x})$：

• 若$f(\mathit{x})$为凸函数，则${\mathit{x}}^{\ast }$是最优解等价于$▽f({\mathit{x}}^{\ast })=\mathbf{0}$

• 若$f(\mathit{x})$为一般函数(即不一定是凸函数)：

  • 一阶必要条件
    假设$f(x)$在${\mathit{x}}^{\ast }$处是可微的，如果${\mathit{x}}^{\ast }$是局部最小值，那么$▽f({\mathit{x}}^{\ast })=\mathbf{0}$
  • 二阶必要条件
    假设$f(x)$在${\mathit{x}}^{\ast }$处是二阶可微的，如果${\mathit{x}}^{\ast }$是局部最小值，那么$▽f({\mathit{x}}^{\ast })=\mathbf{0}$和${▽}^{2}f({\mathit{x}}^{\ast })⪰\mathbf{0},(\mathrm{即}\mathrm{黑}\mathrm{塞}\mathrm{矩}\mathrm{阵}\mathrm{半}\mathrm{正}\mathrm{定})$
    泰勒展开形式
  • 二阶充分条件
    假设$f(x)$在${\mathit{x}}^{\ast }$处是二阶可微的，如果$▽f({\mathit{x}}^{\ast })=\mathbf{0}$和${▽}^{2}f({\mathit{x}}^{\ast })\succ \mathbf{0},(\mathrm{即}\mathrm{黑}\mathrm{塞}\mathrm{矩}\mathrm{阵}\mathrm{正}\mathrm{定})$，那么${\mathit{x}}^{\ast }$是局部最小值。

修改：判定(半)正定矩阵的特殊大于(等于)简写符号为：$\succ ,⪰$，并不是$>,\ge$

5.2 无约束优化算法概要

5.2.1 迭代下降算法

给定初始点${\mathit{x}}_0$，产生点列${\left\{\begin{array}{c}{\mathit{x}}_k\end{array}\right\}}_{k=1}^{\mathrm{\infty }}$，并且$f({\mathit{x}}_{k+1})<f({\mathit{x}}_k)$。

• 如何从当前点${\mathit{x}}_k$得到下一个迭代点${\mathit{x}}_{k+1}$？

  • 策略1：线搜索方法

    • 当前点${\mathit{x}}_k$，从这个点出发，先找到某一个下降方向${\mathit{d}}_k$(即沿着该方向函数值减小)，然后需要设置在下降方向走多远(步长)${\alpha }_k$，最终，得到下一个点为：${\mathit{x}}_{k+1}={\mathit{x}}_k+{\alpha }_k{\mathit{d}}_k$

  • 策略2：信赖域方法

    • 该方法有点和线搜索步骤反过来的意味，即先确定好需要前进的区域，然后选择前进的方向。

    • 设前进区域设为$\mathit{p}$，给定其约束为$\mathrm{\Delta }$，可以表述为

    • $$\{\begin{array}{ll}\text{ min }& f({\mathit{x}}_k+\mathit{p})\\ \text{ s.t.}& \Vert \mathit{p}{\Vert }_2\le \mathrm{\Delta }\end{array}$$

      注意：在线搜索方法中，选择步长是一个一元/一维的问题；但信赖域方法是一个N维问题($f$可能是一个比较复杂的函数)，因此信赖域方法直接求解复杂度较大。所以信赖域方法在求解时并不是直接求解上述优化，而是需要先用一个简单的函数$m_k(\mathit{p})$对$f$在${\mathit{x}}_k$点进行近似，比如用泰勒展开等方法。

      $$\{\begin{array}{ll}\text{ min }& m_k(\mathit{p})\\ \text{ s.t.}& \Vert \mathit{p}{\Vert }_2\le \mathrm{\Delta }\end{array}$$

      信赖域方法有几点需要考虑：

      (1) $\mathrm{\Delta }$如何确定；(2) $m_k(\mathit{p})$如何选择，误差较大怎么办。

5.2.2 (基于线搜索)下降算法基本思路

• STEP1：给定初始点${\mathit{x}}_0,k=0$
• STEP2：判断${\mathit{x}}_k$是否满足终止条件；是则终止
• STEP3：否则寻找${\mathit{x}}_k$处的下降方向${\mathit{d}}_k$
• STEP4：设置步长${\alpha }_k$，使得$f({\mathit{x}}_k+{\alpha }_k{\mathit{d}}_k)<f({\mathit{x}}_{k+1})$
• STEP5：令${\mathit{x}}_{k+1}={\mathit{x}}_k+{\alpha }_k{\mathit{d}}_k$；令$k=k+1$，转STEP1。

(一) 终止条件

常用的终止条件：

$$\Vert ▽f({\mathit{x}}_k){\Vert }_2\le \epsilon$$

其中，$\epsilon$理论上取0，但在实际编程中一般取一个量级很小的数。此外要注意对于凸函数，此条件一定是最优解，但是非凸函数该终止条件找到的点就不一定是最优解了。

其他终止条件：

$$\Vert {\mathit{x}}_k-{\mathit{x}}_{k-n}{\Vert }_2\le \epsilon$$

$$f({\mathit{x}}_k)-f({\mathit{x}}_{k-n})\le \epsilon$$

(二) 下降方向

常用的下降方向——负梯度方向

$${\mathit{d}}_k=-▽f({\mathit{x}}_k)$$

该方法又称最速下降法(Steepest descent)是梯度下降法的一种更具体实现形式。

其他下降方向选择：牛顿方向、共轭梯度方向等。

(三) 步长

令$\varphi (\alpha ):=f({\mathit{x}}_k+\alpha {\mathit{d}}_k)$，为一元函数。则可建模为：

$$min\varphi (\alpha )$$

在确定${\alpha }_k$的过程称为一维线搜索。

(四) 点列收敛性/收敛速度

我们的算法会产生一个点列${\left\{\begin{array}{c}{\mathit{x}}_k\end{array}\right\}}_{k=1}^{\mathrm{\infty }}$，若点列不收敛，则可认为该算法不好。另外，收敛速度越快，算法越好。

5.2.3 求解步长——线搜索方法详解

求解一元问题：

$$\{\begin{array}{ll}\text{ min }& \varphi (\alpha ):=f({\mathit{x}}_k+\alpha {\mathit{d}}_k)\\ \text{ s.t.}& \alpha >0\end{array}$$

其解记为${\alpha }^{\ast }$。

(一) $f(\mathit{x})$为一个简单函数

若$f(\mathit{x})$为一个简单函数，如二次函数：$f(\mathit{x})={\displaystyle \frac{1}{2}}{\mathit{x}}^{\mathrm{T}}\mathit{H}\mathit{x}+{\mathit{c}}^{\mathrm{T}}\mathit{x}+b,\mathit{H}(\mathrm{黑}\mathrm{塞}\mathrm{矩}\mathrm{阵})\succ 0$。黑塞矩阵正定则$f$为凸函数，则$\varphi (\alpha )$也是凸函数。代入可得：

$$\begin{array}{rl}\varphi (\alpha )& ={\displaystyle \frac{1}{2}}{({\mathit{x}}_k+\alpha {\mathit{d}}_k)}^{\mathrm{T}}\mathit{H}({\mathit{x}}_k+\alpha {\mathit{d}}_k)+{\mathit{c}}^{\mathrm{T}}({\mathit{x}}_k+\alpha {\mathit{d}}_k)+b\\ & ={\displaystyle \frac{1}{2}}({\mathit{d}}_k^{\mathrm{T}}\mathit{H}{\mathit{d}}_k){\alpha }^2+({\mathit{d}}_k^{\mathrm{T}}\mathit{H}{\mathit{x}}_k+{\mathit{c}}^{\mathrm{T}}{\mathit{d}}_k)\alpha +b\end{array}$$

对于开口向上的二次函数，求最小，即导数为零即可。

$$\varphi (\alpha {)}^{\prime }=0$$

(二) $f(\mathit{x})$为一个复杂非线性函数

若$f(\mathit{x})$为一个复杂非线性函数，则$min\varphi (\alpha )$问题就变得复杂起来了。下面简单介绍几种常见的处理方法：

• 基于搜索区间的直接搜索法

  • 首先找到一个搜索区间，想办法缩小搜索区间(注意缩小时不用把${\alpha }^{\ast }$扔掉)，缩小到一定程度时，则可将区间内的一点作为最优解的近似。
  • 搜索区间$[a_0,b_0]$：需要包含${\alpha }^{\ast }$；单谷(即在搜索区间内，函数只有一个下凸，且要注意以下推导都基于此前提)
  • 方法：选取$\lambda ,\mu \in (a_0,b_0)$且满足$\lambda <\mu$
    • 若$\varphi (\lambda )<\varphi (\mu )$，则得到新的搜索区间为$[a_1,b_1]=[a_0,\mu ]$
    • 若$\varphi (\lambda )>\varphi (\mu )$，则得到新的搜索区间为$[a_1,b_1]=[\lambda ,b_0]$
  • 常见的直接搜索法：
    • 均匀搜索法：
      • 令$\delta =(b_0-a_0)/N,{\alpha }_i=a_0+i\delta ,i=1,2,\cdots ,N-1$
      • 比较相邻3个点对应的函数值，若对于某个$i$，有$\varphi ({\alpha }_{i-1})>\varphi ({\alpha }_i)<\varphi ({\alpha }_{i+1})$，则${\alpha }^{\ast }\in [{\alpha }_{i-1},{\alpha }_{i+1}]$；
      • 得到新的搜索区间$[a_1,b_1]=[{\alpha }_{i-1},{\alpha }_{i+1}]$
    • 黄金区间法(0.618法)：
      • 令$\tau =(\sqrt{5}-1)/2=0.618,\lambda =a_0+(1-\tau )(b_0-a_0),\mu =a_0+\tau (b_0-a_0)$
      • 若$\varphi (\lambda )<\varphi (\mu )$，则${\alpha }^{\ast }\in [a_0,\mu ]$，即新的搜索区间；
    • 基于导数信息的二分法
      • 记区间中点$\lambda ={\displaystyle \frac{b_0+a_0}{2}}$，计算该点的导数值${\varphi }^{\prime }(\lambda )$；
      • 若${\varphi }^{\prime }(\lambda )=0$$，\mathrm{则}$${\alpha }^{\ast }=\lambda$；
      • 若${\varphi }^{\prime }(\lambda )<0$$，\mathrm{则}$${\alpha }^{\ast }\in [\lambda ,b_0]$；
      • 若${\varphi }^{\prime }(\lambda )>0$$，\mathrm{则}$${\alpha }^{\ast }\in [a_0,\lambda ]$；

• 非精确线搜索

  实际下降算法中，步长的选取除了直接搜索法以外，还有其他一些方法，我们认为只要$\alpha$满足一定的准则，此时即使$\alpha$不是精确解也可以作为最终解的近似解。

  • Armijo条件：$\varphi (\alpha )\le \varphi (0)+c_1\alpha {\varphi }^{\prime }(0),0\le c_1\le 1$

• Goldstein法则：除Armijo条件外还要去$\mu$满足：$\varphi (\alpha )>\varphi (0)+c_2\alpha {\varphi }^{\prime }(0),0\le c_1\le c_2\le 1$

5.2.4 补充：收敛性

基于线搜索的迭代下降算法

• 为保证全局收敛，步长${\alpha }_k$和下降方向${\mathit{d}}_k$的选取均需满足定的条件：
  • 记当前点${\mathit{x}}_k$处所选取下降方向${\mathit{d}}_k$与负梯度方向$-▽f({\mathit{x}}_k)$的夹角为${\theta }_k$：
  • $\cos {\theta }_k={\displaystyle \frac{-▽f({\mathit{x}}_k{)}^{\mathrm{T}}{\mathit{d}}_k}{\Vert ▽f({\mathit{x}}_k)\Vert \Vert {\mathit{d}}_k\Vert }}$

Zoutendijk定理说明：

为了保证全局收敛，需要在选取步长和下降方向时候注意满足一定的条件

此外注意区分：全局收敛与收敛到全局最优解的区别

(1) 全局收敛是指在迭代下降算法初始点选取时，任意随机选取初始点都能保证所产生的点列满足收敛性；

(2) 收敛到全局最优解

• 在适当条件下，迭代点列${\mathit{x}}_k$满足：$\sum _{k=1}^{\mathrm{\infty }}{\cos }^2{\theta }_k\Vert ▽f({\mathit{x}}_k){\Vert }^2<\mathrm{\infty }$，点列收敛

• 当每次选取${\mathit{d}}_k$时均保证${\theta }_k$满足$\cos {\theta }_k\ge \delta ,\delta >0$，则：$\Vert ▽f({\mathit{x}}_k)\Vert \to 0$

  通俗讲就是不要让下降方向${\mathit{d}}_k$与负梯度方向$-▽f({\mathit{x}}_k)$的夹角太接近${\displaystyle \frac{\pi }{2}}$，夹角尽量小。

Zoutendijk定理中的适当条件和证明：

假设函数$f(\mathit{x})$有下界(保证有解存在)，且$▽f(\mathit{x})$是Lipschitz连续的，即存在$L>0$使得：

$$\Vert ▽f(\mathit{x})-▽f(\tilde{\mathit{x}})\Vert \le L\Vert \mathit{x}-\tilde{\mathit{x}}\Vert ,\mathrm{\forall }\mathit{x},\tilde{\mathit{x}}$$

记迭代过程为${\mathit{x}}_{k+1}={\mathit{x}}_k+{\alpha }_k{\mathit{d}}_k$，则

$$\sum _{k=1}^{\mathrm{\infty }}{\cos }^2{\theta }_k\Vert ▽f({\mathit{x}}_k){\Vert }^2<\mathrm{\infty }$$

证明部分没有细看，太复杂了。。。！！！

此外，这里感觉很难理解，找了一些参考材料，有时间看看吧

漫步最优化二十一——全局收敛、约束优化方法_1_——Zoutendijk可行方向法、数值优化|笔记整理（2）——线搜索：步长选取条件的收敛性 - 学弱猹的文章 - 知乎

6 无约束优化问题（贰）

6.1 收敛速度

设序列${\left\{\begin{array}{c}{\mathit{x}}_k\end{array}\right\}}_{k=1}^{\mathrm{\infty }}$收敛到${\mathit{x}}^{\ast }$，若存在极限：

$$\underset{k\to \mathrm{\infty }}{lim}{\displaystyle \frac{\Vert {\mathit{x}}_{k+1}-{\mathit{x}}^{\ast }\Vert }{\Vert {\mathit{x}}_k-{\mathit{x}}^{\ast }\Vert }}=\beta$$

• 当$0<\beta <1$时，则称${\left\{\begin{array}{c}{\mathit{x}}_k\end{array}\right\}}_{k=1}^{\mathrm{\infty }}$为线性收敛；
• 当$\beta =0$时，则称${\left\{\begin{array}{c}{\mathit{x}}_k\end{array}\right\}}_{k=1}^{\mathrm{\infty }}$为超线性收敛。

若存在某个$p\ge 1$，有：

$$\underset{k\to \mathrm{\infty }}{lim}{\displaystyle \frac{\Vert {\mathit{x}}_{k+1}-{\mathit{x}}^{\ast }\Vert }{\Vert {\mathit{x}}_k-{\mathit{x}}^{\ast }{\Vert }^p}}=\beta <+\mathrm{\infty }$$

则称${\left\{\begin{array}{c}{\mathit{x}}_k\end{array}\right\}}_{k=1}^{\mathrm{\infty }}$为$p$阶收敛。当$p>1$时，$p$阶收敛必定为超线性收敛，但反之不一定成立。

评价一个算法除了收敛速度，还可以考虑把一个算法用于求解一个简单问题，如果该算法在求解简单问题时都会有较大的计算成本，那么说明该算法可能存在问题。一般用凸二次函数作为简单问题：

$$min\frac{1}{2}{\mathit{x}}^{\mathrm{T}}\mathit{Q}\mathit{x}+{\mathit{c}}^{\mathrm{T}}\mathit{x},\mathit{Q}⪰0$$

如果算法用于求解该凸二次函数能够在有限步内找到最优解，那么称该算法具有“二次终止性”。

6.2 坐标轴交替下降法

6.2.1 基本思想

给定初始点${\mathit{x}}_0$，依次沿着坐标轴${\mathit{e}}_1,{\mathit{e}}_2,\cdots ,{\mathit{e}}_n$进行搜索。

6.2.2 算法框架/流程

• STEP 1：给定初始点${\mathit{x}}_0,k:=0,\epsilon >0$；

• STEP 2：判断是否满足$\Vert ▽f({\mathit{x}}_k)\Vert \le \epsilon$，是，则终止算法；

• STEP 3：记${\mathit{y}}_0={\mathit{x}}_k$，令${\mathit{y}}_i={\mathit{y}}_{i-1}+{\alpha }_i{\mathit{e}}_i$

  其中，${\alpha }_i:=\arg minf({\mathit{y}}_{i-1}+{\alpha }_i{\mathit{e}}_i),i=1,2,\cdots ,n$

  arg是argument（自变量、参数）的缩写，那么由此可知：

  argmax F(x):使目标函数F(x)能够取到最大值时的变量x的值

  argmin F(x):使目标函数F(x)能够取到最小值时的变量x的值

  (只是用F(x)举个栗子，实际使用中的函数可能不止x这一个变量，不过意思还是这个意思~)

• STEP 4：令${\mathit{x}}_{k+1}={\mathit{y}}_n,k:=k+1$，转STEP 1。

6.2.3 优缺点

优点：不需要成本即可得到搜索方向。当变量之间的交叉程度较小时非常有效(极端情况——可分离函数)；

缺点：对于一般问题所得到的点列未必收敛。

6.2.4 改进方法

比如：在交替下降过程中间每一步都加入一个线搜索。

6.3 梯度下降法(最速下降法)

6.3.1 基本思想

选择${\mathit{x}}_k$处负梯度作为搜索方向，即${\mathit{d}}_k=-▽f({\mathit{x}}_k)$。

6.3.2 优缺点

优点：简单直观；收敛；搜索方向计算简单(即只需计算梯度)；

缺点：(1) 收敛速度慢(线性收敛)；(2) Zigzag现象(“之”字形)；(3) 不具备二次终止性(在有限步内求得凸二次函数的最优解)。

• 缺点一：收敛速度慢(线性收敛)

  • 原因1：只利用了该点处的一阶导数，而没有利用二阶导数信息；

  • 原因2：若迭代中步长${\alpha }_k$是$\varphi (\alpha ):=f({\mathit{x}}_k+\alpha {\mathit{d}}_k)$的精确最小点，则${\varphi }^{\prime }({\alpha }_k)=0$，即

    ${\varphi }^{\prime }({\alpha }_k)=▽f({\mathit{x}}_k+{\alpha }_k{\mathit{d}}_k{)}^{\mathrm{T}}{\mathit{d}}_k=-▽f({\mathit{x}}_{k+1})▽f({\mathit{x}}_k)=0$

    根据上式，可以看到前后两个点之间的梯度垂直，呈现“之”字形。示例如下图所示。

6.4 牛顿法

6.4.1 基本思想

当前点${\mathit{x}}_k$处选择${\mathit{d}}_k=-[{▽}^{2}f({\mathit{x}}_k){]}^{-1}▽f({\mathit{x}}_k)$作为下降方向，可以理解为：对${\mathit{x}}_k$处的二次逼近函数(泰勒展开式)进行最小化。

$$minf({\mathit{x}}_k)+▽f({\mathit{x}}_k{)}^{\mathrm{T}}(\mathit{x}-{\mathit{x}}_k)+\frac{1}{2}(\mathit{x}-{\mathit{x}}_k{)}^{\mathrm{T}}{▽}^{2}f({\mathit{x}}_k)(\mathit{x}-{\mathit{x}}_k)$$

令上式求导等于零，可以得到：

$$▽f({\mathit{x}}_k)+{▽}^{2}f({\mathit{x}}_k)(\mathit{x}-{\mathit{x}}_k)=▽f({\mathit{x}}_k)+{▽}^{2}f({\mathit{x}}_k){\mathit{d}}_k=0$$

• 纯牛顿法：步长${\alpha }_k=1$

  因为${\mathit{d}}_k=-[{▽}^{2}f({\mathit{x}}_k){]}^{-1}▽f({\mathit{x}}_k)⟺{\mathit{x}}_{k+1}={\mathit{x}}_k-[{▽}^{2}f({\mathit{x}}_k){]}^{-1}▽f({\mathit{x}}_k)$

6.4.2 算法框架/流程

• STEP 1：给定初始点${\mathit{x}}_0,k:=0,\epsilon >0$；
• STEP 2：判断是否满足$\Vert ▽f({\mathit{x}}_k)\Vert \le \epsilon$，是，则终止算法；
• STEP 3：计算${\mathit{d}}_k=-[{▽}^{2}f({\mathit{x}}_k){]}^{-1}▽f({\mathit{x}}_k)$
• STEP 4：令${\mathit{x}}_{k+1}={\mathit{x}}_k+{\mathit{d}}_k,k:=k+1$，转STEP 1。

6.4.3 优缺点

优点：牛顿法同时考虑了一阶导数信息和和二阶导数信息(黑塞矩阵)；当初始点${\mathit{x}}_0$取得比较接近于收敛点${\mathit{x}}^{\ast }$，且${▽}^{2}f(\mathit{x})$满足较好性质时，二阶收敛；二次终止性(一步终止)。

缺点：计算量大(需计算Hesse矩阵)；适用范围较窄。

此外，牛顿法还存在一个问题：二阶导数矩阵不一定是正定的，此时${\mathit{d}}_k$就不一定再是下降方向了。

6.5 修正牛顿法

• 修改点1：步长

  • 对于步长${\alpha }_k$的修正：首先判断${\alpha }_k=1$是否让目标函数充分下降；否，则采用线搜索方法重新确定${\alpha }_k$;

• 修改点2：方向

  • 对于方向(Hesse矩阵)的修正：选取${\mathit{d}}_k=-{\mathit{B}}_k^{-1}▽f({\mathit{x}}_k)$
    • 若${▽}^{2}f({\mathit{x}}_k)\succ 0$，则选取${\mathit{B}}_k={▽}^{2}f({\mathit{x}}_k)$
    • 否则，采取修正方法(多种)：
      • ${\mathit{B}}_k:={▽}^{2}f({\mathit{x}}_k)+\lambda \mathit{I}$，其中，$\lambda$为适当正数保证${\mathit{B}}_k$正定。
      • 考虑特征值分解：${▽}^{2}f({\mathit{x}}_k)={\mathit{Q}}^{\mathrm{T}}\mathbf{\Lambda }\mathit{Q}$，令${\mathit{b}}_k={\mathit{Q}}^{\mathrm{T}}\text{diag}({\tau }_i)\mathit{Q}$
        • ${\tau }_i=\{\begin{array}{ll}{\lambda }_i,& \text{ if }{\lambda }_i\ge \delta \\ \delta ,& \text{ otherwise }\end{array}$，其中$\delta$为一适当正数。

6.6 拟牛顿法

6.6.1 基本思想

当前点${\mathit{x}}_k$处对$f({\mathit{x}}_k)$使用二次函数进行近似：

$$m_k(\mathit{x}):=f({\mathit{x}}_k)+▽f({\mathit{x}}_k{)}^{\mathrm{T}}(\mathit{x}-{\mathit{x}}_k)+\frac{1}{2}(\mathit{x}-{\mathit{x}}_k{)}^{\mathrm{T}}{\mathit{B}}_k(\mathit{x}-{\mathit{x}}_k),{\mathit{B}}_k\succ 0$$

利用$min{m}_k(\mathit{x})$的搜索方向：${\mathit{d}}_k=-{\mathit{B}}_k^{-1}▽f({\mathit{x}}_k)$；我们希望${\mathit{B}}_k$尽量包含一些二阶信息，然后计算要相对简单。

${\mathit{B}}_k\succ 0$为正定矩阵时，$m_k(\mathit{x})$是一个凸二次函数，求其最小值即可让$m_k(\mathit{x})$的梯度为0即可，求解即可得到：

$${\mathit{x}}_{k+1}=\mathit{x}={\mathit{x}}_k-{\mathit{d}}_k={\mathit{x}}_k-{\mathit{B}}_k^{-1}▽f({\mathit{x}}_k)$$

6.6.2 算法框架/流程

• STEP 1：给定初始点${\mathit{x}}_0,k:=0,\epsilon >0,{\mathit{B}}_0$；
• STEP 2：判断是否满足$\Vert ▽f({\mathit{x}}_k)\Vert \le \epsilon$，是，则终止算法；
• STEP 3：计算${\mathit{d}}_k=-{\mathit{B}}_k^{-1}▽f({\mathit{x}}_k)$；
• STEP 4：使用线搜索法确定步长${\alpha }_k$；
• STEP 5：令${\mathit{x}}_{k+1}={\mathit{x}}_k+{\alpha }_k{\mathit{d}}_k,k:=k+1$，确定${\mathit{B}}_{k+1}$，转STEP 1。

6.6.3 ${\mathit{B}}_{k+1}$矩阵的确定方法

(一) 拟牛顿方程(基本要求)

$$▽f({\mathit{x}}_{k+1})-▽f({\mathit{x}}_k)={\mathit{B}}_{k+1}({\mathit{x}}_{k+1}-{\mathit{x}}_k)$$

对上式的简单理解：

首先由中值定理可得：$▽f({\mathit{x}}_{k+1})-▽f({\mathit{x}}_k)={▽}^{2}f(\mathit{\xi })({\mathit{x}}_{k+1}-{\mathit{x}}_k),\xi =\lambda {\mathit{x}}_k+(1-\lambda ){\mathit{x}}_k,\lambda \in (0,1)$

对比发现：也就是我们希望${\mathit{B}}_{k+1}$能够体现${▽}^{2}f(\mathit{\xi })$的作用。

分析易知，${\mathit{B}}_{k+1}$大小为$n\times n$，其中变量个数为${\displaystyle \frac{n(n+1)}{2}}$(对称阵)，但是等式只有$n$个方程，因此${\mathit{B}}_{k+1}$会有多个满足条件。

记${\mathit{y}}_k:=▽f({\mathit{x}}_{k+1})-▽f({\mathit{x}}_k)$，${\mathit{s}}_k:={\mathit{x}}_{k+1}-{\mathit{x}}_k$，则拟牛顿方程简记为：

$${\mathit{y}}_k={\mathit{B}}_{k+1}{\mathit{s}}_k$$

此外，若记${\mathit{H}}_k={\mathit{B}}_k^{-1}$，拟牛顿方程也可以表示为：${\mathit{s}}_k={\mathit{H}}_{k+1}{\mathit{y}}_k$。

下面我们将对利用已有信息具体获得${\mathit{B}}_{k+1}$或者${\mathit{H}}_{k+1}$。

(二) 第一类方法

选择满足拟牛顿方程且与${\mathit{B}}_k$近似的矩阵。

$$\{\begin{array}{ll}\text{ min }& \Vert \mathit{B}-{\mathit{B}}_k\Vert \\ \text{ s.t. }& \mathit{B}{\mathit{s}}_k={\mathit{y}}_k,\mathit{B}={\mathit{B}}^{\text{T}}\end{array}\text{or}\{\begin{array}{ll}\text{ min }& \Vert \mathit{H}-{\mathit{H}}_k\Vert \\ \text{ s.t. }& \mathit{H}{\mathit{y}}_k={\mathit{s}}_k,\mathit{H}={\mathit{H}}^{\text{T}}\end{array}$$

矩阵范数小知识：向量范数与矩阵范数

(三) 第二类方法

对${\mathit{B}}_k$、${\mathit{H}}_k$进行校正，如：令${\mathit{B}}_{k+1}={\mathit{B}}_k+\mathrm{\Delta }\mathit{B}$。

• rank-1校正：要求$\mathrm{\Delta }\mathit{B}$的秩为1；

  • SR-1方法：可以看作是对${\mathit{B}}_k$进行rank-1校正

    • ${\mathit{B}}_{k+1}={\mathit{B}}_k+{\displaystyle \frac{({\mathit{y}}_k-{\mathit{B}}_k{\mathit{s}}_k)({\mathit{y}}_k-{\mathit{B}}_k{\mathit{s}}_k{)}^{\mathrm{T}}}{({\mathit{y}}_k-{\mathit{B}}_k{\mathit{s}}_k{)}^{\mathrm{T}}{\mathit{s}}_k}}$

    • 如何得到上式：

    • 

    • 该方法相对rank-2方法迭代公式更简单，但是不能保证正定性；适当条件下能达到$n$步超线性收敛。

      $n$步超线性收敛：

      $\underset{k\to \mathrm{\infty }}{lim}={\displaystyle \frac{\Vert {\mathit{x}}_{k+1+n}-{\mathit{x}}^{\ast }\Vert }{{\mathit{x}}_k-{\mathit{x}}^{\ast }}}$

• rank-2校正：要求$\mathrm{\Delta }\mathit{B}$的秩为2；

  • DFP方法：可以看作是对${\mathit{H}}_k$进行rank-2校正
    • ${\mathit{H}}_{k+1}={\mathit{H}}_k+{\displaystyle \frac{{\mathit{H}}_k{\mathit{y}}_k{\mathit{y}}_k^{\mathrm{T}}{\mathit{H}}_k}{{\mathit{y}}_k^{\mathrm{T}}{\mathit{H}}_k{\mathit{y}}_k}}+{\displaystyle \frac{{\mathit{s}}_k{\mathit{s}}_k^{\mathrm{T}}}{{\mathit{y}}_k^{\mathrm{T}}{\mathit{s}}_k}}$
    • 如何得到上式：注意下面图中的证明用到了对称秩1矩阵$\mathit{A}$的性质：$\mathit{A}=\mathit{u}{\mathit{v}}^T=\mathit{u}{\mathit{u}}^{\text{T}}$
    • 
  • BFGS方法：可以看作是对${\mathit{B}}_k$进行rank-2校正
    • ${\mathit{B}}_{k+1}={\mathit{B}}_k+{\displaystyle \frac{{\mathit{B}}_k{\mathit{s}}_k{\mathit{s}}_k^{\mathrm{T}}{\mathit{B}}_k}{{\mathit{s}}_k^{\mathrm{T}}{\mathit{B}}_k{\mathit{s}}_k}}+{\displaystyle \frac{{\mathit{y}}_k{\mathit{y}}_k^{\mathrm{T}}}{{\mathit{y}}_k^{\mathrm{T}}{\mathit{s}}_k}}$
    • 如何得到上式：原理同上面DFP推导类似。
    • 拟牛顿方向需要计算${\mathit{B}}_{k+1}^{-1}$，可以利用Sherman-Morrison公式显示写出；
    • BFGS方法是被认为最有效的拟牛顿法；(适当前提下可证明)超线性收敛。
    • Broyden族：DFP与BFGS的线性组合！

7 无约束优化问题（叁）

7.1 共轭梯度法背景

1950年代，求解一类优化问题中：

$$min{\displaystyle \frac{1}{2}}{\mathit{x}}^{\mathrm{T}}\mathit{Q}\mathit{x}+{\mathit{c}}^{\mathrm{T}}\mathit{x},\mathit{Q}\succ 0,\mathit{c}\in {\mathbb{R}}^n$$

该类问题可直接通过求梯度然后令梯度为零即可：

$$▽f(\mathit{x})=\mathit{Q}\mathit{x}+\mathit{c}=\mathbf{0}$$

可知，需要求解线性方程组。当矩阵比较大时候，计算复杂，因此有人提出使用迭代法求解方程组，因此就有了"(线性)共轭梯度法"。

1960年代，该方法推广到求解一般性优化问题，此时该方法也被称为"(非线性)共轭梯度法"。

7.2 线性共轭梯度法

考虑以下优化问题：

$$min{\displaystyle \frac{1}{2}}{\mathit{x}}^{\mathrm{T}}\mathit{Q}\mathit{x}+{\mathit{c}}^{\mathrm{T}}\mathit{x},\mathit{Q}\succ 0,\mathit{c}\in {\mathbb{R}}^n$$

• 当$\mathit{Q}$特殊一点为对角矩阵时：

$$f(\mathit{x})={\displaystyle \frac{1}{2}}{\mathit{x}}^{\mathrm{T}}\left[\begin{array}{ccc}{q}_1& \cdots & 0\\ ⋮& \ddots & 0\\ 0& 0& q_n\end{array}\right]\mathit{x}+{\mathit{c}}^{\mathrm{T}}\mathit{x}$$

• 当$\mathit{Q}$为一般情况(非对角矩阵)时：

拿到一个普通二次型，就要想办法将其转换为标准二次型，即就是只有平方项没有交叉项。常用的方法有线性替换，最常见的线性替换又是：对$\mathit{Q}$矩阵进行特征值和特征向量分解：

$$\mathit{Q}={\mathit{S}}^{\mathrm{T}}\mathbf{\Lambda }\mathit{S}$$

其中，$\mathit{S}$是由标准正交化之后的特征向量组成。

将${\displaystyle \frac{1}{2}}{\mathit{x}}^{\mathrm{T}}\mathit{Q}\mathit{x}+{\mathit{c}}^{\mathrm{T}}\mathit{x}$中$\mathit{x}$用$\hat{\mathit{x}}=\mathit{S}\mathit{x}$进行替换：

$$f(\hat{\mathit{x}})={\displaystyle \frac{1}{2}}{\hat{\mathit{x}}}^{\mathrm{T}}\mathbf{\Lambda }\hat{\mathit{x}}+\mathbf{(}\mathit{S}\mathit{c}{\mathbf{)}}^{\mathrm{T}}\hat{\mathit{x}}$$

此时就可以像对角矩阵情况类似，求解变得简单。求解得到${\hat{\mathit{x}}}^{\ast }$后即可得到最终解：${\mathit{x}}^{\ast }={\mathit{P}}^{-1}{\hat{\mathit{x}}}^{\ast }={\mathit{P}}^{\mathrm{T}}{\hat{\mathit{x}}}^{\ast }$

一定要记住，线性共轭梯度法被设计出来就是用来求解线性方程组。

7.2.1 共轭方向

考虑正定矩阵$\mathit{Q}$和非零向量${\mathit{d}}_i,{\mathit{d}}_j$，若：

$${\mathit{d}}_i^{\mathrm{T}}\mathit{Q}{\mathit{d}}_j=\mathbf{0}$$

则称${\mathit{d}}_i,{\mathit{d}}_j$关于矩阵$\mathit{Q}$共轭。

向量组${\mathit{d}}_0,{\mathit{d}}_1,\cdots ,{\mathit{d}}_k$关于矩阵$\mathit{Q}$共轭，即两两共轭。

7.2.2 共轭 VS 正交

• 若向量组${\mathit{d}}_0,{\mathit{d}}_1,\cdots ,{\mathit{d}}_k$关于$\mathit{I}$共轭，则向量组${\mathit{d}}_0,{\mathit{d}}_1,\cdots ,{\mathit{d}}_k$是正交向量组；

• 若向量组${\mathit{d}}_0,{\mathit{d}}_1,\cdots ,{\mathit{d}}_k$关于正定矩阵$\mathit{Q}$共轭，令$\mathit{Q}\mathbf{=}{\mathit{P}}^2$，则有：

  • ${\mathit{d}}_i^{\mathrm{T}}\mathit{Q}{\mathit{d}}_j={\mathit{d}}_i^{\mathrm{T}}{\mathit{P}}^{\mathrm{T}}\mathit{P}{\mathit{d}}_j=(\mathit{P}{\mathit{d}}_i{)}^{\mathrm{T}}(\mathit{P}{\mathit{d}}_j)=\mathbf{0}$正交

  涉及小知识点：

  一个正定矩阵一定能分解为另一个正定矩阵的平方：$\mathit{Q}\mathbf{=}{\mathit{P}}^2$；

  共轭向量组线性无关。

7.2.3 共轭方向法

$$min{\displaystyle \frac{1}{2}}{\mathit{x}}^{\mathrm{T}}\mathit{Q}\mathit{x}+{\mathit{c}}^{\mathrm{T}}\mathit{x},\mathit{Q}\succ 0,\mathit{c}\in {\mathbb{R}}^n$$

给定初始点${\mathit{x}}_0$以及一组关于$\mathit{Q}$共轭方向${\mathit{d}}_0,{\mathit{d}}_1,\cdots ,{\mathit{d}}_{n-1}$，令：

$${\mathit{x}}_{k+1}:={\mathit{x}}_k+{\alpha }_k{\mathit{d}}_k,k=0,1,\cdots ,n-1$$

其中，${\alpha }_k=\arg min\varphi (\alpha ):=f({\mathit{x}}_k+\alpha {\mathit{d}}_k)$。计算可得步长为：

$${\varphi }^{\prime }({\alpha }_k)=0⟹{\alpha }_k=-{\displaystyle \frac{(\mathit{Q}{\mathit{x}}_k+\mathit{c}{)}^{\mathrm{T}}{\mathit{d}}_k}{{\mathit{d}}_k^{\mathrm{T}}\mathit{Q}{\mathit{d}}_k}}=-{\displaystyle \frac{▽f(\mathit{x}{)}^{\mathrm{T}}{\mathit{d}}_k}{{\mathit{d}}_k^{\mathrm{T}}\mathit{Q}{\mathit{d}}_k}}$$

共轭方向法为一类方法，不同的选取共轭方向的方式就对应不同的共轭方向法，共轭梯度法是其中一种。

7.2.4 共轭方向法具备的特征

以下特征均是基于问题：$min{\displaystyle \frac{1}{2}}{\mathit{x}}^{\mathrm{T}}\mathit{Q}\mathit{x}+{\mathit{c}}^{\mathrm{T}}\mathit{x},\mathit{Q}\succ 0,\mathit{c}\in {\mathbb{R}}^n$

点列${\left\{\begin{array}{c}{\mathit{x}}_k\end{array}\right\}}_{k=1}^{\mathrm{\infty }}$具有如下特征：

• 特征1：$▽f({\mathit{x}}_k{)}^{\mathrm{T}}{\mathit{d}}_i=0,i=0,1,\cdots ,k-1$
• 特征2：${\mathit{x}}_k:=\arg min\left\{\begin{array}{c}{\displaystyle \frac{1}{2}}{\mathit{x}}^{\mathrm{T}}\mathit{Q}\mathit{x}+{\mathit{c}}^{\mathrm{T}}\mathit{x}\mid \mathit{x}\in {\mathit{X}}_k\end{array}\right\}$
  • 其中，${\mathit{X}}_k=\left\{\begin{array}{c}{\mathit{x}}_0+\sum _{i=0}^{k-1}{a}_i{\mathit{d}}_i\mid a_i\in \mathbb{R},i=1,2,\cdots ,k-1\end{array}\right\}$

证明：参考视频。

7.3 共轭梯度法具体

7.3.1 基本思想

在迭代下降过程中，借助当前点${\mathit{x}}_k$处的梯度信息构造共轭方向。

7.3.2 算法框架/流程

• STEP 1：给定初始点${\mathit{x}}_0,k:=0,\epsilon >0$，记${\mathit{d}}_0:=-▽f({\mathit{x}}_0)$
• STEP 2：判断是否满足$\Vert ▽f({\mathit{x}}_k)\Vert \le \epsilon$，是，则终止算法；
• STEP 3：计算${\alpha }_k=-{\displaystyle \frac{▽f(\mathit{x}{)}^{\mathrm{T}}{\mathit{d}}_k}{{\mathit{d}}_k^{\mathrm{T}}\mathit{Q}{\mathit{d}}_k}}$；
• STEP 4：令${\mathit{x}}_{k+1}={\mathit{x}}_k+{\alpha }_k{\mathit{d}}_k$，计算方向${\mathit{d}}_{k+1}=-▽f({\mathit{x}}_{k+1})+\text{some-term}$，$k:=k+1$转STEP 1。
  • 其中，${\mathit{d}}_{k+1}=-▽f({\mathit{x}}_{k+1})+{\beta }_k{\mathit{d}}_k$，${\beta }_k={\displaystyle \frac{▽f({\mathit{x}}_{k+1})\mathit{Q}{\mathit{d}}_k}{{\mathit{d}}_k^{\mathrm{T}}\mathit{Q}{\mathit{d}}_k}}$
  • 加上$\text{some-term}$是为了保证${\mathit{d}}_{k+1}$与$\mathit{Q}$共轭。

7.3.3 公式简化

简化的目的：将这些表达式与目标函数的梯度比较直观地表现出来。

共轭梯度法的步长公式：

$${\alpha }_k=-{\displaystyle \frac{▽f(\mathit{x}{)}^{\mathrm{T}}{\mathit{d}}_k}{{\mathit{d}}_k^{\mathrm{T}}\mathit{Q}{\mathit{d}}_k}}$$

可简化为：

$${\alpha }_k={\displaystyle \frac{▽f(\mathit{x}{)}^{\mathrm{T}}▽f(\mathit{x})}{{\mathit{d}}_k^{\mathrm{T}}\mathit{Q}{\mathit{d}}_k}}$$

共轭梯度法的步长公式中的系数：

$${\beta }_k={\displaystyle \frac{▽f({\mathit{x}}_{k+1})\mathit{Q}{\mathit{d}}_k}{{\mathit{d}}_k^{\mathrm{T}}\mathit{Q}{\mathit{d}}_k}}$$

可简化为：

$$\begin{array}{}\text{(*)}& {\beta }_k={\displaystyle \frac{▽f({\mathit{x}}_{k+1}{)}^{\mathrm{T}}[▽f({\mathit{x}}_{k+1})-▽f({\mathit{x}}_{k+1})]}{▽f({\mathit{x}}_k{)}^{\mathrm{T}}▽f({\mathit{x}}_k)}}\end{array}$$

进一步简化为：

$$\begin{array}{}\text{(88)}& {\beta }_k={\displaystyle \frac{▽f({\mathit{x}}_{k+1}{)}^{\mathrm{T}}▽f({\mathit{x}}_{k+1})}{▽f({\mathit{x}}_k{)}^{\mathrm{T}}▽f({\mathit{x}}_k)}}\end{array}$$

注意：$(\ast )$和$(\ast \ast )$相等只有在$f(\mathit{x})$为二次函数时候才相等。

7.4 非线性共轭梯度法

注意注意注意：上述推导全部是建立在线性共轭梯度法，基本函数是二次函数。

• STEP 1：给定初始点${\mathit{x}}_0,k:=0,\epsilon >0$，记${\mathit{d}}_0:=-▽f({\mathit{x}}_0)$
• STEP 2：判断是否满足$\Vert ▽f({\mathit{x}}_k)\Vert \le \epsilon$，是，则终止算法；
• STEP 3：利用线性搜索计算${\alpha }_k$；
• STEP 4：令${\mathit{x}}_{k+1}={\mathit{x}}_k+{\alpha }_k{\mathit{d}}_k$，计算方向${\mathit{d}}_{k+1}=-▽f({\mathit{x}}_{k+1})+{\beta }_k{\mathit{d}}_k$，$k:=k+1$转STEP1。
  • PRP方法：${\beta }_k={\displaystyle \frac{▽f({\mathit{x}}_{k+1}{)}^{\mathrm{T}}[▽f({\mathit{x}}_{k+1})-▽f({\mathit{x}}_{k+1})]}{▽f({\mathit{x}}_k{)}^{\mathrm{T}}▽f({\mathit{x}}_k)}}$
  • FR方法：${\beta }_k={\displaystyle \frac{▽f({\mathit{x}}_{k+1}{)}^{\mathrm{T}}▽f({\mathit{x}}_{k+1})}{▽f({\mathit{x}}_k{)}^{\mathrm{T}}▽f({\mathit{x}}_k)}}$

7.5 一些说明

• 在实践中，为保证每次产生的方向为下降方向，可能会对${\beta }_k$进行调整；

• 具有二次终止性；

• 实现过程中常采用$n$步重启策略，可达到$n$步二阶收敛；

  n步二阶收敛：$\underset{k\to \mathrm{\infty }}{lim}{\displaystyle \frac{\Vert {\mathit{x}}_{k+n}-{\mathit{x}}^{\ast }\Vert }{\Vert {\mathit{x}}_{k+n}-{\mathit{x}}^{\ast }{\Vert }^2}}=\mathrm{某}\mathrm{一}\mathrm{有}\mathrm{限}\mathrm{值}\gamma$

  • 原因1：较远的点对当前点贡献很小，可以忽略，因此重启；
  • 原因2：可能会将非线性共轭转变为线性共轭梯度法；

8 约束优化理论(壹)—最优性条件

本讲要讨论的约束优化问题为：

$$(P)\{\begin{array}{ll}\text{ min }& f(\mathit{x})\\ \text{ s.t.}& g_i(\mathit{x})\le 0,i=1,\cdots ,m\\ & h_i(\mathit{x})=0,i=1,\cdots ,l\end{array}$$

记问题$(P)$的可行集为集合$\mathit{S}=\left\{\begin{array}{c}\mathit{x}\mid g_i(\mathit{x})\le 0,i=1,\cdots ,m,h_i(\mathit{x})=0,i=1,\cdots ,l\end{array}\right\}$。

本讲讨论问题的基本假设/前提：

• 问题$(P)$中函数$f(\mathit{x}),g_i(\mathit{x}),h_i(\mathit{x})$均为连续可微函数；

  注意，有几类特殊的非光滑函数存在不可微点，但是可以将其转化，例如：$f(x)=max\left\{\begin{array}{c}x,x^2\end{array}\right\}$，绘图易知该函数存在两个不可微的点，那么优化问题：

  $$minf(x)$$

  可以转化为：令$t=f(\mathit{x})$：

  $$minf(x)$$

  $$\Downarrow$$

  $$\{\begin{array}{ll}\text{ min }& t\\ \text{ s.t.}& f(x)\le t\end{array}$$

  $$\Downarrow$$

  $$\{\begin{array}{ll}\text{ min }& t\\ \text{ s.t.}& x\le t\\ & x^2\le t\end{array}$$

  因为$t$最小时肯定是等于$f(x)$的，所以上面两个问题是等价的。

  推广来看：$f(x)=max\left\{\begin{array}{c}{a}_{i}x+b_i\end{array}\right\}$这一类函数可以进行转换。

8.1 最优解的一阶必要条件(KKT条件)

8.1.1 KKT条件的内容

假设${\mathit{x}}^{\ast }$是问题(P)的局部最优解，且${\mathit{x}}^{\ast }$处某个“适当条件”成立，则存在$\mathit{\lambda }\in {\mathbb{R}}^m,\mathit{\mu }\in {\mathbb{R}}^l$($m$是不等式约束个数，$l$是等式约束个数)使得：

$$\{\begin{array}{l}▽f({\mathit{x}}^{\ast })+\sum _{i=1}^m{\lambda }_i▽g_i({\mathit{x}}^{\ast })+\sum _{i=1}^l{\mu }_i▽h_i({\mathit{x}}^{\ast })=0\\ {\lambda }_i>0,i=1,2,\cdots ,m\\ g_i({\mathit{x}}^{\ast })\le 0,i=1,2,\cdots ,m\\ h_i({\mathit{x}}^{\ast })=0,i=1,2,\cdots ,l\\ {\lambda }_i{g}_i({\mathit{x}}^{\ast })=0,i=1,2,\cdots ,m\end{array}$$

其中，以上5个条件就是著名的KKT条件。${\lambda }_i,{\mu }_i$是两组系数，又称为“拉格朗日乘子”。

针对非凸问题设计优化算法时，如果能证明算法收敛到一个KKT点，那么就说明算法达到了一个基本要求，KKT点相当于无约束优化问题中的梯度为零的作用。

8.1.2 证明KKT必要条件

(一) 几个概念

• 对于${\mathit{x}}^{\ast }\in \mathit{S}$，若点列$\left\{\begin{array}{c}{\mathit{x}}_k\end{array}\right\}\subset \mathit{S}$满足所有${\mathit{x}}_k\ne {\mathit{x}}^{\ast },\underset{k\to \mathrm{\infty }}{lim}{\mathit{x}}_k={\mathit{x}}^{\ast }$，则称为可行点列。

• 基本思路：若${\mathit{x}}^{\ast }\in \mathit{S}$是局部最优解，则沿着任意可行点列目标函数不会下降(即当$k$充分大时，有$f({\mathit{x}}_k)>f({\mathit{x}}^{\ast })$)。

• 考虑${\mathit{x}}^{\ast }$处集合$\mathit{D}({\mathit{x}}^{\ast })=\left\{\begin{array}{c}\mathit{d}\mid ▽f({\mathit{x}}^{\ast }{)}^{\mathrm{T}}\mathit{d}<0\end{array}\right\}:\mathrm{\forall }\mathit{d}\in \mathit{D}$均为$f({\mathit{x}}_k)$是${\mathit{x}}^{\ast }$处的下降方向。

• 考虑${\mathit{x}}^{\ast }$处集合$\mathit{T}({\mathit{x}}^{\ast })=\left\{\begin{array}{c}\alpha \mathit{d}\mid \alpha >0,\mathit{d}=\underset{k\to \mathrm{\infty }}{lim}{\displaystyle \frac{{\mathit{x}}_k-{\mathit{x}}^{\ast }}{\Vert {\mathit{x}}_k-{\mathit{x}}^{\ast }\Vert }},{\mathit{x}}_k\to {\mathit{x}}^{\ast },{\mathit{x}}_k\ne {\mathit{x}}^{\ast },{\mathit{x}}_k\in \mathit{S}\end{array}\right\}$，该集合称为${\mathit{x}}^{\ast }$处的切锥。切锥里面包含的方向可以告诉我们：从${\mathit{x}}^{\ast }$点可以沿着哪一些方向/曲线可以移动，示意图如下：

  

  上图中，红色箭头夹住部分为切锥包含的可行方向。

(二) 最优解的必要条件

若${\mathit{x}}^{\ast }$是问题(P)的局部最优解，则有：

$$\mathit{D}({\mathit{x}}^{\ast })\cap \mathit{T}({\mathit{x}}^{\ast })=\mathbf{\varnothing }$$

只要证明上述表达式中描述的两个集合交集为空，等价于：任取$\alpha \mathit{d}\in \mathit{T}({\mathit{x}}^{\ast })$，都有$▽f({\mathit{x}}^{\ast }{)}^{\mathrm{T}}\mathit{d}\ge 0$

8.1.3 与切锥关系紧密的两个集合

• 可行方向集合：

  • $\mathit{F}({\mathit{x}}^{\ast })=\left\{\begin{array}{c}\mathit{d}\mid {\mathit{x}}^{\ast }+\lambda \mathit{d}\in \mathit{S},\mathrm{\forall }\lambda \in (0,\delta ),\text{ some }\delta >0\end{array}\right\}$
  • 易知：$\mathit{F}({\mathit{x}}^{\ast })\subseteq \mathit{T}({\mathit{x}}^{\ast })$，即可行方向一定在切锥中。

• 集合2：记${\mathit{x}}^{\ast }$处的有效指标集$\mathit{I}=\left\{\begin{array}{c}i\mid g_i({\mathit{x}}^{\ast })=0\end{array}\right\}$，定义下面集合

  • ${\mathit{F}}_1({\mathit{x}}^{\ast })=\left\{\begin{array}{c}\mathit{d}\mid ▽g_i({\mathit{x}}^{\ast }{)}^{\mathrm{T}}\mathit{d}\le 0,i\in \mathit{I},▽h_j({\mathit{x}}^{\ast }{)}^{\mathrm{T}}\mathit{d}=0,j=1,2,\cdots ,l\end{array}\right\}$
  • 易知：$\mathit{T}({\mathit{x}}^{\ast })\subseteq {\mathit{F}}_1({\mathit{x}}^{\ast })$
  • 证明：
    • 

• 综上：$\mathit{F}({\mathit{x}}^{\ast })\subseteq \mathit{T}({\mathit{x}}^{\ast })\subseteq {\mathit{F}}_1({\mathit{x}}^{\ast })$

8.1.4 适当条件：约束规范(constrain qualification)

上文KKT条件描述中提到的适当条件就是此处要讨论的约束规范。在适当条件(约束规范下)：$\mathit{T}({\mathit{x}}^{\ast })={\mathit{F}}_1({\mathit{x}}^{\ast })$

• 常用的约束规范有：
  • 函数 —— $g_i({\mathit{x}}^{\ast }),i\in \mathit{I},h_j({\mathit{x}}^{\ast }),j=1,2,\cdots ,l$均为线性函数；
  • 向量组 —— $▽g_i({\mathit{x}}^{\ast }),i\in \mathit{I},▽h_j({\mathit{x}}^{\ast }),j=1,2,\cdots ,l$线性无关(LICQ)；
  • Slater Condition
  • ……

若${\mathit{x}}^{\ast }\in \mathit{S}$是问题(P)的局部最优解，在满足上述某一种约束条件下，有：

$$\mathit{D}({\mathit{x}}^{\ast })\cap \mathit{T}({\mathit{x}}^{\ast })=\mathit{D}({\mathit{x}}^{\ast })\cap {\mathit{F}}_1({\mathit{x}}^{\ast })=\mathbf{\varnothing }$$

即KKT条件的一种形式。

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

若${\mathit{x}}^{\ast }\in \mathit{S}$是问题(P)的局部最优解，在满足上述某一种约束条件下，则KKT条件成立。

因为：根据Farkas引理，$\mathit{D}({\mathit{x}}^{\ast })\cap {\mathit{F}}_1({\mathit{x}}^{\ast })=\mathbf{\varnothing }$当且仅当KKT条件成立。

证明：观看视频，太难了。。。

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

8.2 KKT条件的解释说明

8.2.1 KKT条件中各部分的名字

$$▽f({\mathit{x}}^{\ast })+\sum _{i=1}^m{\lambda }_i▽g_i({\mathit{x}}^{\ast })+\sum _{i=1}^l{\mu }_i▽h_i({\mathit{x}}^{\ast })=0$$

$${\lambda }_i>0,i=1,2,\cdots ,m$$

$$g_i({\mathit{x}}^{\ast })\le 0,i=1,2,\cdots ,m$$

$$h_i({\mathit{x}}^{\ast })=0,i=1,2,\cdots ,l$$

$${\lambda }_i{g}_i({\mathit{x}}^{\ast })=0,i=1,2,\cdots ,m$$

各部分组合的名字如下：

$$(\text{对偶可行(Dual Feasible, DF)})\{\begin{array}{ll}& ▽f({\mathit{x}}^{\ast })+\sum _{i=1}^m{\lambda }_i▽g_i({\mathit{x}}^{\ast })+\sum _{i=1}^l{\mu }_i▽h_i({\mathit{x}}^{\ast })=0\\ & {\lambda }_i>0,i=1,2,\cdots ,m\end{array}$$

$$(\text{原问题可行(Primal Feasible, PF)})\{\begin{array}{ll}& g_i({\mathit{x}}^{\ast })\le 0,i=1,2,\cdots ,m\\ & h_i({\mathit{x}}^{\ast })=0,i=1,2,\cdots ,l\end{array}$$

$$(\text{互补松弛条件(Complementary Slack, CS)}))\{\begin{array}{ll}& {\lambda }_i{g}_i({\mathit{x}}^{\ast })=0,i=1,2,\cdots ,m\end{array}$$

不知道前面有没有说互补松弛的作用：保证那些不起作用的不等式约束在第一行中对应的乘子为零；

等式约束由于不知道$h(x)$的梯度方向，所以对它没有约束；

传统的互补问题就是：两个向量都是非负的，求内积等于0，其要求为对应分量相乘为0。

8.2.2 KKT条件中拉格朗日乘子意义

KKT条件中拉格朗日乘子可反映约束条件右端项发生扰动时最优目标函数值的变化情况。

设${\mathit{x}}^{\ast }$是问题(P)的局部最优解，且设${\mathit{x}}^{\ast }$满足KKT条件：

$$(P)\{\begin{array}{ll}\text{ min }& f(\mathit{x})\\ \text{ s.t.}& g_i(\mathit{x})\le 0,i=1,\cdots ,m\\ & h_i(\mathit{x})=0,i=1,\cdots ,l\end{array}$$

8.2.3 KKT条件充分性

以上好像都是在讨论KKT条件的必要性，即已经知道${\mathit{x}}^{\ast }$是局部最优解，那么在满足某一种约束条件下，KKT条件成立。

但我们也想知道什么时候会变成充分条件，即一个点满足KKT条件，则该点是问题(P)的最优解。

• 当问题(P)中满足：

  • (1) $f(\mathit{x}),g_i(\mathit{x}),i=1,2,\cdots ,m$均为凸函数；
  • (2) $h_i(\mathit{x}),i=1,2,\cdots ,l$为线性函数；

• 则满足条件的KKT点也是问题(P)(此两条条件限制下，问题P就是凸问题)的局部(全局)最优解。

  注意2点：

  一、凸问题局部最优解即为全局最优解；

  二、可能在一些其他问题，不满足上述两条条件(即问题P非凸)，KKT点也有可能是局部最优解，但判断方法需要借助黑塞矩阵，下面会讲到。

9 约束优化理论(贰)—最优性条件—二阶充分条件

9.1 本讲基础

由第八讲(三)KKT条件充分性部分内容可知：

当问题(P)中满足：

• (1) $f(\mathit{x}),g_i(\mathit{x}),i=1,2,\cdots ,m$均为凸函数；

• (2) $h_i(\mathit{x}),i=1,2,\cdots ,l$为线性函数；

则满足条件的KKT点也是问题(P)(此两条条件限制下，问题P就是凸问题)的局部(全局)最优解。

本将要解决的问题是，若通过验证，发现上面的条件(1)或者(2)不满足，那么还有没有什么其他条件说明当${\mathit{x}}^{\ast }$满足KKT条件时，KKT点${\mathit{x}}^{\ast }$是问题(P)的最优解。

假设${\mathit{x}}^{\ast }$满足KKT条件：

$$▽f({\mathit{x}}^{\ast })+\sum _{i=1}^m{\lambda }_i▽g_i({\mathit{x}}^{\ast })+\sum _{i=1}^l{\mu }_i▽h_i({\mathit{x}}^{\ast })=0$$

$${\lambda }_i>0,i=1,2,\cdots ,m$$

$$g_i({\mathit{x}}^{\ast })\le 0,i=1,2,\cdots ,m$$

$$h_i({\mathit{x}}^{\ast })=0,i=1,2,\cdots ,l$$

$${\lambda }_i{g}_i({\mathit{x}}^{\ast })=0,i=1,2,\cdots ,m$$

令：

$$L(\mathit{x})=f(\mathit{x})+\sum _{i=1}^m{\lambda }_i{g}_i(\mathit{x})+\sum _{i=1}^l{\mu }_i{h}_i(\mathit{x})$$

$L(\mathit{x})$称为拉格朗日函数。

简单分析$L(\mathit{x})$可知其具备几个特征：

• (1) 梯度为0：$▽L({\mathit{x}}^{\ast })=▽f({\mathit{x}}^{\ast })+\sum _{i=1}^m{\lambda }_i▽g_i({\mathit{x}}^{\ast })+\sum _{i=1}^l{\mu }_i▽h_i({\mathit{x}}^{\ast })=0$
• (2) ：$L({\mathit{x}}^{\ast })=f({\mathit{x}}^{\ast })+\sum _{i=1}^m{\lambda }_i{g}_i({\mathit{x}}^{\ast })+\sum _{i=1}^l{\mu }_i{h}_i({\mathit{x}}^{\ast })=f({\mathit{x}}^{\ast })$
• (3) ：$L(\mathit{x})=f(\mathit{x})+\sum _{i=1}^m{\lambda }_i{g}_i(\mathit{x})+\sum _{i=1}^l{\mu }_i{h}_i(\mathit{x})\le f(\mathit{x}),\mathrm{\forall }\mathit{x}\in \mathit{S}$

由上面(2)、(3)可知：若${\mathit{x}}^{\ast }$是$L(\mathit{x})$的最优解(局部或者全局最优解都可以)，则${\mathit{x}}^{\ast }$是问题(P)的最优解。

若${\mathit{x}}^{\ast }$是$L(\mathit{x})$的局部最优解，则${\mathit{x}}^{\ast }$是问题(P)的局部最优解；

若${\mathit{x}}^{\ast }$是$L(\mathit{x})$的全局最优解，则${\mathit{x}}^{\ast }$是问题(P)的全局最优解。

小证明：

局部最优解情况：$f({\mathit{x}}^{\ast })=L({\mathit{x}}^{\ast })=L(\mathit{x})=f(\mathit{x}),\mathrm{\forall }\mathit{x}\in \mathit{S}\cap {\mathit{N}}_{\delta }({\mathit{x}}^{\ast })$

全局最优解情况：$f({\mathit{x}}^{\ast })=L({\mathit{x}}^{\ast })=L(\mathit{x})=f(\mathit{x}),\mathrm{\forall }\mathit{x}\in \mathit{S}$

假设${\mathit{x}}^{\ast }$满足KKT条件，则有：

• (1)：若${▽}^{2}L(\mathit{x})⪰0,\mathrm{\forall }\mathit{x}\in \mathit{S}$，则$L(\mathit{x})$在集合$\mathit{S}$上是凸函数，则${\mathit{x}}^{\ast }$是问题(P)的全局最优解；

• (2)：若${▽}^{2}L(\mathit{x})⪰0,\mathrm{\forall }\mathit{x}\in \mathit{S}\cap {\mathit{N}}_{\delta }({\mathit{x}}^{\ast })$，则$L(\mathit{x})$在上${\mathit{x}}^{\ast }$某一邻域是凸函数，则${\mathit{x}}^{\ast }$是问题(P)的局部最优解；

• (3)：若${▽}^{2}L({\mathit{x}}^{\ast })\succ 0$，则${\mathit{x}}^{\ast }$是问题(P)的严格局部最优解。

视频课程中这里有一部分分析推导，有时间记录

9.2 二阶充分条件

上一节学习了约束优化的一阶必要条件，即KKT条件，并通过Farkas引理证明了KKT条件以及在什么条件下KKT点即是最优解。这一节将学习约束优化的二阶充分条件

9.2.1 内容回顾

上一节最后提到若问题$(P)$是凸问题时，即问题$(P)$中：

• (1) $f(x),g_i(x),i=1,2,\cdots ,m$均为凸函数

• (2) $h_i(x),i=1,2,\cdots ,l$线性函数

• (3) ${\mathit{x}}^{\ast }$是KKT点，即满足五条性质

则${\mathit{x}}^{\ast }$是最优解。

那么本节将要研究 —— 当上述条件中(1)或(2)中有一个条件不满足时，${\mathit{x}}^{\ast }$仍满足是KKT点，什么情况下${\mathit{x}}^{\ast }$会使是最优解呢？

9.2.2 问题分析

假设${\mathit{x}}^{\ast }$满足KKT条件，则满足：

记一个新函数：

$$L(\mathit{x})=f(\mathit{x})+\sum _{i=1}^m{\lambda }_i{g}_i(\mathit{x})+\sum _{i=1}^m{\mu }_i{h}_i(\mathit{x})$$

其中，${\lambda }_i$、${\mu }_i$为KKT条件中的Lagrange系数，则我们可以得到下面几条结论：

• 【1】 由KKT条件中的$(1)$式可得：$\mathrm{\nabla }L({\mathit{x}}^{\ast })=0$

• 【2】 由KKT条件中的$(4)(5)$可得：$L({\mathit{x}}^{\ast })=f({\mathit{x}}^{\ast })+\sum _{i=1}^m{\lambda }_i{g}_i({\mathit{x}}^{\ast })+\sum _{i=1}^l{\mu }_i{h}_i({\mathit{x}}^{\ast })=f({\mathit{x}}^{\ast })$

• 【3】 $\mathrm{\forall }\mathit{x}\in \mathit{S},L(\mathit{x})\le f(\mathit{x})$

• 【4】 由【2】、【3】可知，若${\mathit{x}}^{\ast }$是$L(\mathit{x})$的最优解，则${\mathit{x}}^{\ast }$是问题$(P)$的最优解，并且这个最优解可以是局部最优解，也可以是全局最优解。

(一) 结论【3】的证明

因为$\mathit{x}\in \mathit{S}$，则$g_i(\mathit{x})\le 0,h_i(\mathit{x})=0$，因此：

$$\sum _{i=1}^l{\mu }_i{h}_i({\mathit{x}}^{\ast })=0$$

又因为$i\in I,{\lambda }_i\ge 0;i\notin I,{\lambda }_i=0$，因此：

$$\sum _{i=1}^m{\lambda }_i{g}_i({\mathit{x}}^{\ast })\le 0$$

所以可得【3】中结论：

$$L(\mathit{x})\le f(\mathit{x})$$

(二) 结论【4】的证明

假设${\mathit{x}}^{\ast }$是全局最优解，则$\mathrm{\forall }\mathit{x}\in \mathit{S},L({\mathit{x}}^{\ast })\le L(\mathit{x})$，由【2】【3】可得：

$$f({\mathit{x}}^{\ast })=L({\mathit{x}}^{\ast })\le L(\mathit{x})\le f(\mathit{x})$$

因此${\mathit{x}}^{\ast }$是$f({\mathit{x}}^{\ast })$的全局最优解。同理可证若$\mathit{x}\in \mathit{S}\cap N_{\delta }({\mathit{x}}^{\ast })$，则${\mathit{x}}^{\ast }$是局部最优解。

9.2.3 几个推论

假设${\mathit{x}}^{\ast }$满足KKT条件，则有：

• 【1】 若${▽}^{2}L(\mathit{x})⪰0,\mathrm{\forall }\mathit{x}\in \mathit{S}$，则$L(\mathit{x})$在集合$\mathit{S}$上是凸函数，则${\mathit{x}}^{\ast }$是问题(P)的全局最优解；

• 【2】 若${▽}^{2}L(\mathit{x})⪰0,\mathrm{\forall }\mathit{x}\in \mathit{S}\cap {\mathit{N}}_{\delta }({\mathit{x}}^{\ast })$，则$L(\mathit{x})$在上${\mathit{x}}^{\ast }$某一邻域是凸函数，则${\mathit{x}}^{\ast }$是问题(P)的局部最优解；

• 【3】 若${▽}^{2}L({\mathit{x}}^{\ast })\succ 0$，则${\mathit{x}}^{\ast }$是问题(P)的严格局部最优解。

其中【1】【2】是根据凸函数的性质得到的，而【3】是无约束优化问题的充分条件，由【3】可知：

$${▽}^{2}L(\mathit{x})\mathit{d},\mathit{d}\ne \mathbf{0}$$

但在约束优化中，并不要求对所有的$\mathit{d}$都成立。假设对$\mathrm{\forall }\mathit{d}\in {\mathit{F}}_1({\mathit{x}}^{\ast })$成立，之所以选择${\mathit{F}}_1({\mathit{x}}^{\ast })$是因为其与集合$\mathit{D}({\mathit{x}}^{\ast })$、$\mathit{T}({\mathit{x}}^{\ast })$、$\mathit{F}({\mathit{x}}^{\ast })$相比更直观好判断。因为目标函数是求最小值，因此可以将${\mathit{F}}_1({\mathit{x}}^{\ast })$中使目标函数值上升的方向排除掉。再来回顾一下${\mathit{F}}_1({\mathit{x}}^{\ast })$的定义：

$${\mathit{F}}_1({\mathit{x}}^{\ast })=\{\mathit{d}\mid ▽g_i({\mathit{x}}^{\ast }{)}^{\mathrm{T}}\mathit{d}\le 0,i\in \mathit{I},▽g_i({\mathit{x}}^{\ast }{)}^{\mathrm{T}}\mathit{d}=0,i=1,2,\cdots ,l\}$$

其中，集合$\mathit{I}$是有效指标集$\mathit{I}=\{i\mid g_i({\mathit{x}}^{\ast })=0\}$。由KKT条件可以得到${\lambda }_i\le 0$。

当$▽g_i({\mathit{x}}^{\ast }{)}^{\mathrm{T}}\mathit{d}<0$时，沿着$\mathit{d}$方向$g_i(\mathit{x})$值将变小，原来的约束条件为$g_i(\mathit{x})\le 0$，$g_i(\mathit{x})$变小相当于对不等式右端做了一个扰动变为：

$$g_i(\mathit{x})\le \epsilon ,\epsilon <0$$

由上一节Lagrange乘子的意义可以得到目标函数$f(\mathit{x})$的值将改变$-{\lambda }_i\epsilon$，若${\lambda }_i=0$，目标函数值将不变，若${\lambda }_i>0$，目标函数值将变大$-{\lambda }_i\epsilon$。

记

$${\mathit{I}}^{+}=\{i\mid {\lambda }_i>0,i\in \mathit{I}\},{\mathit{I}}^0=\{i\mid {\lambda }_i=0,i\in \mathit{I}\}$$

则$\mathit{I}={\mathit{I}}^{+}\cup {\mathit{I}}^0$。因此${\mathit{F}}_1({\mathit{x}}^{\ast })$中明显不可行的方向为$▽g_i({\mathit{x}}^{\ast }{)}^{\mathrm{T}}\mathit{d}<0$且${\lambda }_i>0$的方向，记${\mathit{F}}_1({\mathit{x}}^{\ast })$排除不可行方向后的集合记为${\mathit{F}}_2({\mathit{x}}^{\ast })$，则：

$${\mathit{F}}_2({\mathit{x}}^{\ast })=\{\mathit{d}\mid ▽g_i({\mathit{x}}^{\ast }{)}^{\mathrm{T}}\mathit{d}<0,i\in {\mathit{I}}^0,▽g_i({\mathit{x}}^{\ast }{)}^{\mathrm{T}}\mathit{d}=0,i\in {\mathit{I}}^{+},▽h_i({\mathit{x}}^{\ast }{)}^{\mathrm{T}}\mathit{d}=0,i=1,2,\cdots ,l\}$$

同时可以得到${\mathit{F}}_2({\mathit{x}}^{\ast })\subseteq {\mathit{F}}_1({\mathit{x}}^{\ast })$。

9.2.4 二阶充分条件定义

假设${\mathit{x}}^{\ast }$是KKT点，易知：

• $▽L({\mathit{x}}^{\ast })=0$
• ${\mathit{d}}^{\text{T}}{▽}^{2}L({\mathit{x}}^{\ast })\mathit{d}>0,\mathrm{\forall }\mathit{d}\in F_2({\mathit{x}}^{\ast })$

则${\mathit{x}}^{\ast }$是问题$(P)$的严格局部最优解。

9.2. 证明

反证：假设${\mathit{x}}^{\ast }$是KKT点，但${\mathit{x}}^{\ast }$不是问题(P)的严格局部最优解。则能找到一个点${\mathit{x}}_k\to {\mathit{x}}^{\ast }$，使得：

$$f({\mathit{x}}_k)\le f({\mathit{x}}^{\ast }),\mathrm{\forall }{\mathit{x}}_k\in \mathit{S}$$

记${\mathit{d}}_k={\displaystyle \frac{{\mathit{x}}_k-{\mathit{x}}^{\ast }}{\Vert {\mathit{x}}_k-{\mathit{x}}^{\ast }\Vert }}$$，$${\alpha }_k=\Vert {\mathit{x}}_k-{\mathit{x}}^{\ast }\Vert$，则会得到两个点列：$\left\{\begin{array}{c}{\mathit{d}}_k\end{array}\right\}$$，$$\left\{\begin{array}{c}{\alpha }_k\end{array}\right\}$，易得：

• 因为${\mathit{x}}_k\to {\mathit{x}}^{\ast }$，因此$\left\{\begin{array}{c}{\alpha }_k\end{array}\right\}\to 0$

• $\left\{\begin{array}{c}{\mathit{d}}_k\end{array}\right\}$是有界的，因此必然存在收敛子列，设最终$\left\{\begin{array}{c}{\mathit{d}}_k\end{array}\right\}\to \mathit{d}$

则有：${\mathit{x}}_k={\mathit{x}}^{\ast }+{\alpha }_k{\mathit{d}}_k$

$$\begin{array}{rl}f({\mathit{x}}_k)-f({\mathit{x}}^{\ast })& \stackrel{\mathrm{泰}\mathrm{勒}\mathrm{展}\mathrm{开}}{=}▽f({\mathit{x}}^{\ast }{)}^{\mathrm{T}}({\mathit{x}}_k-{\mathit{x}}^{\ast })+{\displaystyle \frac{{\alpha }_k^2}{2}}{\mathit{d}}_k^{\mathrm{T}}▽f({\mathit{x}}^{\ast }){\mathit{d}}_k+\text{o}({\alpha }_k^2)\\ & ={\alpha }_k▽f({\mathit{x}}^{\ast }{)}^{\mathrm{T}}{\mathit{d}}_k+{\displaystyle \frac{{\alpha }_k^2}{2}}{\mathit{d}}_k^{\mathrm{T}}▽f({\mathit{x}}^{\ast }){\mathit{d}}_k+\text{o}({\alpha }_k^2)\\ & \le 0\end{array}$$

$$\begin{array}{rl}{g}_i({\mathit{x}}_k)-g_i({\mathit{x}}^{\ast })& \stackrel{\mathrm{泰}\mathrm{勒}\mathrm{展}\mathrm{开}}{=}▽g_i({\mathit{x}}^{\ast }{)}^{\mathrm{T}}({\mathit{x}}_k-{\mathit{x}}^{\ast })+{\displaystyle \frac{{\alpha }_k^2}{2}}{\mathit{d}}_k^{\mathrm{T}}▽g_i({\mathit{x}}^{\ast }){\mathit{d}}_k+\text{o}({\alpha }_k^2)\\ & ={\alpha }_k▽g_i({\mathit{x}}^{\ast }{)}^{\mathrm{T}}{\mathit{d}}_k+{\displaystyle \frac{{\alpha }_k^2}{2}}{\mathit{d}}_k^{\mathrm{T}}▽g_i({\mathit{x}}^{\ast }){\mathit{d}}_k+\text{o}({\alpha }_k^2)\\ & \le 0\end{array}$$

$$\begin{array}{rl}{h}_i({\mathit{x}}_k)-h_i({\mathit{x}}^{\ast })& \stackrel{\mathrm{泰}\mathrm{勒}\mathrm{展}\mathrm{开}}{=}▽h_i({\mathit{x}}^{\ast }{)}^{\mathrm{T}}({\mathit{x}}_k-{\mathit{x}}^{\ast })+{\displaystyle \frac{{\alpha }_k^2}{2}}{\mathit{d}}_k^{\mathrm{T}}▽h_i({\mathit{x}}^{\ast }){\mathit{d}}_k+\mathrm{o}({\alpha }_k^2)\\ & ={\alpha }_k▽h_i({\mathit{x}}^{\ast }{)}^{\mathrm{T}}{\mathit{d}}_k+{\displaystyle \frac{{\alpha }_k^2}{2}}{\mathit{d}}_k^{\mathrm{T}}▽h_i({\mathit{x}}^{\ast }){\mathit{d}}_k+\mathrm{o}({\alpha }_k^2)\\ & =0\end{array}$$

剩余的证明内容请参考：数值优化| 约束优化二阶充分条件 - 知乎；最优化理论与方法-第九讲-约束优化（二）：二阶充分条件 - Bilibili

---

参考资料：最优性理论 - BiCMR - 北京大学

笔记参考资料：

【1】数值优化| 共轭梯度法

【2】数值优化| 约束优化的KKT必要条件

【3】数值优化| 约束优化二阶充分条件