EE364b笔记

次梯度方法

• 次梯度方法不一定会使损失函数下降

  与line search方法不同，次梯度方法步长的schedule都是事先确定，因此不一定会导致损失函数下降，因此在证明收敛的时候用到的是$x^{t+1}-x^{\ast }$的范数。

• 次梯度的证明框架

  $$\begin{array}{rl}\Vert x^{t+1}-x^{\ast }{\Vert }^2& =\Vert x^t-{\alpha }_t{g}_t-x^{\ast }{\Vert }^2\\ & =\Vert x^t-x^{\ast }{\Vert }^2-2{\alpha }_t⟨g_t,x^t-x^{\ast }⟩+{\alpha }_t^2\Vert g_t{\Vert }^2\\ & \le \Vert x^t-x^{\ast }{\Vert }^2-2{\alpha }_t(f_t-f_{\ast })+{\alpha }_t^2\Vert g_t{\Vert }^2\\ & =\Vert x^0-x^{\ast }{\Vert }^2-2\sum _{k=0}^t{\alpha }_k(f_k-f_{\ast })+\sum _{k=0}^t{\alpha }_k^2\Vert g_t{\Vert }^2\end{array}$$

• 步长选择

  步长选择常用的方法有

  • 常数$\alpha$
  • $\sum {\alpha }_k=\mathrm{\infty }$，${\alpha }_k\to 0$，常用的如$\frac{1}{\sqrt{k}}$
  • $\sum {\alpha }_k^2\le \mathrm{\infty }$，$\sum {\alpha }_k=\mathrm{\infty }$，$a_k\to 0$，常用的如$\frac{1}{k}$

• 收敛分析

  根据次梯度的证明$f_{best}^t-f_{\ast }\le \frac{R+\sum {\alpha }_k^{2}G}{\sum 2{\alpha }_k}$选取不同的步长，有不同的收敛结果但收敛速度都是$\mathcal{O}(\frac{1}{\sqrt{t}})$

  • 在常数的情况下，$f_{best}^t$和$f_{\ast }$之间有$\frac{R}{2t\alpha }$的误差
  • 在diminish的情况下，$f_{best}^{\ast }$会收敛到$f_{\ast }$

• projected次梯度方法

  根据$\Vert x^{t+1}-x^{\ast }{\Vert }^2=\Vert \mathrm{\Pi }(z^{t+1})-x^{\ast }{\Vert }^2\le \Vert z^{t+1}-x^{\ast }{\Vert }^2$，投影的次梯度方法不会影响收敛情况。

• Mirror descent

  参看之前的博客

• adaptive methods

  先看一下polyak's step，根据$2{\alpha }_t{f}^t-f_{\ast }\le \Vert x^t-x^{\ast }{\Vert }^2-\Vert x^{t+1}-x^{\ast }{\Vert }^2+{\alpha }_t^2\Vert g_t{\Vert }^2$得到，当${\alpha }_t=\frac{f(x^t)-f_{\ast }}{\Vert g_t{\Vert }^2}$时取得最小值。

参考资料

• EE364b