优化整理

函数$g$的一些性质

• Lipschitz continuity

  $$\Vert \theta {\Vert }_2\le D\Rightarrow \Vert g^{\prime }(\theta ){\Vert }_2\le B$$

• Smoothness

  $$\Vert g^{\prime }({\theta }_1)-g^{\prime }({\theta }_1){\Vert }_2\le L\Vert {\theta }_1-{\theta }_2{\Vert }_2$$

• Strong convexity

  $$g({\theta }_1)\ge g({\theta }_2)+g({\theta }_1{)}^T({\theta }_2-{\theta }_1)+\frac{\mu }{2}\Vert {\theta }_1-{\theta }_2{\Vert }_2$$

Smoothness函数的性质

光滑凸函数的性质

• 如果$g$是二阶可微的，则

  $$\Vert g^{″}(\theta )\Vert \le L$$

• 二阶上界

  $$g({\theta }_1)\le g({\theta }_2)+g^{\prime }({\theta }_2)({\theta }_1-{\theta }_2)+\frac{L}{2}\Vert {\theta }_1-{\theta }_2\Vert$$

  可以直接通过上述的$g^{″}(\theta )\le L$导出

• 下界

  $$g({\theta }_1)\ge g({\theta }_2)+g^{\prime }({\theta }_2)({\theta }_1-{\theta }_2)+\frac{L}{2}\Vert {\theta }_1-{\theta }_2\Vert$$

  令$h(\theta )=g(\theta )-{\theta }^T{g}^{\prime }({\theta }_2)$，$h(\theta )$为凸函数且在${\theta }_2$取得最小值，$h(\theta )\le h(\theta -\frac{1}{L}{g}^{\prime }(\theta ))$，将进行泰勒展开可以得到结果。

• co-coercivity

  $$\frac{1}{L}\Vert g^{\prime }(\theta )-g^{\prime }(\eta ){\Vert }_2^2\le [g^{\prime }(\theta )-g^{\prime }(\eta ){]}^T(\theta -\eta )$$

• 到最优点的距离

  $$g(\theta )-g({\theta }_{\ast })\le g^{\prime }(\theta {)}^T(\theta -{\theta }_{\ast })$$

• 如果$g$是$\mu$ 强凸的，那么

  $$g(\theta )\le g(\eta )+g^{\prime }(\eta )(\theta -\eta )+\frac{1}{2\mu }\Vert g^{\prime }(\theta )-g(\eta )\Vert$$

  同样，令$h(\theta )=g(\theta )-{\theta }^T{g}^{\prime }(\eta )$并利用强凸的定义即可。

• 如果$g$是$\mu$强凸，那么到最优点的距离

  $$g(\theta )-g({\theta }_{\ast })\le \frac{1}{2\mu }\Vert g^{\prime }(\theta ){\Vert }^2$$

光滑函数梯度下降

令光滑函数梯度下降的迭代过程为${\theta }_t={\theta }_{t-1}-\frac{1}{L}{g}^{\prime }({\theta }_{t-1})$

• 如果$g$是$\mu$强凸的，那么

  $$\Vert g({\theta }_t)-g({\theta }_{\ast })\Vert \le (1-\mu /L{)}^t[g({\theta }_0)-g({\theta }_{\ast })]$$

  即，梯度下降算法是$1-\mu /L$线性收敛的。

  最后使用$\Vert g^{\prime }(\theta )-g^{\prime }({\theta }_{\ast }){\Vert }^2\ge 2\mu (g(\theta )-g({\theta }_{\ast }))$

• 如果$g$仅仅是$L-smooth$的，那么

  $$g({\theta }_t)-g(\theta )\le \frac{2L\Vert {\theta }_0-{\theta }_{\ast }\Vert }{t+4}$$

  将${\theta }_t$的迭代过程带入，并利用$co-coercivity$

  

  利用凸函数的性质和柯西施瓦茨不等式可以得到

  $$g({\theta }_{t-1})-g({\theta }_{\ast })\le g^{\prime }({\theta }_{t-1})({\theta }_{t-1}-\theta )\le \Vert g^{\prime }({\theta }_{t-1})\Vert \Vert {\theta }_{t-1}-\theta \Vert$$

  同时利用上一步的结果$g({\theta }_t)\le g({\theta }_{t-1})-\frac{1}{2L}\Vert g^{\prime }({\theta }_{t-1}){\Vert }^2$

  

  定义

  

  

  倒数第二步骤，从$1-t$的加和，两边都是加上前一步结果后，左式的$\frac{1}{{\mathrm{\Delta }}_{k-1}}$被消除，因此就等于最后的结果。

加速梯度下降

对于$L-smooth$函数$g$，以及下述优化流程

$$\begin{array}{rl}{\theta }_t& ={\eta }_{t-1}-\frac{1}{L}{g}^{\prime }({\eta }_{t-1})\\ {\eta }_t& ={\theta }_t+\frac{t-1}{t+2}({\theta }_t-{\theta }_{t-1})\end{array}$$

则会有$g({\theta }_t)-g({\theta }_{\ast })\le \frac{2L\Vert {\theta }_0-{\theta }_{\ast }{\Vert }^2}{(t+1{)}^2}$

如果$g$还是一个$\mu$强凸函数，那么下属流程

$$\begin{array}{rl}{\theta }_t& ={\eta }_{t-1}-\frac{1}{L}{g}^{\prime }({\eta }_{t-1})\\ {\eta }_t& ={\theta }_t+\frac{1-\sqrt{\mu /L}}{1+\sqrt{\mu /L}}({\theta }_t-{\theta }_{t-1})\end{array}$$

则会有$g({\theta }_t)-g({\theta }_{\ast })\le L\Vert {\theta }_0-{\theta }_{\ast }{\Vert }^2(1-\sqrt{1-\mu /L}{)}^t$

文章说的ten-line proof并没看懂...

Proximal gradient descent

Proximal gradient descent针对的是

$$\underset{x}{min}g(x)+h(x)$$

其中$g(x)$是Lipschitz连续，$h(x)$是凸函数不一定可微分。

其要找到一个$z$使得

$$\underset{z}{min}\Vert x-z{\Vert }^2+h(z)$$

推导过程为，假设除去$h(x)$按照正常的梯度下降方法，

$$x^{+}=x-\frac{1}{L}\mathrm{\nabla }g(x)$$

对其在$x$点进行二阶展开

$$\begin{array}{rl}{x}^{+}& =\arg \underset{z}{min}g(x)+\mathrm{\nabla }{g}^{\prime }(x{)}^T(z-x)+\frac{1}{2L}\Vert z-x{\Vert }^2+h(z)\\ & =\arg \underset{z}{min}\frac{1}{2L}\Vert z-(x-L\mathrm{\nabla }g(x)){\Vert }^2+h(z)\end{array}$$

最后一个等式去除了一些无关的常数项，因此最后一行其实是原式子的上界，通过对其上界进行优化从而实现其下降。

求解过程如下

加入没有$g(x)$这一项，对$g(x)$进行求导，可以得到

$$x^{(t+1)}=x^{(t)}-\frac{1}{L}\mathrm{\nabla }f(x^{(t)})$$

继而可以得到$\mathrm{\nabla }f(x^{(t)})=L（x^{(t)}-x^{(t+1)})$，为了表示方便，令$\gamma =\frac{1}{L}$，同时设$G_{\gamma }=\frac{1}{\gamma }(x-x^{(t+1)})$。现在证明$G_{\gamma }=0\Rightarrow \partial g(x)+h(x)$

因为$x^{(t+1)}=\arg \underset{z}{min}\{\frac{1}{2\gamma }\Vert z-(x^{(t)}-\gamma \mathrm{\nabla }g(x^{(t)}))\Vert +h(z)\}$，上式对$z$求导即可得到结果

这个结果进一步说明了Proximal Gradient Descent与通常的梯度下降间的联系。

令$f(x)=g(x)+h(x)$证明：

$$f(y)\ge f(x^{(t+1)})+<G_{\gamma }(x),y-x>+\frac{\alpha }{2}\Vert y-x{\Vert }^2+\gamma (1-\frac{\beta \gamma }{2})\Vert G_{\gamma }(x){\Vert }^2$$

将$x^{(t+1)}=x-\gamma G_{\gamma }(x)$代入$f(x)$得到

$$\begin{array}{rl}f(x^{(t+1)})& =g(x-\gamma G_{\gamma }(x))+h(x^{t+1})\\ & \le g(x)-\gamma <\mathrm{\nabla }g(x),G_{\gamma }(x)>+\frac{\beta \gamma }{2}\Vert G_{\gamma }(x){\Vert }^2\\ & \le g(y)+<\mathrm{\nabla }g(x),x-y>-\frac{\alpha }{2}\Vert x-y{\Vert }^2\\ & -\gamma <\mathrm{\nabla }g(x),G_{\gamma }(x)>+\frac{\beta \gamma }{2}\Vert G_{\gamma }(x){\Vert }^2\\ & =g(y)+<\mathrm{\nabla }g(x),x-y-\gamma G_{\gamma }(x)>-\frac{\alpha }{2}\Vert x-y{\Vert }^2\\ & +\frac{\beta \gamma }{2}\Vert G_{\gamma }(x){\Vert }^2\end{array}$$

参考文献

• Francis Batch, Statistical machine learning and convex optimization
• [Ryan Tibshirani, Convex Optimization](