原始问题对偶化

本篇假设已经了解Lagrange函数，对偶的基本原理，针对的问题是对没有约束的函数$f(w)$如何变换为对偶，以及对参考资料^[1][2]一些推到的补充。

目录

• 问题
• 例子
• 参考资料

问题

一般的统计机器学习目标函数可以通常为

$$\begin{array}{}\text{(1)}& \underset{w}{min}f(Xw)+r(w)\end{array}$$

其中$X$代表数据，$w$代表要学习的参数，$f(Xw)$表示某种误差度量，$r(w)$表示对$w$的正则项。

现在要对这个问题做对偶，为什么要做对偶在参考资料里也给出了几种情况，这里罗列如下：

• 参数$w$的维度小于数据维度，求解方便
• 可以分布式

公式$\text{1}$没有约束信息，通过引入

$$\lambda =Xw$$

来制造约束。引入约束后，更新如下

$$\begin{array}{rlr}& \underset{w,\lambda }{min}& f(\lambda )+r(w)\\ & s.t.& \lambda =Xw\end{array}$$

这样就可以构造Lagrange函数，

$$\begin{array}{}\text{(2)}& \underset{w,\lambda }{min}f(\lambda )+r(w)+\alpha (Xw-\lambda )\end{array}$$

利用共轭函数，上式整理为

$$\begin{array}{rl}& \underset{\lambda }{min}-\alpha \lambda +f(\lambda )+\underset{w}{min}\alpha Xw+r(w)\\ & -\underset{\lambda }{sup}(\alpha \lambda -f(\lambda ))-\underset{w}{sup}(-\alpha Xw-r(w))\\ & -f^{\ast }(\alpha )-r^{\ast }(-\alpha W)\end{array}$$

最后的目标是要极大化Lagrange函数，即公式$\text{2}$，也就是最小化dual gap。

$$\begin{array}{rl}& max-f^{\ast }(\alpha )-r^{\ast }(-\alpha W)\\ & min{f}^{\ast }(\alpha )+r^{\ast }(-\alpha W)\end{array}$$

根据$-\alpha X=\mathrm{\nabla }{r}^{(}w)$原始变量$w$和对偶变量间的关系如下

$$w=-\mathrm{\nabla }{r}^{\ast }(-\alpha X)$$

对于参考资料^[1]中共轭函数的例子，

对Hinge和Square loss给出具体的推到

• Hinge loss

  $$\underset{z}{sup}uz-max\{0,1-y_{i}z\}$$

  分析$max\{0,1-y_{i}z\}$的取值情况（需要注意这时候的$|y_i|=1$），当$y_{i}z>1$时，即$|z|>\frac{1}{|y|}$时，上式变成$\underset{z}{sup}uz$而且此时$z$还是一个无界的，因此极限不存在。当$y_{i}z\le 1$时，即$|z|\le \frac{1}{|y|}$时，上式变为$\underset{z}{sup}uz-1+y_{i}z$，此时为了取极大值$y_{i}z=1$，因此变成$\underset{z}{sup}uz$，因为$z$的取值范围，最后变成$u\frac{1}{|y|}$，注意$y=\pm 1$，因此最终的结果是$u$，这个和图片中的结果有点不符，我也不太确信。

• Square loss

  $$\underset{z}{sup}uz-\Vert y_i-z{\Vert }_2^2$$

  对于Square loss直接展开，然后求极值就可以得到$y_{i}u+\frac{u^2}{4}$的结果。

例子

例子来源于^[2]，primal问题是

$$\underset{\mathrm{w}\in R^d}{min}[\frac{\lambda }{2}\Vert \mathrm{w}{\Vert }_2^2+\frac{1}{n}\sum _{i=1}^n{l}_i({\mathrm{w}}^{\mathrm{T}}{x}_i)]$$

根据公式$\text{2}$的变换，得到

$$\begin{array}{r}\underset{\mathrm{w},u_i}{min}[\frac{\lambda }{2}\Vert \mathrm{w}{\Vert }_2^2+\frac{1}{n}\sum _{i=1}^n{l}_i(u_i)]-\underbrace{\frac{1}{n}}\sum _i^n{\alpha }_i(u_i-w^T{x}_i)\end{array}$$

上式中的花括号的地方添加的$\frac{1}{n}$是为了更方便合并$l_i(u_i),{\alpha }_i{u}_i$。对于正则项部分

$$\begin{array}{}\text{(3)}& & -\underset{\mathrm{w}}{max}-{\mathrm{w}}^T\left[\begin{array}{c}\frac{1}{n}{x}_i\end{array}\right]\alpha -\frac{2}{\lambda }\Vert \mathrm{w}{\Vert }_2^2\text{(4)}& & -\frac{1}{2\lambda }\Vert \left[\begin{array}{c}\frac{1}{n}{x}_i\end{array}\right]\alpha {\Vert }_2^2\end{array}$$

从而(3)到(4)的变换使用的就是square loss的共轭函数，为了简便，可以令$A=\frac{1}{\lambda n}\left[\begin{array}{c}\frac{1}{n}{x}_i\end{array}\right]$，最终化简为

$$-\frac{\lambda }{2}\Vert A\alpha {\Vert }_2^2$$

关于$l_i$的部分就不进一步说明了。参数$\mathrm{w}$和$\alpha$的关系，通过(3)到(4)中对$\mathrm{w}$求极值可以得到

$$\mathrm{w}=A\alpha$$

参考资料

1. 知乎：淋蒙, 凸优化中的对偶问题与共轭函数

2. 知乎：淋蒙, 从单机优化到分布式优化：从Coordiante Ascent到MOCHA