对偶与Proximal

定理.conjugate subgradient theorem

这个定理比较重要的一点在于指导如何求解对偶梯度，例如对于$y$存在$x\in \partial f^{\ast }(y)$，则$x$需要满足

$$⟨x,y⟩-f(x)=f^{\ast }(y)=\underset{sup\tilde{x}}{max}(⟨\tilde{x},y⟩-f(\tilde{x}))$$

那么这时候我们只需要找到$\tilde{x}$即可求得对偶函数的梯度。

无约束条件下的算法

BB Algorithm

$$\begin{array}{}\text{(1)}& x^{k+1}& =x^k-{\alpha }_k\mathrm{\nabla }f(x^k)\text{(2)}& {\alpha }_k& =\frac{s_k^T{s}_k}{s_k^T{y}_k}\end{array}$$

where

$$\begin{array}{}\text{(3)}& s^k& =x^k-x^{k-1}\text{(4)}& y_k& =\mathrm{\nabla }f(x^k)-\mathrm{\nabla }f(x^{k-1})\end{array}$$

Proximal Point Method

$$\begin{array}{}\text{(5)}& x^{k+1}& =\arg \underset{x}{min}\{f(x)+\frac{1}{2{\alpha }_k}\Vert x-x^k\Vert \}\text{(6)}& & ={\text{prox}}_{{\alpha }_{k}f}(x^k)\end{array}$$

对 $x$进行求梯度

$$x^{k+1}=x_k-{\alpha }_k\mathrm{\nabla }f(x^{k+1})$$

Proximal Gradient Method

$$minf(x)+g(x)$$

其中$f$凸光滑，$g$凸不光滑。对$f$函数进行展开逼近

$$\begin{array}{}\text{(7)}& x^{k+1}& =\arg \underset{x}{min}f(x^k)+⟨\mathrm{\nabla }f(x^k),x-x^k⟩+\frac{1}{2{\alpha }_k}\Vert x-x^k\Vert +g(x)\text{(8)}& & ={\text{prox}}_{{\alpha }_{k}g}(x^k-{\alpha }_k\mathrm{\nabla }f(x^k))\end{array}$$

对偶视角

考虑一个线性凸约束问题

$$\begin{array}{}\text{(9)}& \underset{x}{min}& f(x)\text{(10)}& \text{s.t.}& Ax=b\end{array}$$

构建Lagrange函数

$$\mathcal{L}(x,y)=f(x)+⟨y,Ax-b⟩$$

令$d(y)=-\underset{x}{min}\mathcal{L}(x,y)$，则对偶问题为

$$\underset{y}{min}d(y)$$

对偶梯度上升

利用梯度的方法得到

$$y^{k+1}=y^k-{\alpha }_k\partial d(y^k)$$

其中

$$\begin{array}{}\text{(11)}& d(y)& =-\underset{x}{min}\mathcal{L}(x,y)\text{(12)}& & =-\underset{x}{min}f(x)+y^{T}Ax-y^{T}b\text{(13)}& & =[-\underset{x}{min}-(-y^{T}Ax-f(x)]+y^{T}b\text{(14)}& & =f^{\ast }(-A^{T}y)+y^{T}b\end{array}$$

则

$$\begin{array}{}\text{(15)}& \partial d(y)=-A{f}^{\ast }(-A^{T}y)+b\end{array}$$

利用共轭函数的定理需求共轭函数的梯度，则此时的$\tilde{x}$需要满足

$$\begin{array}{}\text{(16)}& \tilde{x}& =\arg \underset{\tilde{x}}{max}\{⟨-A^{T}y,\tilde{x}⟩-f(\tilde{x})\}\text{(17)}& & =\arg \underset{\tilde{x}}{min}\{⟨A^{T}y,\tilde{x}⟩+f(\tilde{x})-y^{T}b\}\text{(18)}& & =\arg \underset{x}{min}\mathcal{L}(x,y)\end{array}$$

此时的更新方式为，也称对偶梯度上升

Dual Proximal point method

此时$y$的更新方式为

$$y^{k+1}=y^k-{\alpha }_k\partial d(y^{k+1})$$

由$\text{15}$可知

$$\begin{array}{}\text{(19)}& \partial d(y^k+1)& =-A\partial f(-A^T{y}^{k+1})+b\text{(20)}& & =-A\arg \underset{x}{min}\mathcal{L}(x,y^{k+1})+b\end{array}$$

得$x^{k+1}$为

$$\begin{array}{}\text{(21)}& x^{k+1}& =\arg \underset{x}{min}\mathcal{L}(x,y^{k+1})\text{(22)}& & =\arg \underset{x}{min}f(x)+⟨y^{k+1},A^{T}x-b⟩\text{(23)}& & =\arg \underset{x}{min}f(x)+⟨y^k+{\alpha }_k(A^{T}x-b),A^{T}x-b⟩\text{(24)}& & =\arg \underset{x}{min}f(x)+⟨y^k,(A^{T}x-b)⟩+\frac{\alpha }{2}\Vert A^{T}x-b{\Vert }^2\end{array}$$

$x^{k+1}$为增广拉格朗日，更新方式为

Dual Proximal Gradient Method

考虑问题

$$\begin{array}{}\text{(25)}& \underset{x}{min}& f(x)+g(z)\text{(26)}& \text{s.t.}& Ax+Bz=b\end{array}$$

同样$f$凸光滑，$g$凸非光滑。Lagrange函数为

$$\mathcal{L}(x,z)=\underset{{\mathcal{L}}_1(x,y)}{\underbrace{f(x)+y^{T}Ax}}+\underset{{\mathcal{L}}_2(z,y)}{\underbrace{g(z)+y^{T}Bz-y^{T}b}}$$

令$d_1(y)=-\underset{x}{min}{\mathcal{L}}_1(x,y)$，$d_2(y)=-\underset{z}{min}{\mathcal{L}}_2(z,y)$。对于对偶问题

$$\underset{y}{min}{d}_1(y)+d_2(y)$$

利用Proximal Gradient Method更新$y$得到

$$y^{k+1}={\text{prox}}_{{\alpha }_k{d}_2}(y^k-{\alpha }_k\partial d_1(y^k))$$

令

$$\{\begin{array}{}\text{(27)}& y^{k+1/2}& =y^k-{\alpha }_k\partial d_1(y^k)& \text{(28)}& y^{k+1}& ={\text{prox}}_{{\alpha }_k{d}_2}(y^{k+1/2})& \end{array}$$

$y^{k+1/2}$进行梯度下降，第二步进行proximal操作。其中

$$\partial d_1(y^k)=-A{x}^{k+1}$$

$x_{k+1}=\arg \underset{x}{min}{\mathcal{L}}_{\mathcal{1}}(x,y)$。第二步$y^{k+1}$更新为

$$\begin{array}{}\text{(29)}& y^{k+1}& ={\text{prox}}_{{\alpha }_k{d}_2}(y^{k+1/2})\text{(30)}& & =y^{k+1/2}-{\alpha }_k\partial d_2(y^{k+1})\end{array}$$

$\partial d_2(y^{k+1})=-B{z}^{k+1}+b$，而$z^{k+1}=\arg \underset{z}{min}{\mathcal{L}}_2(z,y^{k+1/2})$。最终的更新为

$$\{\begin{array}{}\text{(31)}& x^{k+1}& =\arg \underset{x}{min}{\mathcal{L}}_1(x,y^k)\text{(32)}& y^{k+1/2}& =y^k+{\alpha }_{k}A{x}^{k+1}\text{(33)}& z^{k+1}& =\arg \underset{z}{min}{\mathcal{L}}_2(z,y^{k+1/2})\text{(34)}& y^{k+1}& =y^{k+1/2}+{\alpha }_k(B{z}^{k+1}-b)\end{array}$$

总结

我们只需要记住proximal操作是

$$x^{k+1}=x^k-\alpha \mathrm{\nabla }f(x^{k+1})$$

而对于有约束的问题我们需要求解对偶变量及其梯度。当求对偶变量梯度的时候使用共轭次梯度定理，满足定理条件的primal variable就是其当前次梯度。

$$x=\arg \underset{x}{max}\{y^{T}x-f(x)\}$$

参考资料

• 原始对偶角度下的几类优化方法-邓康康