论文笔记(10)-"Closing the Gap: Tighter Analysis of Alternating Stochastic Gradient Methods for Bilevel Problems"

Introduction

文章作者针对Bilevel optimization提出了一种对需要采样样本更少的single timescale算法，收敛速度为$\mathcal{O}(\frac{1}{\sqrt{K}})$。

Bilevel optimization问题的通常形式为

即对于一个嵌套的问题，上层级的问题求解需要子问题的最优解（通常的对偶问题都可以写成这样的形式，如$y$为对偶变量）。

上述问题的求解难点主要在于子问题$y^{\ast }(x)$的计算，一般很难得到解析解。

文章主要论题在于当我们用迭代的算法得到一个不精确的$y$时，如何更新$x$以及最终的收敛性、效率如何。

Main Idea

文章的两个主要想法为

1. $x$的更新方式

   $$\begin{array}{}\text{(1)}& \mathrm{\nabla }F(x)={\mathrm{\nabla }}_{x}f(x,y^{\ast }(x))-{\mathrm{\nabla }}_{xy}g(x,y^{\ast }(x))[{\mathrm{\nabla }}_{yy}g(x,y^{\ast }(x)){]}^{-1}{\mathrm{\nabla }}_{y}f(x,y^{\ast }(x))\end{array}$$

   推导过程如下：

   $$\begin{array}{}\text{(2)}& \mathrm{\nabla }F(x)& ={\mathrm{\nabla }}_{x}f(x,y^{\ast }(x))-{\mathrm{\nabla }}_x{y}^{\ast }(x){\mathrm{\nabla }}_{y}f(x,y^{\ast }(x))\end{array}$$

   对于${\mathrm{\nabla }}_x{y}^{\ast }(x)$，

   $$\begin{array}{}\text{(3)}& {\mathrm{\nabla }}_y{y}^{\ast }(x)=0\end{array}$$

   则

   $$\begin{array}{}\text{(4)}& \underset{\mathit{\text{take the gradient w.r.t. x}}}{\underbrace{{\mathrm{\nabla }}_x({\mathrm{\nabla }}_y{y}^{\ast }(x))}}& =0\text{(5)}& {\mathrm{\nabla }}_{xy}{y}^{\ast }(x)+{\mathrm{\nabla }}_x{y}^{\ast }(x){\mathrm{\nabla }}_{yy}{y}^{\ast }(x)& =0\text{(6)}& {\mathrm{\nabla }}_{xy}g(x,y^{\ast }(x))+{\mathrm{\nabla }}_x{y}^{\ast }(x){\mathrm{\nabla }}_{yy}g(x,y^{\ast }(x))& =0\end{array}$$

   第一个等式是对${\mathrm{\nabla }}_y{y}^{\ast }(x)$函数对$x$求梯度，要注意${\mathrm{\nabla }}_x({\mathrm{\nabla }}_y{y}^{\ast }(x))$和${\mathrm{\nabla }}_{xy}{y}^{\ast }(x)$的区别。最后得到

   $$\begin{array}{}\text{(7)}& {\mathrm{\nabla }}_x{y}^{\ast }(x)=-{\mathrm{\nabla }}_{xy}g(x,y^{\ast }(x))[{\mathrm{\nabla }}_{yy}g(x,y^{\ast }(x)){]}^{-1}\end{array}$$

2. $y^{\ast }(x)$是关于$x$的光滑函数，即

$$\Vert y^{\ast }(x_1)-y^{\ast }(x_2)\Vert \le L_y\Vert x_1-x_2\Vert$$

Algorithm

the update of $y$

通常$y^{\ast }$是没有解析解的，文中通过$T$次梯度下降得到在$k$时刻$T$次梯度下降后的结果$y^{k,T}$来替代$y^{\ast }(x^k)$

the update of $x$

将更新后的$y$代替$y^{\ast }(x)$带入$\text{???}$，得到

$${\overline{\mathrm{\nabla }}}_{x}f(x,y):={\mathrm{\nabla }}_{x}f(x,y)-{\mathrm{\nabla }}_{xy}g(x,y)[{\mathrm{\nabla }}_{yy}g(x,y){]}^{-1}{\mathrm{\nabla }}_{y}f(x,y)$$

其中对于Hessen矩阵的逆，使用近似

$$[{\mathrm{\nabla }}_{yy}g(x,y){]}^{-1}\approx [\frac{N}{{\ell }_{g,1}}\prod _{n=1}^{N^{\prime }}(I-\frac{1}{{\ell }_{g,1}}{\mathrm{\nabla }}_{yy}g(x,y;{\varphi }_{(n)}))]$$

其中${\varphi }_{(n)}$是第$n$个样本点，$N^{\prime }$是全部$N$个样本中的一部分样本，${\ell }_{g,1}$为$\mathrm{\nabla }g(x,y)$的Lipschitz continuity值。

这样整个算法流程为

其中

$$\begin{array}{}\text{(8)}& h_g^{k,t}& ={\mathrm{\nabla }}_{y}g(x^k,y^{k,t};{\varphi }^{k,t})\text{(9)}& h_f^k& ={\mathrm{\nabla }}_{x}f(x,y^{k+1};{\xi }^k)-{\mathrm{\nabla }}_{xy}g(x,y^{k+1};{\varphi }_{(0)})[\frac{N}{{\ell }_{g,1}}\prod _{n=1}^{N^{\prime }}(I-\frac{1}{{\ell }_{g,1}}{\mathrm{\nabla }}_{yy}g(x,y;{\varphi }_{(n)}))]{\mathrm{\nabla }}_{y}f(x,y^{k+1};\xi )\end{array}$$

Convergence

Assumption

收敛性要求的条件有

1. $f,\mathrm{\nabla }f,\mathrm{\nabla }g,{\mathrm{\nabla }}^{2}g$ 分别是${\ell }_{f,0},{\ell }_{f,1},{\ell }_{g,1},{\ell }_{g,2}$Lipschitz continuity
2. 对于任意固定的$x$，$g(x,y)$对于$y$是${\mu }_g-$strongly convex
3. 随机梯度$\mathrm{\nabla }f(x,y;\xi )$，$\mathrm{\nabla }g(x,y;\varphi )$和二阶导数${\mathrm{\nabla }}^{2}g(x,y;\varphi )$均是无偏的，且方差有界，分别为${\sigma }_f^2,{\sigma }_{g,1}^2,{\sigma }_{g,2}^2$

Proof

Sketch

令Lyapunov function ${\mathbb{V}}^k:=F(x^k)+\frac{L_f}{L_y}\Vert y^k-y^{\ast }(x^k)\Vert$，则

$${\mathbb{V}}^{k+1}-{\mathbb{V}}^k=\underset{\text{upper objective}}{\underbrace{F(x^{k+1})-F(x^k)}}+\underset{\text{convergence of }y}{\underbrace{\frac{L_f}{L_y}(\Vert y^{k+1}-y^{\ast }(x^{k+1})\Vert -\Vert y(x^k)-y^{\ast }(x^k)\Vert )}}$$

上述的Lyapunov function可以写成两部分，需要证明两者都是下降的。

the convergence of the upper function

先证明$F(x^{k+1})-F(x^k)$是递减，利用$x^{k+1}=x^k-{\alpha }_k{h}_f^k$得到

其中${\overline{h}}_f^k$是$h_f^k$的期望，利用$\Vert F(x^k)-{\overline{h}}_f^k\Vert =\Vert F(x^k)-h_f^k+h_f^k-{\overline{h}}_f^k\Vert$得到

可以看出$F(x^{k+1})-F(x^k)$是依赖于$\Vert y^{k+1}-y^{\ast }(x^k)\Vert$的收敛情况的。

the convergence of the lower function

需要注意Lyapunov function中关于$y$的是$\Vert y^k-y^{\ast }(x^k)\Vert$，而$y^k$在算法中是通过$x^{k-1}$取得的，所以要通过$x$来解耦

$$\Vert y^{k+1}-y^{\ast }(x^{k+1}){\Vert }^2=\underset{J_1}{\underbrace{\Vert y^{k+1}-y^{\ast }(x^k){\Vert }^2}}+\underset{J_2}{\underbrace{\Vert y^{\ast }(x^{k+1})-y^{\ast }(x^k){\Vert }^2}}+2\underset{J_3}{\underbrace{⟨y^{k+1}-y^{\ast }(x^k),y^{\ast }(x^k)-y^{\ast }(x^{k+1})⟩}}$$

这样将原式分为3部分，其中第一部分$J_1$是关于$y^{k+1}$在给定$x^k$后是否收敛到$y^{\ast }(x^k)$，$J_2$则用到了$y$函数的光滑性。

关于$J_1$这部分是很标准的证明过程

关于$J_2$部分，这里直接使用光滑性质

对于$J_3$再次利用$y^{\ast }(x)$的光滑性，用$y^{\ast }(x^k)-y^{\ast }(x^{k+1})-\mathrm{\nabla }{y}^{\ast }(x^k{)}^T(x^{k+1-x^k})+\mathrm{\nabla }{y}^{\ast }(x^k{)}^T(x^{k+1-x^k})$来解耦，得到

对于$J_3^1$得到

其中最后一个不等式用到了Yong's equality $ab\le 2{\gamma }_k{a}^2+\frac{b^2}{8{\gamma }_k}$

对于$J_3^2$直接使用光滑性质得到

其中$(h)$不等式用到了$1\le \frac{\eta }{2}+\frac{1}{2\eta }$。最终整合起来得到

Cases

Min-Max Problems

Min-Max常见于博弈论、优化等领域中，之前的Decomposition，对偶与Proximal都可以归结为这类问题。对于一般的Min-Max问题，其$g(x,y)=-f(x,y)$，因此$\text{???}$中${\mathrm{\nabla }}_{y}f(x,y^{\ast }(x))=0$，故更新方式变为

$$\begin{array}{}\text{(10)}& h_g^{k,t}& =-{\mathrm{\nabla }}_{y}f(x^k,y^{k,t};{\varphi }^{k,t})\text{(11)}& h_f^k& ={\mathrm{\nabla }}_{x}f(x^k,y^{k+1};{\xi }^k)\end{array}$$

Compositional Problems

在Compositional Problems中通常会加入一个norm的正则项，如加入$L_1$-norm的Lasso等问题。对于一般的Compositional problems问题，其$g(x,y)=\Vert y-h(x;\varphi ){\Vert }^2$，$f(x,y):=f(y)$，这样得到新的更新公式为

$$\begin{array}{}\text{(12)}& h_g^{k,t}& =y^k-h(x^k;{\varphi }^k)\text{(13)}& h_f^k& =\mathrm{\nabla }h(x^k;{\varphi }^k)\mathrm{\nabla }f(y^{k+1};{\xi }^k)\end{array}$$

Summary

1. 对于$x$更新公式中的${\mathrm{\nabla }}_{xy}g(x,y^{\ast }(x))[{\mathrm{\nabla }}_{yy}g(x,y^{\ast }(x)){]}^{-1}$，我是将其用Newton Methods的方法去理解。
2. 定义的Lyapunov function为upper objective加上一个$R_y=\Vert y^k-y^{\ast }(x^k)\Vert$，需要注意的是norm中的$y^{\ast }(x^k)$实际上是$k+1$的。
3. 收敛性证明中$F(x)$的收敛性除了和$x$的迭代有关系，还和lower level中$y$的迭代有关系的，需要验证lower level迭代中$y$也是收敛的。
4. 这篇文章很有实践指导意义，例如为什么在Min-Max问题中使用Alternative methods即使不加那个${\mathrm{\nabla }}_{xy}g(x,y^{\ast }(x))[{\mathrm{\nabla }}_{yy}g(x,y^{\ast }(x)){]}^{-1}$也能表现很好？
5. 以及$y^{\ast }(x)$确实包含$x$更新方向的信息。