论文笔记11 - "Linear Convergence in Federated Learning: Tackling Client Heterogeneity and Sparse Gradients"

内容总结全在摘要里，下面是一些证明

Deterministic

上面这个式子只要求了$f$函数$L$-smooth。

对于

$$\Vert x_{i,\ell }-{\overline{x}}_t{\Vert }^2$$

可以看作对多步gradient的norm。在convex和strongly convex的条件下可以得到

$$\Vert x_{i,\ell }-{\overline{x}}_t\Vert \le \eta \ell \Vert \mathrm{\nabla }f(x_t){\Vert }^2$$

这里引入的SVRG优势就凸显出来了，可以分离出$\mathrm{\nabla }f(x_t)$而不是$\mathrm{\nabla }{f}_i(x_{i,\ell -1})$。

Strongly convex

代入可以得到

这里确定$f({\overline{x}}_{t+1})$和$f({\overline{x}}_t)$之间的下降上界，然后根据strongly convex的性质，

$$\Vert \mathrm{\nabla }f({\overline{x}}_t){\Vert }^2\ge 2\mu (f({\overline{x}}_t)-f(x^{\ast }))$$

得到

$$f({\overline{x}}_{t+1})-f(x^{\ast })\le (1-\frac{1}{6\kappa })(f({\overline{x}}_t)-f(x^{\ast }))$$

convex

对于convex场景，我们有

代入$\Vert x_{t,\ell }-{\overline{x}}_t{\Vert }^2$

Nonconvex

对于nonconvex场景，需要重新确定$\Vert x_{i,\ell }-{\overline{x}}_t{\Vert }^2$

代入即可得

Stochastic

相对于随机的场景，要多出因为随机采样而导致的误差项。

Strongly-convex

summary

• 个人认为，他讨论的infrequence communication没啥意义，因为他的学习率是关于H的函数，H变大学习率就减小，它们俩的乘积是固定的。
• 证明过程还是很清晰简洁的