【五期梁锐】CCF-A,（PMLR '20）FetchSGD Communication-Efficient Federated Learning with Sketching

Rothchild, Daniel, et al. "Fetchsgd: Communication-efficient federated learning with sketching." International Conference on Machine Learning. PMLR, 2020.

   本文是一篇2020年发表在PMLR上的关于解决联邦学习中存在的通信瓶颈和收敛性问题的文章，该文章提出了一种名为FetchSGD的算法，通过使用Count Sketch来压缩模型更新，然后利用Sketches的可合并性来将不同客户端的模型更新进行合并。FetchSGD设计中的一个关键问题是，由于Count Sketch 是线性的，动量和误差累积都可以在Count Sketch中进行。这使得该方法能够将动量和误差累积从客户端转移到中央服务器中，从而在克服稀疏客户端参与挑战的同时，确保高压缩率和良好的收敛性。
   FetchSGD解决了联邦学习中客户端状态欠缺以及在Non-iid下训练效果不佳的情况，利用梯度画像而不是Top-k选取的方式进行压缩，通过在服务端全局结合动量和误差反馈机制，加速收敛。通过实验可知，此算法的压缩率较高，在现实数据集中表现良好，该算法首先在客户端本地计算梯度，之后将梯度画像sketches发送到中央服务器中，中央服务器聚合梯度sketches，再将动量和误差累积，提取近似的 top-k 值，最后中央服务器将稀疏值更新到参与下一轮训练的客户端设备中。
   本文提出FetchSGD算法来解决目前联邦学习中出现的Communication-efficient、Stateless Client、Non-iid 问题，优势之处在于利用Count Sketch的统计特性：能够将模型更新（梯度数据流）进行压缩。解压后可以返回一个原始向量无偏估计，恢复高量级元素以及利用Count Sketch的线性性质：聚合，融入误差反馈机制和动量。再次加速收敛。而本文存在的问题在于对于non-iid的数据集设定太强。为了证明FetchSGD在多种特殊情况的优秀表现。例如cifar10手动分配数据，每个客户端只有一个类别。

2023年02月10日