穷酸秀才大艹包

摘要： 联邦学习使得大量的边缘计算设备在不共享数据的情况下共同学习模型。联邦平均法（FedAvg）是该算法中的一种主要算法，它在所有设备的一小部分上并行运行随机梯度下降（SGD），并每隔一段时间对序列进行平均。尽管它很简单，但在现实环境下却缺乏理论上的保障。本文分析了FedAvg在非iid数据上的收敛性，建立了强凸光滑问题的收敛速度O(1/T)，其中T是SGDs的迭代次数。重要的是，我们的界证明了通信效率和收敛速度之间的权衡。由于用户设备可能与服务器断开连接，我们将设备完全参与的假设放宽到部分设备参与，并研究了不同的平均方案；在不严重降低学习速度的情况下，可以实现低设备参与率。我们的结果表明，数据的异质性减缓了收敛速度，这与经验观测相符。此外，我们还为FedAvg在非iid数据上的收敛性提供了一个必要条件：即使使用全梯度，学习率也必须下降；否则，解将偏离最优解。 阅读全文

摘要： 写本篇是为了记录一下之前阅读过的一些关于联邦学习的文章，然后对其中的一些关键点进行了总结，并加入了个人对于联邦学习这一研究领域的理解以及思考 阅读全文

摘要： 郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ arXiv:1908.07873v1 [cs.LG] 21 Aug 2019 Abstract 联邦学习包括通过远程设备或孤立的数据中心（如移动电话或医院）训练统计模型，同时保持数据本地化。在异构和潜在的大规模网络中进行训练带来了新的挑战 阅读全文

摘要： 最近的研究表明，在机器学习的背景下，去中心化算法比中心化算法能提供更好的性能。这两种方法的主要区别在于它们不同的通信模式，它们都容易在异构环境中性能下降。尽管人们一直致力于支持中心化算法来对抗异构性，但在去中心化算法中很少有人涉及到这个问题。 阅读全文