【五期梁锐】CCF-A,（ICLR '21）PERSONALIZED FEDERATED LEARNING WITH FIRST ORDER MODEL OPTIMIZATION

Zhang, Michael, et al. "Personalized federated learning with first order model optimization." arXiv preprint arXiv:2012.08565 (2020).

  本文是一篇2021年发表在ICRL上的关于个性化联邦学习的文章，该文章赋予了客户一个新的角色，并提出一种新的权重策略，构造了一种在隐私和性能之间进行权衡的名为Fedfomo的联邦学习框架。它基于个性化的想法，提出服务端保存每个客户的模型，让客户从服务端下载在本地目标任务具有良好性能的模型，这样即使本地目标任务的数据分布不同于训练数据分布，该客户也可以训练出能实现本地目标任务的模型。此外，文中还提出新的权重策略来对从服务端下载的模型进行加权聚合并对本地模型进行更新，并通过差分隐私来对隐私和性能进行权衡。
  Fedfomo的上传模型流程同传统FL区别不大，但下载步骤不同于传统的FL，需要分两步进行，分别为:在服务器计算给不同客户发送哪些模型以及评估不同模型在本地训练的性能表现，通过计算wn 来判断模型性能以及所占的权重，而由于现实成本的关系，每个客户下载的模型有限，文章提出通过前一轮通信模型在客户目标任务上的性能决定是否分配模型给客户，总体而言，即通过参数ε和M来决定模型的分配问题
  Fedfomo作为一个灵活的个性化FL框架，在各种非IID设置中实现了强大的性能，并独特地使客户能够针对不同于其本地培训数据的目标分布进行优化。它能够发现潜在的本地客户数据分布，并且对于每个客户，特别是对基于最符合客户目标的数据训练的其他模型进行加权。在实验中我们得出在差分隐私条件下我们可以对模型的性能和安全进行有效的平衡

2023年02月03日