【三期林思昕】CCF-C(AISTATS'17)Communication-Efficient Learning of Deep Networks from Decentralized Data

McMahan, Brendan, et al. "Communication-efficient learning of deep networks from decentralized data." Artificial Intelligence and Statistics. PMLR, 2017.——CCF-C(CCS）

  由于现代移动设备上存储的数据量庞大，且几乎所有的数据都涉及了用户隐私，所以无法上传到数据中心再采访传统的方法训练。为了解决这一问题，本文提出了一种基于迭代模型平均的深层网络联合学习方法，即将训练数据分布在移动设备上，并通过聚合本地计算的更新来更新共享模型，又称之为联邦学习。
  本文设计了联邦平均算法，在这里有三个步骤：
  ①随机选择比例为C的客户机；
  ②将全局模型发给被选择的客户机，客户机利用本地的数据将接受到的全局模型进行epoch为E，batch为B的梯度更新，更新次数为Enk/B；
  ③客户机将更新后得到的模型发给服务器，服务器将全部模型取权值平均得到一个新的全局模型。
  实验部分，本文通过增加并行度、增加客户机C的计算量、采用CIFAR数据集、进行LSTM模型实验来验证算法的可行性和有效性，证明了联邦学习可使用相对较少的通信轮次来训练高质量的模型，并在一定程度上保护了用户隐私。
  另一方面，本文缺少对每个客户机的本地数据集大小和种类不一致时的实验，并且没有明确实验设备，如果更换实验设备训练模型，能否达到如此优良的性能也有待商榷。

2020年11月06日