【五期邹昱夫】arXiv（IJCAI'22）Fedcg: Leverage conditional gan for protecting privacy and maintaining competitive performance in federated learning

International Joint Conferences on Artificial Intelligence

  微众银行AI团队和中山大学合作发表的论文《FedCG：利用条件生成对抗网络在联邦学习中保护隐私并保持模型性能》提出了"FedCG"，将条件生成对抗网络（cGAN）与分割学习相结合，实现对数据的有效隐私保护，同时保持有竞争力的模型性能。该论文已被国际人工智能顶级学术会议IJCAI 2022主会收录。这篇论文把客户端的网络分解成两个部分：本地提取器模块和公共分类器模块。提取器模块留在本地，不进行公开，这样就可以达到隐私保护效果。而分类器模块送到服务器聚合客户端的共享知识，目标是提高每个客户端本地网络的性能。本地提取模块由本地的鉴别器D和特征提取器E构成，公共分类模块由分类器C和生成器G构成。接下是FedCG的具体工作流程。
  在每轮FL通信中，每个客户端 i 在本地训练完成后将其Gi和Ci上传到服务器，同时将Ei和Di保留在本地以加强隐私保护。然后，服务器应用知识蒸馏来构建全局生成器Gg和全局分类器Cg。接下来，客户端下载Gg和Cg以替换其相应的本地模型并开始下一次训练迭代。重点在于客户端的更新：首先是分类器Ci的更新，每个客户端i通过最小化分类损失来优化其提取器Ei和分类器Ci，并且冻结全局生成器Gg，通过最小化均方差损失来优化其局部提取器Ei。然后是生成器Gi的更新，每个客户端i想将其生成器Gi的输出近似为其本地提取器Ei提取的特征表示。为此，它冻结提取器Ei的参数，并进行cGAN训练程序来训练生成器Gi。一旦本地训练完成，每个客户端i将其生成器 Gi和分类器Ci发送到服务器以进行聚合。服务器聚合服务器利用知识蒸馏(KD)来执行聚合。
  本文的优点在于利用条件生成对抗网络来实现高级隐私保护，同时仍保持具有竞争力的模型性能。通过从服务器隐藏本地提取器来保护客户的数据隐私，同时通过集成嵌入全局生成器中的共享知识使客户具有具有竞争力的模型性能。
  本文的缺点在于实验部分，只使用了LeNet5（最早的卷积神经网络之一），未使用更深层次的神经网络进行实验。面对现有的神经网络，FedCG的可用性还需更进一步的实验。

2022年11月18日