【孙哲】CCF-A, （TPDS'20）Towards Fair and Privacy-Preserving Federated Deep Models

Lingjuan Lyu, Jiangshan Yu, Karthik Nandakumar, Yitong Li, Xingjun Ma, Jiong Jin, Han Yu, and Kee Siong Ng. Towards Fair and Privacy-Preserving Federated Deep Models. IEEE Transactions on Parallel and Distributed Systems, 31(11), pp. 2524-2541.

  这篇论文引入了联邦学习范式中的一个公平性问题，即不同贡献度的参与者可以获得相同的最终全局模型，这将影响到高质量数据参与者的积极性。作者的解决方案是通过返回不同版本的全局模型，使之准确率与参与者贡献度相趁。作者使用了类似洋葱的嵌套式加密来分享模型数据，并声称实现了公平性、隐私性和准确率的平衡。
  这篇论文的最大的优势就是使用非常多的技术来共同完成一个模型业务目标，包括联邦学习来实现协作训练、区块链来实现可信的操作记录、差分隐私的GAN来实现不同版本的全局模型生成、本地化贡献度评估机制、全局公平性评估量化公式、三层洋葱加密来实现机密性等，所有的技术都融合到一起，实现了一个公平且有实际意义的训练。
  但这篇论文中的大部分技术都只是应用，而没有做出适应性改造或者创新，使得全文的论文在原始创新性上缺少深度。此外，该论文如果真的按照该方法实现了贡献度与收获的模型相称，某种程度上是否违反了联邦学习互通有无的初衷。也许这时候贡献度低的参与者可能需要引入激励机制或者金钱支付机制来获得完全版本的全局模型。这是否又回到了相关工作中的激励类联邦学习范式。所以，该范式的真实使用场景可能并不广泛，因为大多数联邦学习的参与者并不太想获得一个阉割版本的全局模型。

2022年10月03日