【五期邵润东】arXiv(22) No free lunch theorem for security and utility in federated learning

Xiaojin Zhang, Hanlin Gu, Lixin Fan, Kai Chen, and Qiang Yang. 2022. No free lunch theorem for security and
utility in federated learning. 1, 1 (September 2022), 37 pages.

  在联合学习场景中，多方从各自的数据中联合学习模型，在选择算法时存在两个相互冲突的目标。一方面需要保护用户的数据隐私，另一方面，为了学习的可用性，不同方之间必须交换一定数量的信息。这样的挑战需要一个能最大化学习模型的效用，并可以维护参与方隐私数据的可证明隐私保证的解决方案。
  该论文从信息论的角度为隐私泄漏和效用损失的均衡评估提供了一个通用的框架。基于该框架，本文给出了关于隐私与模型性能的No-free lunch定理并应用到不同的隐私保护机制中，包括随机方法，使用稀疏性以及同态加密。
  该论文设计了一个新型的贝叶斯隐私泄露(BPL)度量方法，来量化在对公开信息应用了保护机制的情况下，半诚实攻击者仍然可能推断出的隐私数据的信息量。BPL度量方法能够评估一个联邦学习方案的安全性，并证明在BPL小于一个可接受的阈值的情况下，联邦学习所采用的保护机制在应对贝叶斯推理攻击时是安全的。该论文将隐私-效用权衡定义为一个优化问题，使ε-贝叶斯隐私约束下的效用损失最小化。在隐私保护的机器学习场景中，客户的目标是保持最大可能的模型效用，而不披露超出可接受水平的私人信息。该论文对贝叶斯隐私泄露与效用损失之间的权衡进行了分析，并得出No free lunch theorem：
  1. 不能同时达到贝叶斯隐私泄露和性能损失都为0的情况， 即没有免费的午餐；
  2. 在降低隐私安全风险的前提下，模型效用的最大化存在一定上界；
  3. 反之，盲目追求模型效用的最大化，会增大隐私安全风险的下界。

2022年11月25日