【五期邵润东】CCF-A(AAAI'22)Preserving privacy in federated learning with ensemble cross-domain knowledge distillation.
该文章作者提出了一种新颖的基于蒸馏的联邦学习框架，即 FedKD，它可以通过仅使用未标记和跨领域的公共数据进行学习来解决数据分布不平衡的问题和保护本地数据隐私。为了解决通信瓶颈，采用了一种具有高效集成方案的一次性和单向（离线）知识蒸馏过程。Gong, Xuan, et al. "Preserving privacy in federated learning with ensemble cross-domain knowledge distillation." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 36. No. 11. 2022.——CCF-A
该文章的优点有以下几个：一提出了一个带有单向知识蒸馏的单次联合学习框架，通过使用泛化之后跨领域的，非敏感的，公开的，未标记的数据，明确解决了通信瓶颈问题，并在不牺牲准确性的情况下保护了本地专有数据的隐私。二在蒸馏前引入了一个开创性的量化和噪声集成方法，对本地logits进行集成量化和加噪，在更强的安全保证下，隐私成本得到了有意义的降低。三通过广泛的评估证明了所提出的框架的灵活性和效率，在图像分类和文本分类任务上，与之前的技术相比，在准确性、带宽和隐私保护能力方面都有更卓越的表现。
该框架FedKD在实际应用的情况下，可能会存在公共数据过少的问题，从而导致模型训练的效果不理想。
2023年1月13日
