【五期邵润东】CCF-A(TMC'21)Distillation-Based Semi-Supervised Federated Learning for Communication-Efficient Collaborative Training with Non-IID Private Data

Itahara, Sohei, et al. "Distillation-based semi-supervised federated learning for communication-efficient collaborative training with non-iid private data." IEEE Transactions on Mobile Computing 22.1 (2021): 191-205.——CCF-A

  这篇论文主要为了应对一般的基准联邦学习方法和联邦蒸馏方法中由于Non-iid数据异质性导致的通信效率过低的问题，出了一种基于蒸馏的半监督FL (DS-FL)算法，该算法在客户端之间交换本地模型的输出，服务端对本地输出（logit）进行聚合，并且聚合后的模型输出广播给本地模型，用于标记开放数据集的每个样本，再利用被标记的样本进行蒸馏，对本地模型进行训练。由于Non-iid数据的异质性，可能在蒸馏过程中得到熵较高的全局logit，作者提出了熵约化聚合(ERA)方法，降低全局logit的信息熵。通过ML实验表明，与Non-iid分布下的FL基准相比，基于ERA的DS-FL具有更快的收敛速度和更高的分类精度，ERA的另一个好处是增强了对恶意用户上传已损坏的本地logit攻击的鲁棒性，在ML实验中也得到验证。

  这篇文章的优点有以下几点：一是基于利用未标记开放数据的核心思想，提出了一种名为DS-FL的FL框架，该框架具有良好的通信效率，实现了更高的模型性能。在Non-iid数据分布的情况下，DS-FL模型的性能也与FL基准模型相当，而DS-FL模型的通信开销减少了高达99%；二是开发了一种新的模型输出聚合方法ERA，该方法对由于Non- IID 数据分布而导致的上传模型输出的异质性，以及由此导致的训练收敛缓慢具有鲁棒性，即该方法可以降低全局logit的信息熵。

  作者未来研究的工作方向包括开发logit聚合方法，考虑个别设备的特点。例如，加强可靠或高性能客户端上传的日志对全局日志的影响。另一个方向是设计一个在非IID数据分布和不平衡及大规模分布数据下执行的FL框架，同时实现通信成本的可扩展性。

2023年1月13日