【五期李伟平】CCF-A(AAAI'20)SplitFed: When Federated Learning Meets Split Learning
本文提出了一种联邦学习(FL)和分割学习(SL)的混合方法(SFL),能够同时解决FL中客户端访问全局模型带来的风险和对计算节点的高资源要求、SL中中继式模型训练过程带来的时间消耗。具体实现中,服务端和(多个)客户端用SL的方式分别训练整个网络的一部分,用FL的方式(Fedavg)分别聚合服务端和客户端模型。Thapa, C. , M. Chamikara , and S. Camtepe . "SplitFed: When Federated Learning Meets Split Learning." (2020).
本文的优点1SL方式降低了计算节点的资源要求,对物联网边缘节点等资源受限的设备友好2FL方式缓和了单纯SL方式运行时间随用户数量的线性增长,使得SL可以应用到更大规模用户的协同学习中。
本文的缺点1引入了一个新的服务器进行客户端网络的聚合操作,带来新的参与方管理风险2相较于单纯的SL,通信量增加3应用差分隐私保证客户端聚合过程安全性带来精度损失,使用同态加密会带来高计算量,对资源受限设备不友好。
2023年2月10日