FedNAS: Federated Deep Learning via Neural Architecture Search-_BaseLine-FedNAS
背景与挑战:
介绍FL,引出数据异构问题和数据不可见性,因此需要大量的人力来定制更好的模型架构,因为设备异构性,边缘设备需要更高的计算负担和通信成本。
介绍解决数据异构的相关工作,指出这些工作需要强大的先验假设。
预定义的模型不一定是最优的
贡献:
1.提出FedNAS方法,在边缘设备之间协同搜索全局模型和个性化模型架构,并在各种FL环境下性能较好。
2.研究NAS在数据异构中,比现有方案更适应用户数据。
3.FedNAS在cross-silo 和 cross-device中有最先进的性能。
问题:
相关工作:
基于梯度的NAS
NAS的三种组件:
搜索空间定义,搜索算法,性能估计策略
搜索空间和DARTS MiLeNAS相同 :混合操作搜索空间
DARTS:
FBNet:
MiLeNAS:
拉格朗日乘子法:
MiLeNAS-1st
MiLeNAS-2nd
1.DARTS本身使用w'是一步近似的,再使用有限差分近似会导致重叠,偏差更加严重
2.w需要两次向前传递,α两次向后传递,这是低效的
MiLeNAS只使用一阶信息,无重叠误差,并且有更少的运算,收敛速度更快
MiLe在求α时混合了val和tr,避免了偏差
算法:
实验:
所有实验都是Non-IID :标签倾斜和迪利克雷分布
每一轮随机挑选四个客户端
数据集:CIFAR10
个性化模型搜索:
21个节点。1个服务端,20个客户端
标签偏斜:每个客户端只有五个类
算法:FedNAS,FedAvg,Ditto,preFedAvg
度量:平均验证准确率
全局模型搜索:
跨筒仓,17个节点,1个服务端,16个客户端