FedNAS: Federated Deep Learning via Neural Architecture Search-_BaseLine-FedNAS

背景与挑战：

介绍FL，引出数据异构问题和数据不可见性，因此需要大量的人力来定制更好的模型架构，因为设备异构性，边缘设备需要更高的计算负担和通信成本。
介绍解决数据异构的相关工作，指出这些工作需要强大的先验假设。
预定义的模型不一定是最优的

贡献：

1.提出FedNAS方法，在边缘设备之间协同搜索全局模型和个性化模型架构，并在各种FL环境下性能较好。
2.研究NAS在数据异构中，比现有方案更适应用户数据。
3.FedNAS在cross-silo 和 cross-device中有最先进的性能。

问题：

相关工作：

基于梯度的NAS
NAS的三种组件：
搜索空间定义，搜索算法，性能估计策略
搜索空间和DARTS MiLeNAS相同 ：混合操作搜索空间
DARTS:









FBNet:

MiLeNAS:


拉格朗日乘子法：

MiLeNAS-1st

MiLeNAS-2nd

1.DARTS本身使用w'是一步近似的，再使用有限差分近似会导致重叠，偏差更加严重
2.w需要两次向前传递，α两次向后传递，这是低效的


MiLeNAS只使用一阶信息，无重叠误差，并且有更少的运算，收敛速度更快
MiLe在求α时混合了val和tr，避免了偏差

算法：

实验：

所有实验都是Non-IID ：标签倾斜和迪利克雷分布
每一轮随机挑选四个客户端
数据集：CIFAR10
个性化模型搜索：
21个节点。1个服务端，20个客户端
标签偏斜：每个客户端只有五个类
算法：FedNAS,FedAvg，Ditto,preFedAvg
度量：平均验证准确率


全局模型搜索：
跨筒仓，17个节点，1个服务端，16个客户端