FINCH: Enhancing Federated Learning With Hierarchical Neural Architecture Search-_TMC'23-FINCH

背景与挑战：

介绍FL联邦学习，指出两个联邦学习的缺点：
:::danger
1.预定义的架构容易使模型训练陷入局部次优解，导致训练性能低下
2.开发一个足够精确和小的模型来部署在客户端是很复杂的，这需要在迭代的试错过程中付出大量的人力
:::
（手动设计更高效的体系结构在很大程度上依赖于人类专家的经验）
在边缘计算中使用FL。需要考虑三种挑战：

1.异构数据 2.有限通信 3.有限的计算资源

针对Fed+NAS之前的工作，着重于Non-IID数据对训练和搜索的影响，同时也和之前的工作一样改善时间和计算庞大消耗的问题。

总结：考虑数据分布和给定限制的环境中，有效的搜索更好的W和A.

解释什么是NAS:
NAS中有三个主要组成部分，即搜索空间、搜索策略和性能评估。考虑到广泛的物联网应用，例如视频监控，我们专注于计算视觉问题，该问题总是采用卷积神经网络（CNN）模型进行训练。每个节点（即CNN中的神经元）是潜在表示（例如卷积网络中的特征图），并且两个节点之间的每个有向边与变换节点的一些操作（例如卷积、最大池、零）相关联。学习单元是由一些节点的有序序列组成的有向无环图（DAG），可以堆叠以形成卷积网络，也可以递归连接以形成递归网络。对于卷积单元，输入节点被定义为前两层中的单元输出[5]。服务器上的预训练模型的网络结构通常由大量的单元组成，导致搜索空间很大。

相关工作：

FedNAS OneNAS FedorAS
1.第一类是在整个模型架构上执行训练，即基于超网。例如，何等人考虑了称为FedNas的解决方案，即寻找更好的深度神经网络（DNN）架构，以提高非IID设置下的训练性能。张等主张将一次性NAS作为处理非问题的基础。然而，他们对强大计算能力的需求与边缘客户端的低处理能力形成对比，导致较长的完成时间。
FedNAS: Federated deep learning via neural architecture search 2021
Optimizing federated edge learning on Non-IID data via neural architecture search 2019
2.第二类试图从超网中采样一些子网，以减少由许多网络架构组成的搜索空间。在OneNAS中，随机采样的子网被传输到多个随机采样的客户端进行训练，而无需重新初始化，从而降低通信和计算成本。FedorAS根据模型搜索和训练的资源预算，为每个客户端集群采样一次性路径。然而，微调或个性化的过程会引入额外的计算成本。
Real-time federated evolutionary neural architecture search 2022
FedorAS: Federated architecture search under system heterogeneity 2022

以上两种办法，都忽略了Non-IID对模型搜索和训练的影响

贡献：

1.提出了一种新的框架FINCH，它采用层次神经结构搜索（NAS）来加速联邦学习的过程，并形式化地证明了FINCH的收敛性。
2.设计了一种有效的算法（称为DCSA）来适应客户端聚类和子网分配，以实现更少的完成时间和模型搜索和训练的资源使用。
3.用实验证明框架有效性，与基准测试相比，FINCH在资源约束下可以将测试准确率提高约9.8%，时间成本降低约30.6%。

问题：

算法：

λ1:每次簇内聚合之前的更新迭代次数
λ2：簇间聚合之前，每个聚合器簇内聚合的数量

客户端集群
全局模型数据和局部数据分布距离：

客户端聚类公式：

簇j 聚合器与各个客户端+聚合器与服务端的带宽总消耗

在t次迭代，簇j搜索和训练的总时间

所有客户端的完成时间

基于贪婪的算法（考虑评估性能、资源消耗和数据分布）：


性能好，资源消耗少的子网分配给更接近IID的簇，不被浪费提高利用率，减少数据偏差带来的误差，提高模型的整体性能。

实验：

BaseLine:HFL、FedNas、DecNas、OneNas和FedorAS
数据集：CIFAR10和ImageNet ILSVRC-2012
数据分布：IID , 狄利克雷分配，标签倾斜

Finch更加轻量化，搜索精度接近HFL

给出固定的迭代次数，Finch比HFL Acc提升5.8

同等的Acc目标，时间和带宽消耗优于HFL

模型准确率的提升（因为资源和带宽的节省，执行了更多轮次的训练）