Real-Time Federated Evolutionary Neural Architecture Search-_TEC'22(B)-RT-FedEvoNAS_

背景：

1.介绍FL
2.介绍NAS(讨论范围限制在CNN)
宏搜索空间覆盖整个CNN模型，例如，隐藏层的数量n、操作类型（例如，卷积）和快捷连接的链接方法

微观搜索空间仅覆盖整个模型结构中重复的基序或细胞。并且这些单元在复杂的多分支操作中构建

介绍RT(强化学习)在NAS中的运用，因为RT要模拟采样，获得分数来评估和决策模型，所以缺点在于搜索空间大，消耗较大的时间和计算。
介绍EAs(进化算法)在NAS中的运用，多目标进化NAS
非支配排序遗传算法II

Pareto前沿 支配关系 拥挤距离
1.初始化种群代数和父种群 计算父代的目标函数值
2.随着时间循环，生成后代并计算后代的目标函数值
3.父代+子代＝种群群体
4.根据支配关系和拥挤距离来排序，进而选择得到新一代的父代

介绍基于梯度的NAS
3.多目标进化优化（Pareto方法，无需定义超参数）

挑战：

联邦学习在工业的边缘设备中的应用

工业物联网。在这样的系统中，有大量的边缘设备必须解决高度复杂的学习问题，才能在有限的计算和内存资源下完成任务。(结合现实)
:::danger
为什么要开发多目标实时联邦进化NAS
:::
与基于梯度和基于RL的NAS方法相比，EAs在处理多目标搜索方面更强大，并且联邦学习通常需要考虑多个目标，例如学习性能的最大化和通信成本的最小化。EAs适合NAS等离散型的问题。

network morphisms(网络态射)

1.在联邦环境中，随机映射模型，可能会导致严重的模型退化
2.模型提取和传输在联邦环境中消耗大量通信资源
3.本地数据是Non-IID，使用知识蒸馏，会导致模型发散

EAs的问题

EAs作为群体搜索方法，每一代需要都需要评估一组模型，需要大量的计算资源
在离线进化的NAS中，所有参数都需要传输，所需大量的通信资源
在离线计划的NAS需要更多轮的训练，需要更多的通信资源

为了满足实时性的多目标进化NAS应该满足以下的要求：

1）通过子模型采样和权重分担，所有局部模型都能保持稳定的性能
2) 提出了一种填充策略来聚合具有不同架构的子模型，使得组装具有一致良好性能的全局模型成为可能。
3） 制定客户端采样策略，每个本地客户端在每一轮中只需要训练一个子模型。（实时和离线的根本区别）

贡献：

1.首次为联邦学习框架开发实时进化NAS算法，提出一种双采样技术，该技术从超网中随机采样子网，其参数被传输到随机采样的本地设备的子集
（每个子模型要采样的设备数量取决于连接的本地客户端数量与群体中个体数量之间的比率。）
2.开发一种聚合策略，该策略基于在每一代采样和训练的子网来更新全局模型。
3.实验与五个BaseLine在同构和异构数据上进行比较学习性能和计算复杂性。

问题：

相关工作：

算法：

框架前提：使用CNN，要求全局模型不能太大，不然搜索空间过大，还要人工定制模型

避免离线NAS重复训练初始化模型和大量的计算，采用双采样的方法，
每个个体模型从全局模型中进行二次采样（每个个体生成选择键，从超网随机采样的子网，放到客户端数据集的随机采样子集），
优化目标：模型性能和模型复杂性

【0,0】表示分支0，其是标识块，【0,1】表示分支1，即剩余块，【1,0】表示分支2，即倒置剩余块，并且【1,1】表示分支3，其是深度可分离块。

模型聚合算法3：

根本算法4：

实验：

实验不着重于比较最好的NAS，强调实时性 和简单随机搜索进行对比
数据集：CIFAR10、CIFAR100、SVHN、Pathmnist和Tiny Imagenet
异构型：IID和Non-IID
全局模型：多个分支的超网，总共包含28层（12个选择块，每个包含两个卷积层）。所有块层的信道数为[64,64,64,128,128,128,256,256,256,512,512,512]。
多目标：验证精度和FLOPs