PerFedRLNAS: One-for-All Personalized Federated Neural Architecture Search-_AAAI'24-PerFedRLNAS

PerFedRLNAS: One-for-All Personalized Federated Neural Architecture Search-AAAI'24-PerFedRLNAS

背景与挑战：

介绍个性化学习来解决设备异构和数据异构的问题。

现有工作无法充分回答下面的两个问题：
1.为什么个性化模型可以解决联邦的异构问题
2.是否有标准和自动的方法来决定个性化的个人部分和共享部分

介绍了AutoML,以前的工作是手动制定客户端集群的架构，而不是单个客户端的架构
（peaches的贪心方法，为每个客户端自动确定based和personal）

现有的个性化NAS联邦解决方案，缺乏适应各种模型的灵活性
现有的联邦NAS方法效率低，无法有效应用在个性化联邦学习中(离线)

个性化联邦学习的问题：
个性化联邦学习缺少如何设计模型的个人部分和共享部分的标准
有时，手动设计模型比非个性化表现得效果更差

贡献：

1.提出通过强化学习的个性化反馈NAS框架，无需手动设置个性化模型（任意超网，不局限开始设计的超网模型）
2.每个客户端都有最优策略来决定哪部分共享，哪部分个性化
3.架构搜索保留在服务器端，只有一个模型而不是整个超网，效率与FedAvg相当
4.实验证明PerFedRLNAS的优良性。

问题：

S是采样函数，wi每个客户端的共享模型，都是来自超网进行采样得到的

d代表对应第几个选择，分别为以下6种：

i代表每个客户端，j代表d中的第几个选项

算法：

马尔可夫决策：未来与过去无关
（当一个随机过程在给定现在状态及所有过去状态情况下，其未来状态的条件概率分布仅依赖于当前状态）
State:
超网A，K个客户端的模型选择参数α，初始α设置0向量，表示所有操作有相同选择概率(放在服务器上)
Action:
客户端在服务器建设虚拟代理，每一轮根据α从超网采样模型发给客户端，进行本地训练
将训练好的模型和测试Acc发给服务端
Policy:

最终状态：所有客户端的α指出最优模型架构，客户端模型权重直接部署，无需进一步训练
梯度策略：

奖励函数：

实验：

数据集：CIFAR10，CIFAR100
模型：Vit，CNN
搜索空间：NASViT，DARTS,MobileNetV3
Non-IID:Dirichlet分布
每一轮：100个客户端中选择5个
指标：本地数据集平均准确率和标准偏差，整个系统达到精度的时间
BaseLine：FedRep,FedBABU,FedTP,FedAvg,Local Traing

Fed+NAS:FedNAS,FedRLNAS,FedorAS,SPIDER