摘要：
1、文章贡献 （1）摆脱了对公共数据集的依赖，拥有更多的应用灵活性 （2）合成数据的生成与联邦学习过程是解耦的，从而让合成数据不受客户端的数据分布和模型结构的影响 （3）提供了一种更有效的方式来利用外部数据，能够降低FL的通信和计算成本 （4）下游模型的生成在服务器进行，减少了客户端的计算负担 （5 阅读全文
摘要：
1、文章贡献 （1）提出了一种具有自适应优化的高效参数提示微调方法 FedPepTAO （2）提出了一种评分方法来分析每一层与LLM输出结果的相关性，进而能够得对层进行筛选，从而减少通信成本 （2）在服务端和客户端提供了独创的自适应优化方法来缓解客户端漂移问题 （3）在准确性和效率上比其他的传统方法 阅读全文
摘要：
（1）方法分类 【1】前缀微调 在模型输入前构造一段和任务相关的前缀，训练时只更新前缀部分参数，其余参数固定，常用于自然语言生成任务 图一： 前缀微调 【2】P微调（P-Tuning） 和前缀微调类似，但只在嵌入输入层添加token，且插入位置可选，不一定为前缀，常用于自然语言理解任务 图二 ：P- 阅读全文
摘要：
1、LLM大模型遇到的问题 （1）过度依赖公共数据 目前的LLM模型训练依赖于公共数据，而公共领域的数据存在局限性，无法满足LLM 的训练要求 【1】优质的公共数据集将无法满足日益增长的LLM 模型训练需求 【2】过度依赖于公共数据集可能会导致模型训练结果同质化 （2）隐私数据的困境 私人领域的数据 阅读全文
摘要：
1、主动攻击 主动攻击指故意操纵训练数据或训练模型以实现恶意攻击目标。其攻击方式可能涉及更改模型以防止全局模型收敛；或让特定样本错误分类，从而减少对全局模型整体性能的影响 。 1.1中毒攻击类型 （1）基本概念 数据投毒是指，攻击者将少量精心设计的中毒数据样本添加到模型的训练数据集中，利用训练或者微 阅读全文