P>M>F:基于预训练-元训练-微调流程的小样本学习方法
目录
论文
- 地址：
- CVPR2022
- Sumsung Research's Global AI Centers
创新点
- 探讨了在少样本学习中利用外部数据和微调的三阶段流程的好处
- 研究了在外部数据上进行预训练的好处
- 使用了最先进的Transformer架构
- 通过微调来减轻领域偏移
三阶段流程
这里的三阶段流程包含预训练、元训练和微调。这种流程的好处在于，预训练可以利用大规模的外部数据来提高模型的泛化能力，元训练可以通过少量样本来训练模型，使其具有适应新任务的能力，微调可以进一步提高模型在新任务上的性能。这种流程的优点在于可以充分利用外部数据和少量的样本来训练模型，从而提高模型的泛化能力和适应性。同时，这种流程也可以减轻领域偏移的问题，提高模型在新任务上的性能。因此，三阶段流程在少样本学习中具有很大的潜力和应用价值。
本文作者：HoroSherry
本文链接：https://www.cnblogs.com/horolee/p/17993532/pmf
版权声明：本作品采用知识共享署名-非商业性使用-禁止演绎 2.5 中国大陆许可协议进行许可。
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步