P>M>F:基于预训练-元训练-微调流程的小样本学习方法

目录

• 论文
  • 创新点
  • 三阶段流程

论文

• 地址：

Pushing the Limits of Simple Pipelines for Few-Shot Learning: External Data and Fine-Tuning Make a Difference

• CVPR2022
• Sumsung Research's Global AI Centers

创新点

1. 探讨了在少样本学习中利用外部数据和微调的三阶段流程的好处
2. 研究了在外部数据上进行预训练的好处
3. 使用了最先进的Transformer架构
4. 通过微调来减轻领域偏移

三阶段流程

这里的三阶段流程包含预训练、元训练和微调。这种流程的好处在于，预训练可以利用大规模的外部数据来提高模型的泛化能力，元训练可以通过少量样本来训练模型，使其具有适应新任务的能力，微调可以进一步提高模型在新任务上的性能。这种流程的优点在于可以充分利用外部数据和少量的样本来训练模型，从而提高模型的泛化能力和适应性。同时，这种流程也可以减轻领域偏移的问题，提高模型在新任务上的性能。因此，三阶段流程在少样本学习中具有很大的潜力和应用价值。