小样本学习（Few-shot Learning）
参考资料：
https://zhuanlan.zhihu.com/p/61215293
https://www.zmonster.me/2019/12/08/few-shot-learning.html
https://zhuanlan.zhihu.com/p/136975128
论文：
1、 Metric Based
1.1《optimization as a model for few shot learning》
一、基本概念
Meta Learning，又称为 learning to learn，在 meta training 阶段将数据集分解为不同的 meta task，去学习类别变化的情况下模型的泛化能力，在 meta testing 阶段，面对全新的类别，不需要变动已有的模型，就可以完成分类。
Few-shot Learning 和 Meta Learning 的关系
Few-shot Learning 是 Meta Learning 在监督学习领域的应用，可以看做是一种子类和父类的关系--他们都要求在新任务上只使用少量样本快速适应(fast adapt)，而meta-learning假设更充分。
https://www.zhihu.com/question/291656490
二、具体理解
- episode：每一个episode便是训练一次，类似于传统训练方法里的一个batch，然后这个episode内部由两部分构成：support set和query set
- support set：在构建这个episode时候，会从全量数据中每个episode都随机选择一些类别，比如C个类别，然后从数据集中同样随机从这选定的C个类别中选取同样数量的K个样本，这便构成了support set，总共包含C * K个样本。一般而言模型会在这个上面进行一次训练。这样构造出来的任务便是C-way K-shot
- query set: 和support set类似，会在剩下的数据集样本中的C个类（注意这里的类别是从对应的spport set类别选择）采样一些样本作为query set，一般而言，模型在support set进行一次训练后，会在query set上求得loss
- task：一个episode包含一个support set和一个query set，一个episode对应的便是让模型在support set上进行学习后能够在query set上有比较好的预测表现。因此一个episode便对应为一个task
episode、support set、query set、task这些基础概念在在meta trainig set和meta testset都存在：
- meta trainig set: 通常而言，根据训练数据的规模大小，可以构建出来多个训练的episode，这些episode便可以称为meta-training set
- meta test set: 因为在meta training set的若干个task（也就是若干个episode）上已经训练好了一个模型，那么希望模型在一些新的task上也能有比较好的表现。因此，meta test set在数据构成上和meta training set完全一致，也包含了support set和query set，基本思想就是希望模型能够基于新任务下的support set，迅速抓住问题的本质，从而能够快速在meta test set中的query set上取得比较好的效果。
总体而言，这种类型的meta-learning，其基本单元是一个task，或者是一个episode，和普通的训练方法需要进行区分。下图便是一个5-way 1-shot的图片分类问题，每一行便是一个task，也是训练的episode，在support set中有5个类，每个类有1个样本，在test set有两个类（test set的类别须是对应的training set的子集），每个类一个样本。在测试模型训练效果的时候，便是希望模型能够在meta test set中的task上也能够取得比较好的效果。
