小样本学习

小样本学习(FSL)的定义:机器学习的一种，它学习用到的经验中只有少量样本有关于任务的监督信号。

 

为什么要进行小样本学习：由于高质量的标注数据其实在现实工作中还是比较少的，所以利用小样本就能做好深度学习任务对于样本不够的任务是非常重要的，它可以降低数据的收集以及标注，可以让人工智能更像人类，能够举一反三，还能处理一些罕见的场景，例如隐私、伦理等。

 

经典的小样本学习方法：

SiameseNet :从大量标注数据中学习一个通用的距离函数，用来区分任意样本对是否来自同一个类。

ProtoNet:将训练集中样本按照类别求平均，获得各类代表，度量测试集中样本和类代表的相似性。可以去掉噪声。

RelationNet:将测试集中样本与每个训练集中样本拼接，通过多层感知器直接预测分类结果。

MAML：适用于任何使用梯度下降训练的模型，元学习器为每个人物提供参数初始值，并通过所有任务累计的损失信号进行优化，在每个任务内，可以通过训练集中样本做几步梯度下降泛化到新任务。

ANIL:只有网络的最后一层在任务T内部被更新认为特征重用是MAML这类方法有效的主要原因。

 

PaddleFSL:基于飞桨的小样本学习工具包(https://github.com/tata1661/FSL-Mate/tree/master/PaddleFSL)

(1) 提供简单、易用、稳定的经典小样本学习方法；支持拓展新的小样本学习方法；

(2)统一的数据集处理，便于模型效果比较；易于定制化新数据集；

(3)具备翔实的注释，如模块的功能、参数的功能、使用样例

 

 

 

 

 

 

 

 

 

参考资料：

小样本学习的综述： 小样本学习方法总结 (qq.com)