论文推荐：当自监督遇到主动学习

Reducing Label Effort: Self-Supervised meets Active Learning这篇论文将主动学习和自监督训练结合，减少了标签的依赖并取得了很好的效果。

自监督学习 (SimSiam) + 主动学习 (AL)

通过自监督的预训练强化主动学习框架图

该框架包括3个阶段:

1. 在整个数据集上训练自监督训练。
2. 冻结主干网络的权重并给定少量标记数据，使用线性分类器或支持向量机以监督的方式进行微调。
3. 运行该模型对未标记的数据进行推理，然后通过采集函数对样本进行从信息量最小到最高的排序。最后将顶级样本通过人工的专家进行标注，并添加到标注集。

上述阶段重复，直到全部标签都进行了训练和标注。

在主动学习方面，考虑了几种获不同的方法，包括Informativeness[10]和Representativeness[42,40]的方法。论文中并没有提及抽样方法的问题，因为作者发现最好的方法是随机抽样。

使用SimSiam进行自监督学习

这里可以使用任何自监督学习框架。作者选用的是SimSiam

完整文章

https://avoid.overfit.cn/post/89b4fdf2183841298f4ec58631966b17