转载 - 有监督、半监督、无监督、弱监督、自监督的定义和区别

个人对这几个名词粗浅的理解和区分，不甚全面，仅供参考。

定义#

• 有监督：用有标签的数据训练；

• 无监督：用无标签的数据训练；

• 半监督：同时用有标签和无标签的数据进行训练。最近非常火热，此领域的发展也非常迅速，先前通常是两阶段的训练，先用（较小规模的）有标签数据训练一个Teacher模型，再用这个模型对（较大规模的）无标签数据预测伪标签，作为Student模型的训练数据；目前已经有很多直接end-to-end地训练，大大减少半监督训练的工作；

• 自监督：在无标注数据上训练，通过一些方法让模型学习到数据的inner representation，再接下游任务，例如加一个mlp作为分类器等。但接了下游任务之后还是需要在特定的有标签数据上finetune，只是有时候可以选择把前面的层完全固定，只finetune后面接的网络的参数。

• 弱监督：用包含噪声的有标签数据训练。

以上各个概念的分类并不是严格互斥的。

参考资料#

转载于：有监督、半监督、无监督、弱监督、自监督的定义和区别