伪标签：用于深度神经网络的简单高效的半监督学习方法

未标记的数据由监督学习网络标记，即所谓的伪标记。然后使用标记数据和伪标记数据训练网络。

伪标签 (Pseudo-Labels)

伪标签是对未标记数据的进行分类后的目标类，在训练的时候可以像真正的标签一样使用它们，在选取伪标签的时使用的模型为每个未标记样本预测的最大预测概率的类：

伪标签可以用于带有 Dropout 的微调阶段。预训练网络以监督方式同时使用标记和未标记数据进行训练：

其中 n 是 SGD 标记数据中的样本数，n' 是未标记数据中的样本数；C 是分类总数；

fmi 是标注数据的输出，ymi 是对应的标签；

f'mi 为未标注数据，y'mi 为对应的伪标签；

α(t) 是在 t 时期平衡它们的系数。如果 α(t) 太高，即使是标记数据也会干扰训练。而如果 α(t) 太小，我们就不能利用未标记数据的好处。所以α(t)在训练期间缓慢增加，以帮助优化过程避免局部最小值不佳：

 

原文地址：

https://www.overfit.cn/post/ae4de5629d074b4b972ad41c629adf3f