Pseudo-Label伪标签

1. Semi-Supervised Learning

Semi-Supervised Learning（半监督学习）是监督学习和无监督学习的一种结合方法。半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。

2. Pseudo-Label

产生伪标签的步骤非常简单，可以用如下步骤概括：
Step1: 给定带标签数据和不带标签的数据
Step2: 使用带标签数据训练模型
Step3: 使用训练好的模型预测没有标签的数据，得到Pseudo-label(伪标签)
Step4：从不带标签的数据中拿出一部分数据加入到带标签数据集中。重复Step2

3. Entropy-based Regularization

对于分类模型，我们当然期望输出的某一个类别拥有很大的置信度，其它的类别置信度很小，这样表明该模型对预测结果很有信心。

在数学中，我们可以用熵来度量该模型对输出结果有没有信心。有关熵的介绍可以参考之前的一篇博客：什么是熵，如何计算？。
的熵：
若的预测结果是，则;
若的预测结果是，则$E(y^{u})=\ln 5。
可以看到，当模型对某一预测结果置信度越高，熵越小。对于预测模型，我们自然希望它的熵越小越好。

 

所以，我们可以在损失函数上加上熵正则项：

 

 

4. Why could Pseudo-Label work?

那么伪标签为何能够用于半监督模型呢，论文 Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks给出了两点解释：

1. 半监督学习的目的是为了使用无标签数据增强模型的泛化性。而cluster assumption表明，决策边界位于低密度区域(low-density regions)能够提高模型的泛化性。而高密度区域的结果应该具有相似的输出结果。而伪标签就是取最高概率的作为伪标签；
2. 熵正则通过最小化未标记数据的类概率的条件熵，促进了类之间的低密度分离，而无需对密度进行任何建模，通过熵正则化与伪标签具有相同的作用效果，都是希望利用未标签数据的分布的重叠程度的信息。