label 选择： soft label or hard label？

 

soft label：软标签，例如：probs  0.3, 0,8, 0,2...

hard label：硬标签，例如：实际label值  0, 1, 2...

 

label选择

硬标签：使用会比较多一点，用于非是即非的任务上，例如是猫就是猫，是狗就是狗；

软标签：

1. 用于模棱两可的情况；

2. 用于蒸馏，例如，计算teacher模型的参数于student模型参数的loss，用硬标签会过于绝对，不利于student模型更好地学习teacher参数的分布和teacher的决策行为，当然也可以软硬标签都用上，不过在大规模无监督的蒸馏背景下，用soft label更为何时。