label smooth

图像分类的一个trick，推导可参考这位博主https://leimao.github.io/blog/Label-Smoothing/

知乎上的讨论https://www.zhihu.com/question/65339831，有位博主用代码给出了一个直观的体验:  label smooth是如何改变标签的。

 

label smooth相当于一个正则化的作用，用来防止过拟合，提高泛化性能；但如果网络本身就是欠拟合的，用这个可能意义就不大。

tf中可以直接使用https://stackoverflow.com/questions/55894459/how-to-use-tf-losses-sigmoid-cross-entropy-with-label-smoothing-in-keras

 

另有篇paper从可视化角度 When Does Label Smoothing Help，google brain的， Geoffrey Hinton大佬也在名单上呀

简单说就是，label smooth将类别分组，每组之间会有一个margin（类别之内更紧密，类别之间距离更大，也就是分得更开）。