Adversarial Training Methods For Semi-Supervised Text Classification 虚拟对抗训练思路指引
模型搞到这时候,就是要以不断提升泛化力和鲁棒性,当今两个主流的方法是(1)知识蒸馏;(2)对抗学习
本节主要说对抗训练,它是一种能够有效提高模型鲁棒性和泛化能力的训练手段,基本原理:在原始输入上增加对抗扰动,得到对抗样本,再利用对抗样本进行训练,从而提高模型表现。
在自然语言处理中,这个任务处理的就是离散数据,所以一般会把对抗扰动添加到嵌入层中,为了最大化对抗样本的扰动能力,使用梯度上升方式生成对抗样本。
可以看2017年的论文《Adversarial Training Methods For Semi-Supervised Text Classification》,虽然这篇文章不是那么新,但这个思路可以作为当今训练的一个手段,提升你模型2-3%也是不错的。
列出一些资料供大家学习参考:
paper: https://arxiv.org/abs/1605.07725
时刻记着自己要成为什么样的人!