06 2022 档案
摘要:
这一章我们结合FGSM,FGM,VAT看下如何使用对抗训练,以及对抗训练结合半监督来提升模型的鲁棒性。其中FGSM主要论述了对抗样本存在性和对抗训练提升模型鲁棒性的原因,VAT的两篇是对抗在CV领域应用的论文,而FGM是CV迁移到NLP的实现方案,一作都是同一位作者大大,在施工中的Simple Classification提供了FGM的tensorflow实现~
阅读全文

摘要:
这个系列我们用现实中经常碰到的小样本问题来串联半监督,文本对抗,文本增强等模型优化方案。小样本的核心在于如何在有限的标注样本上,最大化模型的泛化能力,让模型对unseen的样本拥有很好的预测效果。半监督通过利用大量的相同领域未标注数据来提升模型的样本外预测能力,这一章我们来聊聊半监督方案中的一致性正则。一致性正则~一个好的分类器应该对相似的样本点给出一致的预测,于是在训练中通过约束样本和注入噪声的样本要拥有相对一致的模型预测,来降低模型对局部扰动的敏感性,为模型参数拟合提供更多的约束。正在施工中的SimpleClassifcation提供了Temporal Ensemble的相关实现,可以支持多种预训练或者词袋模型作为backbone,欢迎来一起Debug~
阅读全文
