08 2022 档案
摘要:
在前两章中我们已经聊过对抗学习FGM,一致性正则Temporal等方案,主要通过约束模型对细微的样本扰动给出一致性的预测,推动决策边界更加平滑。这一章我们主要针对低密度分离假设,聊聊如何使用未标注数据来推动决策边界向低密度区移动,相关代码实现详见[ClassicSolution/enhancement]
阅读全文

摘要:
借着ACL2022一篇知识增强Tutorial的东风,我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总,这一章我们只针对NLU领域3个比较经典的知识增强方案Baidu-ERNIE,THU-ERNIE和K-Bert来聊下具体实现~
阅读全文
