08 2022 档案

摘要:小样本利器3. 半监督最小熵正则 MinEnt & PseudoLabel代码实现在前两章中我们已经聊过对抗学习FGM,一致性正则Temporal等方案,主要通过约束模型对细微的样本扰动给出一致性的预测,推动决策边界更加平滑。这一章我们主要针对低密度分离假设,聊聊如何使用未标注数据来推动决策边界向低密度区移动,相关代码实现详见[ClassicSolution/enhancement] 阅读全文
posted @ 2022-08-30 07:35 风雨中的小七 阅读(1147) 评论(0) 推荐(0) 编辑
摘要:Bert不完全手册7. 为Bert注入知识的力量 Baidu-ERNIE & THU-ERNIE & KBert借着ACL2022一篇知识增强Tutorial的东风,我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总,这一章我们只针对NLU领域3个比较经典的知识增强方案Baidu-ERNIE,THU-ERNIE和K-Bert来聊下具体实现~ 阅读全文
posted @ 2022-08-18 08:50 风雨中的小七 阅读(668) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示