Note:[ wechat:Y466551 | 可加勿骚扰,付费咨询 ]
论文信息
论文标题:UDALM: Unsupervised Domain Adaptation through Language Modeling
论文作者:Constantinos Karouzos, Georgios Paraskevopoulos, Alexandros Potamianos
论文来源:2021 aRxiv
论文地址:download
论文代码:download
视屏讲解:click
1 介绍
动机:探索了无监督域自适应(UDA)中针对下游任务的预训练语言模型的;
摘要:引入了 UDALM,使用分类和屏蔽语言模型损失,可以以鲁棒和样本效率的方式适应目标域分布;
贡献:
-
- 提出了 UDALM ,一个基于多任务学习的 简单、健壮的无监督域适应过程下游 Bert 模型;
- 在 亚马逊评论基准数据集 分类为 SOTA;
- 基于理论概念和经验观察,探讨了距离与目标误差的关系,并总结了领域对抗训练的理论;
2 方法
模型框架:
2.1 训练步骤
Step1:Fig.1a 在大规模数据集上进行 MLM 、NSP 预训练;
Step2:Fig.1b 使用上述预训练好的模型在 目标域内进行 MLM 训练;
Step3:在源域数据上进行监督训练,在目标域数据上进行 MLM 训练;
Step3 的损失函数:
其中:
3 实验
结果
因上求缘,果上努力~~~~ 作者:别关注我了,私信我吧,转载请注明原文链接:https://www.cnblogs.com/BlairGrowing/p/17638671.html
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾(3.3-3.9)
· winform 绘制太阳,地球,月球 运作规律