Note:[ wechat:Y466551 | 可加勿骚扰,付费咨询 ]

论文信息

论文标题:UDALM: Unsupervised Domain Adaptation through Language Modeling 
论文作者:Constantinos Karouzos, Georgios Paraskevopoulos, Alexandros Potamianos
论文来源:2021 aRxiv
论文地址:download
论文代码:download
视屏讲解:click

1 介绍 

  动机:探索了无监督域自适应(UDA)中针对下游任务的预训练语言模型的;

  摘要:引入了 UDALM,使用分类和屏蔽语言模型损失,可以以鲁棒和样本效率的方式适应目标域分布;

  贡献

    • 提出了 UDALM ,一个基于多任务学习的 简单、健壮的无监督域适应过程下游 Bert 模型;
    • 在 亚马逊评论基准数据集 分类为 SOTA;
    • 基于理论概念和经验观察,探讨了距离与目标误差的关系,并总结了领域对抗训练的理论;

2 方法

模型框架:

  

2.1 训练步骤

  Step1:Fig.1a 在大规模数据集上进行 MLM 、NSP 预训练;
  Step2:Fig.1b 使用上述预训练好的模型在 目标域内进行 MLM 训练;
  Step3:在源域数据上进行监督训练,在目标域数据上进行 MLM 训练;

  Step3 的损失函数:

    L(s,t)=λLCLF(s)+(1λ)LMLM(t)

  其中:

    λ=nn+m

3 实验

结果

  

posted @   别关注我了,私信我吧  阅读(79)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 单元测试从入门到精通
· 上周热点回顾(3.3-3.9)
· winform 绘制太阳,地球,月球 运作规律
Live2D
点击右上角即可分享
微信分享提示