03 2022 档案
摘要:
掩码是Bert实现双向理解的核心,但是掩码存在预训练和微调的不一致性,以及15%掩码带来的训练低效性~那能否绕过MASK策略来捕捉双向上下文信息呢?下面介绍两种方案XLNET,Electra,它们分别通过乱序排列语言模型,和生成器-判别器的方案实现了不依赖MASK的双向语言模型。正在施工中的代码库也接入了这两种预训练模型,同时支持半监督,领域迁移,降噪loss,蒸馏等模型优化项,感兴趣的戳这里>>SimpleClassification
阅读全文

摘要:
Bert提出了很好的双向LM训练和迁移框架,但它的训练方式槽点较多,这一章就训练方案改良,我们来聊聊RoBERTa和SpanBERT,看作者这两篇paper是一个组的作品,所以存在一些共同点~。正在施工中的代码库也接入了这两种模型作为backbone,同时支持半监督,领域迁移,降噪loss,蒸馏等模型优化项,感兴趣的戳这里>>SimpleClassification
阅读全文

摘要:
Bert通过双向LM处理语言理解问题,GPT则通过单向LM解决生成问题,那如果既想拥有BERT的双向理解能力,又想做生成嘞?成年人才不要做选择!这类需求,主要包括seq2seq中生成对输入有强依赖的场景,例如翻译,生成式问答,文本摘要等等,本章分别介绍3种不同的方案:UNILM,MASS,BART
阅读全文

摘要:
Bert不完全手册系列之模型蒸馏:模型蒸馏的目标主要用于模型的线上部署,解决Bert太大,推理太慢的问题。因此用一个小模型去逼近大模型的效果,实现的方式一般是Teacher-Stuent框架,先用大模型(Teacher)去对样本进行拟合,再用小模型(Student)去模仿Teacher。这里介绍包括Knowledge Distll,到PKD,DIstillBert,TinyBert等蒸馏方案,持续更新中~
阅读全文
