03 2022 档案

摘要:Bert不完全手册4. 绕开BERT的MASK策略?XLNET & ELECTRA掩码是Bert实现双向理解的核心,但是掩码存在预训练和微调的不一致性,以及15%掩码带来的训练低效性~那能否绕过MASK策略来捕捉双向上下文信息呢?下面介绍两种方案XLNET,Electra,它们分别通过乱序排列语言模型,和生成器-判别器的方案实现了不依赖MASK的双向语言模型。正在施工中的代码库也接入了这两种预训练模型,同时支持半监督,领域迁移,降噪loss,蒸馏等模型优化项,感兴趣的戳这里>>SimpleClassification 阅读全文
posted @ 2022-03-30 09:01 风雨中的小七 阅读(927) 评论(0) 推荐(0) 编辑
摘要:Bert不完全手册3. Bert训练策略优化!RoBERTa & SpanBERTBert提出了很好的双向LM训练和迁移框架,但它的训练方式槽点较多,这一章就训练方案改良,我们来聊聊RoBERTa和SpanBERT,看作者这两篇paper是一个组的作品,所以存在一些共同点~。正在施工中的代码库也接入了这两种模型作为backbone,同时支持半监督,领域迁移,降噪loss,蒸馏等模型优化项,感兴趣的戳这里>>SimpleClassification 阅读全文
posted @ 2022-03-22 10:18 风雨中的小七 阅读(1355) 评论(0) 推荐(0) 编辑
摘要:Bert不完全手册2. Bert不能做NLG?MASS/UNILM/BARTBert通过双向LM处理语言理解问题,GPT则通过单向LM解决生成问题,那如果既想拥有BERT的双向理解能力,又想做生成嘞?成年人才不要做选择!这类需求,主要包括seq2seq中生成对输入有强依赖的场景,例如翻译,生成式问答,文本摘要等等,本章分别介绍3种不同的方案:UNILM,MASS,BART 阅读全文
posted @ 2022-03-15 08:32 风雨中的小七 阅读(1443) 评论(0) 推荐(0) 编辑
摘要:Bert不完全手册1. Bert推理太慢?模型蒸馏Bert不完全手册系列之模型蒸馏:模型蒸馏的目标主要用于模型的线上部署,解决Bert太大,推理太慢的问题。因此用一个小模型去逼近大模型的效果,实现的方式一般是Teacher-Stuent框架,先用大模型(Teacher)去对样本进行拟合,再用小模型(Student)去模仿Teacher。这里介绍包括Knowledge Distll,到PKD,DIstillBert,TinyBert等蒸馏方案,持续更新中~ 阅读全文
posted @ 2022-03-08 08:42 风雨中的小七 阅读(1154) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示