风雨中的小七

摘要： 这一章我们介绍固定prompt微调LM的相关模型，他们的特点都是针对不同的下游任务设计不同的prompt模板，在微调过程中固定模板对预训练模型进行微调。以下按时间顺序介绍，支持任意NLP任务的T5，针对文本分类的两篇PET和LM-BFF。 阅读全文

摘要： 借着ChatGPT的东风，我们来梳理下prompt范式的相关模型，你还以其他形式看到过prompt概念，例如Demonstration，Instruction，In-Context learning，few-shot learning等等~开篇我们简单介绍下Prompt范式，并以其中的冻结参数Tunning-Free Prompt为线索串联GPT2，GPT3，LAMA和AutoPrompt这四种冻结参数的基础模型 阅读全文

摘要： 在前面章节中，我们介绍了几种半监督方案包括一致性正则，FGM对抗，最小熵原则，mixup增强。MixMatch则是集各家所长，把上述方案中的SOTA都融合在一起实现了1+1+1>3的效果。我们以MixMatch为基准，一并介绍几种衍生方案MixText，UDA，FixMatch 阅读全文

摘要： 今天来聊聊非常规的损失函数，第一章我们介绍当标注标签存在噪声时可以尝试的损失函数，这里的标签噪声主要指独立于特征分布的标签噪声 阅读全文

摘要： 这个系列会针对NLP比赛，经典问题的解决方案进行梳理并给出代码复现~算是找个理由把代码从TF搬运到torch。Chapter1是CCF BDC2019的赛题：金融信息负面及主体判定，属于实体关联的情感分类任务，相关代码实现以及Top方案梳理详见ClassisSolution/fin_new_entity 阅读全文

摘要： 这一章我们介绍嵌入模型的增强&正则化方案Mixup和Manifold Mixup，方法朴实无华，效果亲测有效~ 阅读全文

摘要： 这一章我们来唠唠如何优化BERT对文本长度的限制，核心是对Transformer计算效率的优化，我们会分别从片段递归，稀疏注意力机制和矩阵降维几个方向，聊聊更高效的Transformer魔改方案 阅读全文

摘要： 论文针对预训练语料和领域分布，以及任务分布之间的差异，提出了DAPT领域适应预训练（domain-adaptive pretraining）和TAPT任务适应预训练（task-adaptive pretraining)两种继续预训练方案，并在医学论文，计算机论文，新闻和商品评价4个领域上进行了测试。想法很简单就是在垂直领域上使用领域语料做继续预训练，不过算是开启了新的训练范式，从之前的pretrain+fintune，到pretrain+continue pretrain+finetune 阅读全文

摘要： 在前两章中我们已经聊过对抗学习FGM，一致性正则Temporal等方案，主要通过约束模型对细微的样本扰动给出一致性的预测，推动决策边界更加平滑。这一章我们主要针对低密度分离假设，聊聊如何使用未标注数据来推动决策边界向低密度区移动，相关代码实现详见[ClassicSolution/enhancement] 阅读全文

摘要： 借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总，这一章我们只针对NLU领域3个比较经典的知识增强方案Baidu-ERNIE，THU-ERNIE和K-Bert来聊下具体实现~ 阅读全文