风雨中的小七

摘要： Albert是A Lite Bert的缩写，通过词向量矩阵分解，以及transformer block的参数共享，大大降低了Bert的参数量级。在我读Albert论文之前，因为Albert和蒸馏，剪枝一起被归在模型压缩方案，导致我一直以为Albert也是为了优化Bert的推理速度，但其实Albert主要用在模型参数（内存）压缩，以及训练速度优化，在推理速度上并没有提升。正在施工中的文本分类库里也加入了Albert预训练模型，有在chinanews上已经微调好可以开箱即用的模型，同时支持半监督，领域迁移，降噪loss，蒸馏等模型优化项，感兴趣戳这里SimpleClassification 阅读全文

摘要： 掩码是Bert实现双向理解的核心，但是掩码存在预训练和微调的不一致性，以及15%掩码带来的训练低效性~那能否绕过MASK策略来捕捉双向上下文信息呢？下面介绍两种方案XLNET，Electra，它们分别通过乱序排列语言模型，和生成器-判别器的方案实现了不依赖MASK的双向语言模型。正在施工中的代码库也接入了这两种预训练模型，同时支持半监督，领域迁移，降噪loss，蒸馏等模型优化项，感兴趣的戳这里>>SimpleClassification 阅读全文

摘要： Bert提出了很好的双向LM训练和迁移框架，但它的训练方式槽点较多，这一章就训练方案改良，我们来聊聊RoBERTa和SpanBERT，看作者这两篇paper是一个组的作品，所以存在一些共同点~。正在施工中的代码库也接入了这两种模型作为backbone，同时支持半监督，领域迁移，降噪loss，蒸馏等模型优化项，感兴趣的戳这里>>SimpleClassification 阅读全文

摘要： Bert通过双向LM处理语言理解问题，GPT则通过单向LM解决生成问题，那如果既想拥有BERT的双向理解能力，又想做生成嘞？成年人才不要做选择！这类需求，主要包括seq2seq中生成对输入有强依赖的场景，例如翻译，生成式问答，文本摘要等等，本章分别介绍3种不同的方案：UNILM，MASS，BART 阅读全文

摘要： Bert不完全手册系列之模型蒸馏：模型蒸馏的目标主要用于模型的线上部署，解决Bert太大，推理太慢的问题。因此用一个小模型去逼近大模型的效果，实现的方式一般是Teacher-Stuent框架，先用大模型（Teacher）去对样本进行拟合，再用小模型（Student）去模仿Teacher。这里介绍包括Knowledge Distll，到PKD，DIstillBert，TinyBert等蒸馏方案，持续更新中～ 阅读全文

摘要： 这一章我们来看下如何把NER的序列标注任务转换成阅读理解任务。论文重点放在新的框架可以更好抽取嵌套实体，不过在此之外，MRC对小样本场景，以及细粒，层次化实体的识别任务也有一定的启发意义，代码实现详见ChineseNER/mrc。我们把MRC的模型框架分开成两部分来看，第一部分是阅读理解任务主要处理模型的输入，第二部分是entity Span抽取任务针对模型的输出，因为他们其实是针对不同问题的改良，可以在不同的场景下分开使用～ 阅读全文

摘要： 这一章我们主要关注transformer在序列标注任务上的应用，作为2017年后最热的模型结构之一，在序列标注任务上原生transformer的表现并不尽如人意，效果比bilstm还要差不少，这背后有哪些原因? 解决这些问题后在NER任务上transformer的效果如何？完整代码详见ChineseNER 阅读全文

摘要： 这一章我们不聊模型来聊聊数据，解决实际问题时90%的时间其实都是在和数据作斗争，于是无标注，弱标注，少标注，半标注对应的各类解决方案可谓是百花齐放。结合一些业界的案例和新鲜出炉的NLP数据增强综述，我们来聊聊有哪些数据增强方案，其中哪些适用于NER以及效果提升 阅读全文

摘要： 模型微调一定比直接使用预训练模型效果好么？微调究竟对Bert的向量空间产生了哪些影响？A Closer Look at How Fine-tuning Changes Bert论文中，作者结合文本分类任务，和DirectProb这两种探测任务，直观展现了模型微调对Bert向量空间的影响 阅读全文

摘要： 这一章我们借着之前的NER的模型聊聊tensorflow serving，以及gRPC调用要注意的点。以下代码为了方便理解做了简化，完整代码详见[**Github-ChineseNER**](https://github.com/DSXiangLi/ChineseNER) ，里面提供了训练好的包括b 阅读全文