风雨中的小七

摘要： 这一章我们主要关注transformer在序列标注任务上的应用，作为2017年后最热的模型结构之一，在序列标注任务上原生transformer的表现并不尽如人意，效果比bilstm还要差不少，这背后有哪些原因? 解决这些问题后在NER任务上transformer的效果如何？完整代码详见ChineseNER 阅读全文

摘要： 这一章我们不聊模型来聊聊数据，解决实际问题时90%的时间其实都是在和数据作斗争，于是无标注，弱标注，少标注，半标注对应的各类解决方案可谓是百花齐放。结合一些业界的案例和新鲜出炉的NLP数据增强综述，我们来聊聊有哪些数据增强方案，其中哪些适用于NER以及效果提升 阅读全文

摘要： 模型微调一定比直接使用预训练模型效果好么？微调究竟对Bert的向量空间产生了哪些影响？A Closer Look at How Fine-tuning Changes Bert论文中，作者结合文本分类任务，和DirectProb这两种探测任务，直观展现了模型微调对Bert向量空间的影响 阅读全文

摘要： 这一章我们借着之前的NER的模型聊聊tensorflow serving，以及gRPC调用要注意的点。以下代码为了方便理解做了简化，完整代码详见[**Github-ChineseNER**](https://github.com/DSXiangLi/ChineseNER) ，里面提供了训练好的包括b 阅读全文

摘要： 这一章我们就词汇增强这个中文NER的核心问题之一来看看都有哪些解决方案, 主要包括以SoftLexicon为首的Embedding类方案，以及始于Lattice-LSTM的特殊模型结构类方案。Repo里上传了在MSRA上训练好的bilstm_crf_softlexicon模型以及serving相关的代码, 可以开箱即用哟～ 阅读全文

摘要： 第一章我们简单了解了NER任务和基线模型[Bert-Bilstm-CRF基线模型详解&代码实现](https://www.cnblogs.com/gogoSandy/p/14716671.html)，这一章按解决问题的方法来划分，我们聊聊多任务学习，和对抗迁移学习是如何优化实体识别中边界模糊，垂直领 阅读全文

摘要： 这个系列我们来聊聊序列标注中的中文实体识别问题，第一章让我们从当前比较通用的基准模型Bert+Bilstm+CRF说起，看看这个模型已经解决了哪些问题还有哪些问题待解决。以下模型实现和评估脚本，详见 [**Github-DSXiangLi/ChineseNER**](https://github.c 阅读全文

摘要： 这一章我们来聊聊通用文本框架，直接使用它们的场景已经不多，但你能在各个前沿方法中看到它们的影子。本章包括：为啥需要通用文本表征，为什么部分监督模型效果不好，哪些模型结构和训练任务得到的表征更加通用 阅读全文

摘要： 跨入transformer时代，看看抛开CNN和RNN，如何只基于attention对不定长的序列信息进行提取。这里选取WMT的英翻中任务，我们来一边聊模型insight一边看代码实现 阅读全文

摘要： 这一章我们来聊聊skip-thought的三兄弟，它们在解决skip-thought遗留问题上做出了不同的尝试【Ref1～4】, 以下paper可能没有给出最优的解决方案(对不同的NLP任务其实没有最优只有最合适）但它们提供了另一种思路和可能性。上一章的skip-thought有以下几个值得进一步探 阅读全文