报告笔记《词法、句法分析研究进展综述》

词法分析主要有三个任务：分词、词性标注以及命名实体识别，句法分析主要是依存句法分析。本报告主要介绍分词、词性标注和依存句法分析。

一般在做依存句法分析任务时，都需要基于分词和词法分析的结果来做，所以报告内容这么安排也就很正常了。

目前解决这三个任务的方法主要有三种：基于序列标注的方法、基于转移(transition)的方法和基于图的方法。

分词

首先，来谈谈分词。

目前分词的几篇文章有：

复旦大学陈新驰有三篇文章：

• Long Short-Term Memory Neural Networks for Chinese Word Segmentation. Xinchi Chen. EMNLP 2015
• Gated Recursive neural network for chinese word segmentation. Xinchi Chen. ACL 2015
• Adversial Multi-criteria learning for chinese word segmentation. Xinchi Chen. ACL 2017(outstanding paper)

2015年百度有一篇用bilstm做命名实体识别，这里的话做分词，第一篇用bilstm，第二篇用gru，感觉这种论文就是比速度，第三篇文章考虑多准则（不同情况分词的标准不同），拿到了一个杰出论文奖。

除此之外，

State-of-the-art Chinese Word Segmentation with Bi-LSTMs. Ji Ma. EMNLP 2018

基本上是对bilstm做一个总结

Zen: Pre-training Chinese Text Encoder Enhanced by N-gram Representations, Shizhe Diao, 2019

把n-gram representation加到bert中，模型有点大

成绩相比BERT提升半个点

Towards Fast and Accurate Neural Chinese Word Segmentation with Multi-Criteria Learning, COLING 2020

又来一个多准则

Glyce: Glyph-vectors for Chinese Character Representations, 2020

基于BERT的提升也是微乎其微。

基于序列标注的方法是给字打标签，很难利用词级别的信息，为了引入词级别的信息可以采用以下三种方法：基于转移的方法、semi-CRF和DAG-LSTM/Lattice-LSTM。

• 基于转移的方法可以参考Transition-based Neural Network Word Segmentation, ACL 2016
• 基于Semi-CRF的方法可以参考Chinese Word Segmentation via BiLSTM+Semi-CRF with Relay Node
• 基于DAG-LSTM就是改进LSTM模型，将链式结构扩展到DAG结构，这里推荐：LatticeLSTM和Adversarial Multi-Criteria Learning for Chinese Word Segmentation, ACL 2017（outstanding paper）

词性标注

磁性标注一般都是比较简单，所以一般都是结合分词一起来做。

比如Joint CWS + POS Tagging的一篇文章A Feature-Enriched Neural Model for Joint Chinese Word Segmentation and Part-of-Speech Tagging, IJCAI 2017

该方法是使用BMES和词性的组合标签来给每个字打标签。

第二种方法是基于转移的方法，首先利用一个bilstm来提取上下文特征，然后在解码时每一步都预测一个动作，动作的候选集合为是否分词以及词性。

依存句法分析

在深度学习之前，依存句法分析主要是以基于转移的方法和基于图的方法。

基于转移的方法的一个经典的例子就是斯坦福陈丹琦的论文《A Fast and Accurate Dependency Parser using Neural Networks》，另一个是目前最好的CMU的《Transition-based Dependency Parsing with Stack Long Short-Term Memory》，通过三个LSTM来分别建模栈状态、待输入序列和动作序列。 其中因为栈需要入栈和出栈，因此作者提出了一个 Stack LSTM 来建模栈状态。

虽然基于 Stack LSTM 取得了非常好的效果，但是在目前的依存句法分析中，最流行的方法是基于图的方法经典的方法是 Biaffine 模型。直接用神经网络来预测每两个词之间存在依存关系的概率，这样我们就得到一个全连接图，图上每个边代表了节点 a 指向节点 b 的概率。然后使用MST等方法来来将图转换为一棵树。

Biaffine 模型其实和我们目前全连接自注意力模型非常类似。Biaffine模型十分简单，并且容易理解，并且在很多数据集上都取得了目前最好的结果。《Deep Biaffine Attention for Neural Dependency Parsing》

最后

词性标注和句法分析：An improved neural network model for joint POS tagging and dependency parsing. 2018

分词和句法分析：A Graph-based Model for Joint Chinese Word Segmentation and Dependency Parsing. 2019

本文主要内容来自于邱锡鹏2019年5月做的一篇报告