【NLP-2019-SA】解读--An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis-2019ACL
目录
- 研究背景
- 论文思路
- 实现方式细节
- 实验结果
- 附件
专业术语列表
方面级别的情绪提取 aspect term extraction (AE)
方面级别的情绪分类 aspect-level sentiment classification (AS)
文档级别情绪分类 Documentlevel sentiment classification (DS)
文档域级别分类 document-level domain classification(DD)
交互式多任务学习网络 interactive multi-task learning network ( IMN)
基于方面的情感分析 Aspect-based sentiment analysis (ABSA)
一、研究背景
1.1 涉及领域，前人工作
基于方面的情感分析产出：1.自然语言句子的方面术语 2.及其对应一种情感 3多任务
传统的方式：任务以流水线方式完成，先进行方面术语的提取，再对提取的方面术语进行情感预测。
传统的方式的缺点：虽然更容易开发，但是这种方法没有充分利用来自两个子任务的联合信息，也没有使用可能有用的所有可用的培训信息来源，比如文档级标记的情感语料库。
1.2 中心思想
提出了一种IMN，基于共享的潜在变量，完成AE和AS同时训练，AE，AS和DS，DD四者的交互式训练，本文IMN不仅允许共享表示，而且通过使用迭代消息传递模式显式地对任务之间的交互进行建模。传播的信息有助于学习和推理，从而提高ABSA的整体性能。其中DS和DD的加入，允许允许方面级别的任务从文档级别的信息中受益，实验结果较好。实验结果表明，该方法在三个基准数据集上具有较好的性能。
二、论文思路
2.1 框架图和重要部分
文章主要框架图：
主要组成构建：
1、{x1,x2,x3……x6} :输入文本信息，token序列的数据
6、DS：预测对输入文档的情感
7、DD：预测输入文档的域标签
在AE中我们为每个token分配一个标签，表明它属于某个方面或观点术语；在AS中，我们用sentiment标记每个单词。在一个分类任务中，输出就是输入实例的label，比如情感分类任务DS的文档情感，域分类任务DD的文档域(新闻分类)，具体取决于任务。 此外，我们还允许在每个迭代中的组件之间传递消息。针对这个问题，我们将信息从AE任务发送到AS任务，如图所示。在T次迭代之后，允许信息通过多个跃点传播的消息传递，我们使用输出变量的值作为预测。对于这个问题，我们只使用AE和AS的输出，因为这些是最终任务，而其他任务只用于训练。
2.2 论文技术特点（对比文献）
创新点有：
IMN的提出
(Wang et al., 2018; Liet al., 2019)两篇结果表明，集成模型可以获得与流水线方法相当的结果。两者都使用统一的标记方案将问题表述为单个序列标记任务。他们方法的缺点：
1.仅仅通过统一的标记连接两个任务，没有显式的建模它们之间的相关性。
2.这些方法只学习方面级别的实例，实例的大小通常很小，没有利用其它来源的可用信息，比如文档级别的标记的情感语料库.
三、实现方式
下面主要介绍四个组件如何工作，以及如何产出的：
3.1 Aspect-Level任务
|
|
3.2 Document-Level任务
目的：为了解决方面级训练数据不足的问题，IMN能够利用文档级标记的情感语料库中的知识，这些知识更容易获得。
3.3 Message Passing Mechanism（消息传递机制）
3.4 Learning
方面级问题的实例只有方面级标签，文档级问题的实例只有文档标签。IMN交替在方面级和文档级实例上进行训练。在aspect级实例中，这个函数如下:
在文档级样本上进行训练时，我们将以下损失最小化:
四、实验结果
4.1 Experimental Settings
结果比较
提出了一种交互式多任务学习网络IMN，用于联合学习方面和观点术语的共同提取，以及方面层次的情感分类。提出的IMN引入了一种新的消息传递机制，允许任务之间进行信息交互，从而更好地利用相关性。此外，IMN能够从多个训练数据源中学习，允许细粒度的token级任务从文档级标记的语料库中受益。该体系结构可能适用于类似的任务，如关系提取、语义角色标注等。
五、附件
5.1、 Ruidan Heyz, Wee Sun Leey, Hwee Tou Ngy, and Daniel Dahlmeier An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis [C] Association for Computational Linguistics 504–515
