Memeory network description

ALL reference from paper  Memory networks for fine-grained opinion mining

 KW: fine-grained opinion mining DL memory networks Multi-task learning

Introduction:

Two concept: Aspect term&Opinion term

An aspect tem refers to a word or a phrase describing some feature of an entity(客观实体),

An opinion term refers to the expression carrying subjective emotions（情绪描述）.

往往很多细粒度实体识别模型中会忽略情绪描述的存在和作用，此文就是在模型中公用二者。

在参考文献中，有很多实体抽取方式：经典两种：一是在观点抽取中是按照基于句法或者每种句子的归属结构来预定义的规则进行抽取；一种是从标注好的语料库训练分类器，来给实体打标签。但上述两种方法都会人工密集型的，特别是规则的定制需要语言学或句法专业信息，为了减少工程损耗，深度学习引入来学习每个token的深层特征表示，在此基础上训练分类器，promising有价值的，但还是需要对句法进行解析分析才能编码喂入深度模型里。

• 因此，在文中提出利用注意力机制加上记忆网络中的张量操作替代句法分析，来自动捕捉token之间的关系。而且，设计了注意力机制对，一个给aspect抽取，一个给opinion抽取，交互学习，可以学习到他们之间的交互关系。
• 更进一步，我们扩展任务为category-specific aspect and opinion terms extraction，当然，任务之前要对aspect或opinion从预定义的数据集中进行抽取、分类，还要分类啊，有些网络可以同时完成多类任务，但粗粒度，为了解决这一问题，我们给出一个end-to-end深度多任务学习架构。

Related Work:

1、细粒度语义研究：直接切入aspect/opinion抽取，有些提出用关联规则提取（WordNet是啥？好像可以辅助提取opinion）这类似的方式都是非监督的；监督法：就转化为序列标记问题。CRF HMM，（alignment 对齐，实体对齐的对齐把）

2、Deep multi-task learning

Multi-task learning aims to improve generalization(泛化) for each individual task by exploiting relatedness among different tasks. One common assumption in multi-task learning is that parameters for different tasks lie in a low-dimensional subspace, which is achived either by imposing low-rank constrains or matrix factorization.  多任务学习目标是为了提高多个单任务学习的泛化性和一致性。普遍认为在多任务学习中不同任务的参数是处在一个相对低维的子空间，可以通过低秩约束和矩阵因式分解来实现。通过因式，每个任务的模型都变成一系列小隐式任务的线性组合。多线性模型使用多索引来解决多模态任务？Our proposed deep multi-task learning model is specially designed for sentiment analysis. We incorporate additional opinion labels to solve both aspect and opinion terms extraction at the same time by modeling their fine-grained interactions, compared with other general methods. 我们为opinion加入额外的labels解决同时抽取aspect和opinion。

Problem statement and motivation

句子用token 序列来表示 si = {wi1, wi2, ..., wini }  w维度为D，所以si是个D*ni的矩阵，

w_ini是句子i中总共包含ni个token中的其中一个，它是D维的，Xini是相应w向量embedding之后得到的相应token的特征表示，它是k维的。y输出是token的位置关系，c分类是为了实现细粒度terms抽取，

系统模型中还提出来一个拥有成对的注意力机制的memory networks自动学习aspect和opinion的关系，脱离开专业的语言学知识。作者给自己的系统起名叫MNCA。为了得到aspect/opinionterm的分类信息，我们首先用一个比较简单明了的模型来识别一般的aspect/opinion，然后在用额外的分类器category一下，但这种pipeline有可能将错误不断传递下去，一种替代方案就是为每个category分类c单独训练所有的token，最后将得到分类结果组合起来，但这样会使aspect/opinion的识别和训练数据就会非常稀疏。为了解决这些问题，We propose to model the problem in a multi-task learning manner,where a/o terms extraction for each category is considered as an individual task, and an end-to-end deep learning architecture is developed to jointly learn the tasks by exploiting  their commonalities and similarities.In the following, we use j to denote the index of a token in a sentence, c to denote the association with category c and for simplifying notations, we omit the sentence index i if the context is clear.

Memeory network with coupled attentions 

文中指出模型MNCA的目的是为了自动建模a&o间的interaction，此模型具有以下几个特性：

• 每个句子，我们创建一对attentions：aspect attention&opinion attention ，它们的目的都是为了学到一个泛化的原型向量prototype vec，一个token级别的特征向量feature vec和一个token级别的attention score。feature vec和attention score是通过tesor 操作衡量每个输入token和prototype 之间的相关程度，token的得分越高越有更大的机会称为一个aspect或者opinion。
• 捕捉a&o之间的直接关系，例如 taste fresh，尝起来很新鲜，a&o成对出现，因此他们各自的attention学习机制会相互影响。
• 捕捉a&o间接关系，创建多层记忆网络更新习得的prototype vec，feature vec，以及attention score，更精准的传递label信息完成a&o的联合抽取。