论文阅读(13)Recognizing Implicit Discourse Relations via Repeated Reading: Neural Networks with Multi-Level Attention(2016)
Recognizing Implicit Discourse Relations via Repeated Reading: Neural Networks with Multi-Level Attention(2016)
Motivation
为了模仿 重复阅读策略,我们提出了Neural Network with Multi-level attention(NNMA), 综合attention机制和external memories,将注意力逐渐固定在一些有助于判断篇章关系的特定词汇上。
Neural Networks with Multi-Level Attention
-
One general level:
- 捕捉 general representations of each argument based on Bi-LSTM
-
Several attention
- NNMA在论元对上生成一个权重向量,以定位与篇章关系相关的重要部分。
-
external short-term memory
- 存储在以前的级别中利用的信息,并帮助 更新论元表示。
-
用循环的方式堆叠这个结构,模拟多次阅读论元的过程。
-
最后使用highest attention level的representation输出来识别篇章关系
算法流程
-
略读,使用Bi-LSTM
-
设计几个attention Levels模拟随后的多次阅读
-
在每个attention level上,外部短期记忆用于存储从以前学到的东西,并指导应该关注哪些单词。为了找出论元中有用的部分,注意力机制被用来预测每个单词的概率分布,指示每个单词应该被关注的程度。 如图。