关系抽取 ---远程监督 ---《Multi-Level Structured Self-Attentions for Distantly Supervised Relation Extraction》

本文准确来说，创新点基本没有，如果说，那就是比其他paper更多的参数。采用2-D的矩阵来进行word和sentence表示，希望能捕获更多的语义信息。

优点:

　　(1)在关系抽取中首次提出2Dquery vector，并赋予了其实际意义对2D query vector矩阵的约束个人感觉也是一个小亮点.

　　(2)写作思路上清晰无比，实验上紧扣主题，全文都在强调2D，2D，2D。感觉读下好像被洗脑了一样.

　　（3）将其他领域的方法较好的借鉴了过来，说明要多阅读各个方面的文章。

缺点:

　　缺少创新性，因为方法确实和其他领域的一篇文章太像了.

　　

模型结构：

　　　　

 

 

　　 对于一个entity-pair的bag的句子，一共有J个。每个句子由N个word组成

　　　　

 

 

 　　经过BLSTM的输出，H的维度为N*2u，u为LSTM的隐藏单元个数：

　　　　

　　之后就是word-attention：

　　　　

 　　　　

　　　　

　　　　        惩罚项：       

 

 　　sentence-level的attention:

      　　　

 

 　　　　

　　　　

 

 实验：

　　　　

 

 　　证明，参数数量越多确实能提高指标...