关系抽取 --- 远程监督 ---《DIAG-NRE: A Neural Pattern Diagnosis Framework for Distantly Supervised Neural Relation Extraction》

• 概述

　　　　为了减轻pattern编写的工作量，并能够对新的关系类型进行快速泛化，作者提出了一种 pattern诊断框架DIAG-NRE，该框架能够在人工专家的参与下，从噪声数据中自动总结和提炼高质量的关系模式

• 主要结构图：

　　　　

 

 

• • NRE Models
    对于一个instance  s, token成  [x1,x2,x3...xT].用X表示。每个xi都是有word emdbedding 和 position embedding 串联组成。
    给定一个关系r, NRE model的作用就是 求出  .其中X为一个句子的表示，r为关系，为模型的参数。

     

  •  Pattern Extraction
    
    

     

     

    Action.
    　　动作是针对每一位的token采取保留还是去除（保留为0，去除为1）的操作。因为token xi是由word embidding和position embeding组成，只对word进行操作。
    　　在进行了一系列的操作之后，a=(a1,a2,a3,a4) .  X->X'   T->T'
    Rward:
    　　我们的目的是找到最简单的序列X'来保持原始预测的可信度。
    　　
    　　左边是对数似然项，以追求较高的预测置信度; 另一个是稀疏比项，以诱导保留token的稀疏性
    

     

    State:
    　　agent的state应该独立于NRE model的state；
    　　agent的初始状态和NRE一样是X
     Agent：
    　　
    　　 agent 以非自回归的方式  进行计算
    　　在决定每个token的操作时，丰富上下文信息,,文章采用了BiLSTM进行了编码。
    　　
    
    　　h为LSTM的隐藏层的个数
    　　
    Optimization：
    　　
    
    Pattern Induction：
    　　之后，给定instances和actions，我们这样来产生pattern:
    　　①相应的实体类型替换原始实体对
    　　②通过agent来获得tokens和相对位置
    　　③然后把剩余的token的相对位置进行进行归纳到4个情况：zero（两个token见中间没有被抹除的token），short(1-3tokens),  medium(4-9 tokens),  long (10 or more tokens)
    
    
    
    

  • Pattern Refinement （未完待续）
    

     

     

    
    
    
    
    
  • Weak Label Fusion （未完待续）