关系抽取 ---远程监督（一种基于word-level的sentence内部去噪）---《Neural Relation Extraction via Inner-Sentence Noise Reduction and Transfer Learning》

目标（创新点）：

　　因为远程监督而引入的很多质量很低的句子，这些句子包含了一些嘈杂的单词，而这些单词被当前的远程监督方法忽略了，导致了不可接受的精确度。文本提出的目标是为了解决句子内部的噪音单词。

主要工作：

　　1. 提出了消除句子中噪声词的STP（Sub-Tree Parse）和增强关系词语义特征的实体注意机制

　　2. 提出利用实体类型分类的先验知识初始化关系提取器，增强了关系提取器对低质量语料库的鲁棒性。（也是一种迁移学习的成功实践！）

先举例说明文本的必要性：

　　1.noisy:

　　　　It is no accident that the main event will feature the junior welterweight champion miguel cotto, a puerto rican, against Paul Malignaggi, an Italian American from Brooklyn

　　　　可以看到，上句话只有加粗部分体现出relation--place of birth,,其余部分都是noisy.

　　2. 先验知识：

　　　　Alfead Kahn, the Cornell-University economist who led the fight to deregulate airplanes.

　　　　可以看到，上句话是一个 relation -company的体现，如果没有先验知识 (Alfead Kahn is a person and Cornell-University is a company) 很难去get这个relation

模型介绍：

　　　　概述：

　　　　　　先将句子用 STP处理以后，将其转化为词向量后，输入到双向GRU内转化为hidden state，然后利用entity-wise attention+Hierarchical-level Attention（Word-level Attention和Sentence-level Attention的综合）后将包含一个实体对的所有句子转化为一个向量，然后将这个向量经过全连接和softmax来进行entity type分类的pre-train和关系分类。

　　　　分3个部分进行介绍：

　　　　一.Sub-Tree Parser

　　　　　　1.Sub-Tree Parse

　　　　　　　　通过Stanford parser得到句子的依存句法关系树，找到两个实体最近的共同祖先（非自身），以该祖先为根将子句法树提取出来即可，则该子树的单词和单词位置作为输入

　　　　　　　　举个例子，看上图，有个句子：

　　　　　　　　[In 1990, he lives in Shanghai, China.]

　　　　　　　　实体为Shanghai和China，看图中他们的共同祖先为in，则橘色部分in Shanghai, China就被提取出来，这三个单词的word和position就要被换成词向量输入到双向GRU中了。

　　　　　　　　这个方法比Shortest Dependency Path (SDP)好，在SDP中，上述句子因为Shanghai和China在句法树中直接相连，则最短嘛，就是提取出Shanghai, China。没有“in”了，但in这个单词才是预测这

　　　　　　个关系最重要的单词。

　　　　　　2.Word and Position Embeddings　

　　　　　　　　包含一个实体对的所有句子叫包，一个包内的第 $i$ 条句子的第 $j$ 个单词的词向量为 $k$ 维，记为 $x _ { i j } ^ { w } \in R ^ { k }$ ，分别和两个实体的距离对应的向量为 $l$ 维，记为 $x _ { i j } ^ { p 1 } \in R ^ { l }$ 和 $x _ { i j } ^ { p 2 } \in R ^ { l }$ ，将三者连起来就是该