关系抽取 ---远程监督 ---《Improving Distantly-Supervised Relation Extraction with Joint Label Embedding》
一、创新点：
鉴于之前的很多方法在relation extraction中 label只用了one-hoe向量，认为关系之间是独立的。本文认为relation也是由关联的。因此，本文提出一个模型RELE（Relation Extraction with Joint Label Embedding），将label 进行embedding,用于分类任务。同时使用了structural information from KGs and textual information of entity descriptions 来进行label的学习
二、相关工作：
这篇对RE的相关工作进行了比较好的总结
1.Distant Supervision
(Mintz et al.， 2009)提出的远程监控是一种有效的方法，在假设两个实体在一个KG中有某种关系时，所有提及这些实体的句子都表达了这种关系。这一假设并非在所有情况下都成立，造成了标签错误的问
题。
MultiR (Hoffmann et al.， 2011)和MIMLRE(Surdeanu et al.， 2012)引入多实例学习，其中提到相同实体对的实例在包级别进行处理。然而，这些方法严重依赖手工特性。
（Raphael Hoffmann, Congle Zhang, Xiao Ling, Luke Zettlemoyer, and Daniel S Weld. 2011. Knowledgebased weak supervision for information extraction of overlapping relations. In ACL, pages 541–550.）
（Mihai Surdeanu, Julie Tibshirani, Ramesh Nallapati, and Christopher D Manning. 2012. Multi-instance multi-label learning for relation extraction. In EMNLP-CoNLL, pages 455–465.）
2.Neural Relation Extraction
近年来，随着深度学习的发展，神经网络已被证明能够有效地自动提取句子的有效特征。
多实例学习，attention的引入。。。
除此之外，还有一些研究利用其他相关信息来改进关系提取
(Wenyuan Zeng, Yankai Lin, Zhiyuan Liu, and Maosong Sun. 2017. Incorporating relation paths in neural relation extraction. In EMNLP, pages 1768– 1777.)
(Shikhar Vashishth, Rishabh Joshi, Sai Suman Prayaga, Chiranjib Bhattacharyya, and Partha Talukdar. 2018. Reside: Improving distantly-supervised neural relation extraction using side information. In
EMNLP, pages 1257–1266.
提出RESIDE模型。利用知识库中的可用侧信息，包括实体类型和关系别名信息)
(Xu Han, Pengfei Yu, Zhiyuan Liu, Maosong Sun, and Peng Li. 2018b. Hierarchical relation extraction with coarse-to-fine grained attention. In EMNLP, pages 2236–2245
提出了一个KGs和实例的联合表示学习框架，该框架利用KG嵌入来选择有效的实例)
（Guoliang Ji, Kang Liu, Shizhu He, Jun Zhao, et al. 2017. Distant supervision for relation extraction with sentence-level attention and entity descriptions. In AAAI, pages 3060–3066.
提出APCNN+D模型。用实体描述作为选择有效实例的背景知识，忽略强加的噪声）
现有工作和作者的工作的对比：
三、一些定义:
1. 我们用G =来表示KG{(h, r, t)}，其中包含相当多的三个一组(h, r, t)其中h和t分别为头实体和尾实体，r为关系。它们的嵌入表示为(h, r, t)。
2. 给定中的一对实体(h, t) 和bag的实例(句子)B = {s1, s2，···，sm}，其中每个实例si包含 (h, t)，关系提取的任务是训练一个基于B的分类器，从一个预定义的关系集中预测(h, t)的关系标签y。如果没有关系存在，我们简单地把NA分配给它。
3. 
,
。D是一个集合，集合中的每个元素是一个enitty的描述。描述就是从维基百科中找出第一段。L是这第一段的长度。
。V是词汇表。
四、模型介绍：
1.Joint Label Embedding
KG Embedding：
使用 TransE来进行KG embedding,
Entity Description Embedding:
其中,c是卷积的窗口长度，
是单词Wi的对应输出。
Gating Integration：
其中，
是集成的门控向量，e是KG的entity embedding（head，tail ）, de是描述的embedding.
那么，最后label的embeddign就是上式。
Label Classifier：
2. Neural Relation Extraction
Instance Embedding：
每个单词是由预训练的嵌入和两个位置嵌入。
其中，c是卷积的窗口大小。之后在对每个z的j的位置取最大，得到最后句子的嵌入。
把句子和两个entity的嵌入链接。
Attention over Instances.：
Relation Classifier.：
3. Model Training:
假设，在训练阶段，包一共有N个{B1, B2，··，BN}及其对应的标签{y1, y2，···，yN}，我们利用交叉熵对标签分类器L1的损失函数进行处理
D是描述，G是知识图谱。这个用来训练label embedding的分类器的
B是bag中的句子，这个用来训练关系的分类器
五。实验：
