知识图谱实体对齐:无监督和自监督的方法

1 导引

我们在博客《知识图谱实体对齐1:基于平移(translation)嵌入的方法》和博客《知识图谱实体对齐2:基于GNN嵌入的方法》中介绍的都是有监督的知识图谱对齐方法,它们都需要需要已经对齐好的实体做为种子(锚点),但是在实际场景下可能并没有那么多种子给我们使用。为了解决这个问题,有许多无监督/自监督的知识图谱对齐方法被提出。

2 一些常见无监督和自监督方法

2.1 基于GAN的方法

首先我们来看一个基于GAN的方法[1],虽然该方法是用于解决NLP中无监督跨语言词向量对齐操作的,但是我觉得在知识图谱领域也很有借鉴意义。

在最原始的有监督跨语言词向量的对齐任务中,给定已经对齐好的字典(锚点){xi,yi}i=1n,我们需要找到一个线性变换W来将一个语言的embedding投影到另一个语言的embedding空间中:

W=argminWMd(R)WXYF

其中d为embeddings维度,X,YRd×n为字典embeddings矩阵,Md(R)d×d的实矩阵空间。源单词s的对应翻译单词定义为t=argmaxtcos(Wxs,yt)

这个优化问题在对W施以正交约束的情况下,可通过对YXT进行奇异值分解来获得解析解:

W=argminWOd(R)WXYF=UVT, with UΣVT=SVD(YXT)

事实上,若两个语言embedding空间的维度不相同,即xiRd1yiRd2时,即WRd2×d1不可逆时,亦可通过SGD来求数值解[2],即求解以下优化问题:

minWRd2×d1i=1nWxiyi2

以上是有对齐的字典的情况,对于没有字典的情况呢?我们可以先用GAN来学到一个W使得两个单词分布粗略地对齐,然后通过目前的W找一些高频单词在另一个向量空间中的最近邻,作为锚点,进行优化以获得更好的W。测试时,再通过最近邻搜索来得到单词在另一个向量空间中的翻译结果。文中的最近邻搜索采用CSLS(cross-domain similarity local scaling)作为距离度量。

整体算法流程如下图所示:

如上图所示,(A) 为两个不同的词向量分布,红色的英语单词由X表示,蓝色的意大利单词由Y表示,我们想要进行翻译/对齐(在意大利语里面,gatto意为“cat”,profondo意为“deep”,felino意为“feline”,“auto”意为“car”)。每一个点代表词向量空间中的一个单词,点的大小和单词在训练语料中出现的频率成正比。 (B) 意为通过对抗学习机制学习一个旋转矩阵W将两个分布大致地对齐。 (C) 使用一些高频单词及其映射后的最近邻做为锚点,来对映射W进一步调整。(D) 寻找单词在目标向量空间中的最近邻以完成翻译。

首先我们来看GAN是如何训练的。设X={x1,,xn}Y={y1,,ym}分别为源语言和目标语言embeddings的集合。GAN的判别器需要区分从WX={Wx1,,Wxn}Y中随机采样的元素,而生成器(参数为W)要尽可能去阻止判别器做出正确的判断:

LD(θDW)=1ni=1nlogPθD(source=1Wxi)1mi=1mlogPθD(source=0yi)

LW(WθD)=1ni=1nlogPθD(source =0Wxi)1mi=1mlogPθD(source=1yi)

之后,我们从GAN初步训练得到的W来找到一些高频单词在另一个语言中的最近邻,把他们作为锚点,然后优化目标函数来获得更好的W

注意,在GAN的优化过程中对W进行调整时,采用一种特殊的更新方法来使其有正交性(正交变换在欧氏空间中保范数,且使得训练过程更加稳定):

W(1+β)Wβ(WWT)W

其中经验表明β=0.01表现良好。

W训练完毕后,对每个单词映射在其目标向量空间中做最近邻搜索。如果两个语言中的两个单词互为最近邻,则我们把他们加入字典,认为是高质量的翻译。

接下来我们看文中的最近邻搜索采用的距离度量方式。文中认为单词在配对过程中要尽量满足“双向奔赴”,防止某个单词是其它语言中很多单词最近邻的“海王”情况。文中将源单词xs和目标单词yt间的距离定义为:

C S L S(Wxs,xt)=2cos(Wxs,yt)rT(Wxs)rS(yt)

这里rT(Wxs)xs和其目标向量空间中的K个邻居间的平均距离:

rT(Wxs)=1KytNT(Wxs)cos(Wxs,yt)

同理定义rS(yt)yt和其K个邻居间的平均距离。

如果一个单词和另一语言中的很多单词都很接近,那么r值就会很高。r可以视为一种惩罚,用于抑制了某些单词是很多单词最近邻的情况。

2.2 基于对比学习的方法

本文介绍了通过一种基于对比学习的方法[3]将来自不同知识图谱实体embeddings映射到一个统一的空间。首先,用对比学习的视角来审视知识图谱GxGy的对齐,可以看做是将Gx中的实体x和其在Gy中的对齐实体y的距离拉近(先假设已获得对齐实体),而将xGy中其它实体的距离推远,如下图中左半部分:

这里采用NCE损失来做实体对齐。令pxpy为两个知识图谱GxGy的表征分布,ppos表示正实体对(x,y)Rn×Rn的表征分布。给定对齐的实体对(x,y)ppos,负样本集合{yiRn}i=1M i.i.d. py,温度τ,满足f()=1的编码器f,我们有NCE损失为:

LNCElogef(x)f(y)/τef(x)f(y)/τ+ief(x)f(yi)/τ=1τf(x)f(y)alignment +log(ef(x)f(y)/τ+ief(x)f(yi)/τ)uniformity 

然而,上面的NCE损失还是需要实现知道已对齐的实体,称不上完全的无监督对齐。作者在文中证明了,对于固定的τ和满足f()=1的编码器f,我们可以为原始的优化目标函数LASM(即NCE)找一个代理上界做为替代:

LRSM=1τ+E{yi}i=1Mi. i.d .py[log(e1/τ+ief(x)f(yi)/τ)]LASMLRSM+1τ[1min(x,y)ppos(f(x)f(y))]

这里上界等于LRSM加一个常数(f(x)Tf(y)1),因此可以直接优化LRSM。这样我们就可以不用去拉近正样本间的距离,只需要推远负样本间的距离就行了。

在具体的负样本采样上,作者采用了self-negative sampling方式。传统的label-aware counterpart negative sampling(上图的左半部分)给定xKGx,需要从KGy中采负样本yi来将其距离推远。而这里的Self-negative Sampling(上图的右半部分)只需要从KGx从采负样本xi来将其距离推远即可。接下来我们看为什么可以这么做。

{xiRn}i=1M{yiRn}i=1M分别为从分布pxpy中独立同分布采样的随机样本,Sd1Rn中的球面,如果存在映射f:RnSd1能够将RN中的样本映射到球面上,使得f(xi)f(yi)Sd1上满足相同的分布,那么我们有:

limM|LRSMλ,x(f;τ,M,px)LRSMλ,x(f;τ,M,py)|=0

这就启发我们在两个知识图谱共享相似的分布、且负样本数量M充分大的情况下,self-negative sampling 可以看做是 Lable-aware sampling的近似,也即用LRSMλ,x(f;τ,M,px)来代替LRSMλ,x(f;τ,M,py)

最后,我们可以联合优化GxGy的损失函数,如下所示:

L=LRSMλ,x(f;τ,M,px)+LRSMλ,y(f;τ,M,py)

在优化该目标函数的过程中,需要不断对负样本对进行采样,这里为知识图谱Gx和知识图谱Gy分别维护了一个负样本队列。整个训练过程如下图所示:

3 参考

  • [1] Alexis Conneau, Guillaume Lample, Marc’Aurelio Ranzato, Ludovic Denoyer, and Hervé Jégou. 2018. Word Translation Without Parallel Data. Proceedings of ICLR.
  • [2] Tomas Mikolov, Quoc V Le, and Ilya Sutskever. Exploiting similarities among languages for ma-chine translation. arXiv preprint arXiv:1309.4168, 2013b.
  • [3] Liu X, Hong H, Wang X, et al. SelfKG: Self-Supervised Entity Alignment in Knowledge Graphs[C]//Proceedings of the ACM Web Conference 2022. 2022: 860-870.
posted @   orion-orion  阅读(1052)  评论(2编辑  收藏  举报
相关博文:
阅读排行:
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· Trae初体验
点击右上角即可分享
微信分享提示