知识图谱-常用评价指标-MRR、MR和HIT@n

简介

知识图谱嵌入(Knowledge Graph Embedding，KGE)模型中最常用的几个指标：MRR，MR，HITS@1，HITS@3，HITS@10.

MRR(Mean Reciprocal Ranking)

其中\(S\)是三元组集合，\(|S|\)是三元组集合个数, \(rank_i\)是指第\(i\)个三元组的链接预测排名. 该指标越大越好.

公式 \(rank_i\)的简单理解:

假设知识图谱的三元组为 \((h, r, t)\)

模型通过 \((h,r)\) 预测 \(t\) , 输出分数矩阵 \(out\)

1. 首先对 \(out\) 升序排列(从小到大)，得到 \(out^{\uparrow}\)

2. 真实值 \(t\) 在 \(out^{\uparrow}\) 中排第几位就是最终的值

\(rank_1\) 就是排第一位，\(rank_1=1\)

\(rank_2\) 就是排第二位，\(rank_2=2\)

...

MR(Mean Rank)

符号和MRR计算公式中涉及的符号一样. 该指标越小越好.

论文中不常用

HITS@n

符号和MRR计算公式中涉及的符号一样, 其中 \(\mathbb{I}\) 是indicator函数(若条件真则函数值为1，否则为0). 该指标越大越好。