知识图谱-常用评价指标-MRR、MR和HIT@n

简介

知识图谱嵌入(Knowledge Graph Embedding，KGE)模型中最常用的几个指标：MRR，MR，HITS@1，HITS@3，HITS@10.

MRR(Mean Reciprocal Ranking)

其中$S$是三元组集合，$|S|$是三元组集合个数, $rank_i$是指第$i$个三元组的链接预测排名. 该指标越大越好.

公式 $rank_i$的简单理解:

假设知识图谱的三元组为 $(h, r, t)$

模型通过 $(h,r)$ 预测 $t$ , 输出分数矩阵 $out$

1. 首先对 $out$ 升序排列(从小到大)，得到 $out^{\uparrow}$

2. 真实值 $t$ 在 $out^{\uparrow}$ 中排第几位就是最终的值

$rank_1$ 就是排第一位，$rank_1=1$

$rank_2$ 就是排第二位，$rank_2=2$

...

MR(Mean Rank)

符号和MRR计算公式中涉及的符号一样. 该指标越小越好.

论文中不常用

HITS@n

符号和MRR计算公式中涉及的符号一样, 其中 $\mathbb{I}$ 是indicator函数(若条件真则函数值为1，否则为0). 该指标越大越好。