知识图谱的常用评估指标:MRR、MR、HITS@K、Recall@K、Precision@K
最编程
2024-05-04 17:20:25
...
一、MRR
MRR的全称是Mean Reciprocal Ranking(排名的倒数),其中Reciprocal是指“倒数的”的意思。该指标越大越好
(即预测排名越靠前,倒数就越大,求和结果越大越好)。具体的计算方法如下:
其中
是三元组集合,
是三元组集合个数,
是指第
个三元组的链接预测排名。例如,对于三元组(Jack,born_in,Italy),链接预测的结果可能是:
h |
r |
t |
score |
rank |
Jack |
born_in |
Ireland |
0.789 |
1 |
Jack |
born_in |
Italy |
0.753 |
2 |
Jack |
born_in |
Germany |
0.695 |
3 |
Jack |
born_in |
China |
0.456 |
4 |
Jack |
born_in |
Thomas |
0.234 |
5 |
那么,三元组(Jack,born_in,Italy)的链接预测排名则是2.
二、MR
MR的全称是Mean Rank。该指标越小越好
(排名越靠前rank越小,求和也就更小),具体的计算方法如下: