排序类问题度量指标:Recall , MAP,MRR

信息检索领域的度量指标

对于给定的一个查询,返回了一系列文档。

1. Precision 精度:返回结果中相关文档的比重。P = 返回相关文档数/返回中文档数

2.Recall 召回率:返回结果中相关文档占总相关文档的比重。 Recall = 返回相关文档数/总相关文档数。

评价排序类问题的性能时,要同时考虑排序结果中相关个体的数目,也要考虑相关个体在整个列表中位置。当相关个体返回的越多,相关个体位置越靠前,说明该排序方法性能较好。

Precision 考虑的是结果的数量占比,并没有考虑结果的位置。于是,引入了AP(Average Precision)度量,该度量计算出返回结果的每个位置的Precision,对所有的Precision进行求平均值,如果某位置是不相关结果则不进行计算。

表1:5个相关结果
结果顺序 相关性 Precision
1 false 0
2 true 1/2=0.5
3 true 2/3=0.66
4 false 0
5 true 3/5=0.6
6 false 0
7 false 0
8 false 0
9 true 4/9=0.44
10 true 5/10=0.5
AP   0.54
表2:4个相关结果
结果顺序 相关性 Precision
1 true 1/1=1
2 true 2/2=1
3 false 0
4 true 3/4=0.75
5 true 4/5=0.8
6 false 0
7 false 0
8 false 0
9 false 0
10 false 0
AP   0.89

从表格中可以看出,对某个位置,只计算该位置之前(包括该位置在内)的所有相关结果在返回结果中的比重,对不相关结果不进行计算。从两个表中可以看出虽然表2中返回的相关结果<表1,但是因为表2中的相关结果比较靠前,所以计算出的AP值却比表1大。因此,AP可以对排序结果的位置进行度量。如上所述,AP是对一条查询结果的度量,MAP则是对所有查询结果的AP值进行平均,求得整个排序模型的性能。

MRR后续更新...

 

posted @ 2018-05-03 21:12  Naplus  阅读(886)  评论(0编辑  收藏  举报