转：评估指标MAP
转：http://www.zhenv5.com/?p=1079
MAP可以由它的三个部分来理解：P,AP,MAP
先说P（Precision）精度，正确率。在信息检索领域用的比较多，和正确率一块出现的是找回率Recall。对于一个查询，返回了一系列的文档，正确率指的是返回的结果中相关的文档占的比例，定义为：precision=返回结果中相关文档的数目/返回结果的数目；
而召回率则是返回结果中相关文档占所有相关文档的比例，定义为：Recall=返回结果中相关文档的数目/所有相关文档的数目。
正确率只是考虑了返回结果中相关文档的个数，没有考虑文档之间的序。对一个搜索引擎或推荐系统而言返回的结果必然是有序的，而且越相关的文档排的越靠前越好，于是有了AP的概念。对一个有序的列表，计算AP的时候要先求出每个位置上的precision，然后对所有的位置的precision再做个average。如果该位置的文档是不相关的则该位置 precision=0.
举个例子（修改了引用[1]的例子）:
| Prediction | Correctness | Points |
| 1 | wrong | 0 |
| 2 | right | 1 / 2 |
| 3 | right | 2 / 3 |
| 4 | wrong | 0 |
| 5 | right | 3 / 5 |
| 6 | wrong | 0 |
| 7 | wrong | 0 |
| 8 | wrong | 0 |
| 9 | right | 4 / 9 |
| 10 | wrong | 0 |
可以从中看出AP的计算方法，若该位置返回的结果相关，计算该位置的正确率，若不相关，正确率置为0。若返回的这四个的相关文档排在1,2,3,4号位，则对于的正确率都为1，AP也就等于1，可见计算方法是对排序位置敏感的，相关文档排序的位置越靠前，检出的相关文档越多，AP值越大。
对MAP，则是对所有查询的AP值求个平均。
得到的计算公式[2]：
AP=1r∑i=1rithepositionofi−threlevantdocument
MAP=1N∑i=1NAPi
r为相关文档的个数,N为查询词的个数。
具体求解：
假设有两个查询，查询1有4个相关文档，查询2有5个相关文档。某系统对查询1检索出4个相关文档，其rank分别为1,2,4,7；对于查询2检索出3个相关文档，其rank分别为1,3,5。
对于查询1，AP平均正确率为:(1/1+2/2+3/4+4/7)/4=0.83
对于查询2，AP平均正确率为:(1/1+2/3+3/5)/5=0.45
则平均正确率均值为:(0.83+0.45)/2=0.64
代码：
Github地址：https://github.com/JK-SUN/MLandDM-EvaluationMeasures 欢迎拍砖
参考：
[1]Alternate explanation of Mean Average Precision
[2]信息检索系统导论
