评估指标

混淆矩阵

准确率（accuracy）：分类正确的概率

精确率（precision）：真正/判定正（找到的有多少对的）

召回率（recall）：真正/实际正（有多少找到的）

 

P-R曲线

对每个分类阈值计算精确率和召回率，绘制联合曲线。曲线包含面积越大越好。

 

F1 score

F1指标是精确率与召回率的调和平均值，F1值越大性能越好。

 

ROC

ROC（受试者工作特征曲线）是真正率与假正率的曲线。

 

AUC

AUC（Area Under Curve）是ROC曲线的积分，量化反应ROC衡量出的模型的性能。AUC越大性能越好。

 

正负样本分布发生改变时，PR变化大，ROC曲线基本保持不变。因此在不同测试集上ROC更加稳定。

 

mAP

mean average precision（平均准确率）。mAP是为解决P，R，F-measure的单点值局限性的，同时考虑了检索效果的排名情况。AP就是PR曲线下面积，m是求平均。

mAP是Object Detection算法中衡量算法的精确度的指标，涉及Precision和Recall。对于object detection任务，每一个object都可以计算出其Precision和Recall，多次计算/试验，每个类都可以得到一条P-R曲线，曲线下的面积就是AP的值，再对每个类的AP求平均，得到的就是mPA的值，mPA的大小一定在[0,1]区间。

IoU：交并比（Intersection over Union），IoU 计算的是 “预测的边框” 和 “真实的边框” 的交集和并集的比值。常用于目标检测，是计算mAP的重要函数。