图像分类评价指标

图像分割是建立在图像分类和目标检测的基础之上。所以难度也要比图像分类要难。同时，两个任务在评价指标上其实也就存在一些相同，比如都会用到混淆矩阵，准确率，精确率，召回率，F1-score，IOU等评价指标，这些指标的计算我已经在之前图像分割评价指标介绍过了。下面就介绍一下图像分割中没介绍，但是在图像分类任务中需要的评价指标：ROC曲线，AUC曲线，PR曲线，AP曲线，mAP。

1.ROC曲线，主要是通过真阳性率（TPR）和假阳性率（FPR）的曲线图，直观的发现分类效果如何。

通过公式，我们也可以直观的看出来：

其中TPR也称为灵敏度，表示将正例分对的概率（希望这个值尽可能大）；

FPR，表示将负例分为正例的概率（我们希望这个值尽可能小）。

所以对于（FPR，TPR）就有四个点，即：

FPR	TPR
0	1	所有样本都分类真确
1	0	最差的分类器，完美的避开了所有正确选项
0	0	分类器预测所有样本都是负样本
1	1	分类器预测的样本都是正样本

 结论：ROC曲线越接近左上角，分类性能越好。

1）ROC还有啥优点呢？

a.容易找到不同阈值对于学习器的泛化性能影响；

b.有助于选择最佳的阈值，ROC曲线越靠近左上角，模型的查全率就越高。最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值，其假正例和假反例总数最少。

c.可以对不同的学习器比较性能。将各个学习器的ROC曲线绘制到同一坐标中，直观地鉴别优劣，靠近左上角的ROC曲所代表的学习器准确性最高。

2、AUC

AUC（area under curve），是ROC曲线下的面积（<=1）。所以就是AUC越大，那么这个分类器性能就越好（这样描述的话，ROC其实就可以完成这个任务了，为什么还要多此一举搞个AUC）。

1）为什么要计算AUC呢？

     优点： 因为AUC对于正负样本是否均衡，其实是不敏感的（这个优点简直不要太棒）。因为我们在做模型测试的时候，或多或少都会遇到样本不平衡的情况发生（负样本太多，正样本太少。或者正样本太多，负样本太少（其实测试的时候还是比较喜欢这种情况的，但是训练的话，那就完蛋了））。所以无论正负样本是否均衡，最后AUC都会对于分类器给出一个公正的评价。

     缺点：但是由于这种对于正负样本不平衡性不敏感的特性，所以它反映的是模型的整体性能，看不出在不同点击率区间上的误差情况。

 3、PR曲线

详细介绍【1】

所谓PR曲线就是精确率（precision）和查全率（recall）组成的坐标轴。x轴：查全率；y轴：精确率。

 

如何确定哪一个PR曲线好（同时也代表分类器好）？通过PR曲线可以直观看出，当查全率变大时，精确率保持在一个较高的水平，说明该分类器很好。图中可以看到，A曲线要比B,C都要好。

4、AP（Average Precision）和mAP（mean Average Precision），其中mAP经常作为目标检测的评价指标。

AP是PR曲线下的面。所mAP就是所有类AP的算术平均。