什么是AUC曲线
什么是AUC曲线
参考资料:
https://baike.baidu.com/item/AUC/19282953
https://www.zhihu.com/question/39840928
https://zhuanlan.zhihu.com/p/54707097
https://blog.csdn.net/qq_38032064/article/details/104929458
以AUC的取值范围在0.5和1之间。AUC越接近1.0,检测方法真实性越高;等于0.5时,则真实性最低,无应用价值。
这时,需要设置阈值来得到混淆矩阵,不同的阈值会影响得到的TPRate,FPRate,如果阈值取0.5,小于0.5的为0,否则为1,那么我们就得到了与之前一样的混淆矩阵。其他的阈值就不再啰嗦了。依次使用所有预测值作为阈值,得到一系列TPRate,FPRate,描点,求面积,即可得到AUC。
最后说说AUC的优势,AUC的计算方法同时考虑了分类器对于正例和负例的分类能力,在样本不平衡的情况下,依然能够对分类器作出合理的评价。
例如在反欺诈场景,设欺诈类样本为正例,正例占比很少(假设0.1%),如果使用准确率评估,把所有的样本预测为负例,便可以获得99.9%的准确率。
但是如果使用AUC,把所有样本预测为负例,TPRate和FPRate同时为0(没有Positive),与(0,0) (1,1)连接,得出AUC仅为0.5,成功规避了样本不均匀带来的问题。
如何绘制ROC曲线,通过改变不同的阈值,每个阈值都可以得到一个混淆矩阵,通过混淆矩阵,可以计算出假阳性率和真阳性率。即该坐标系下的一个点。将阈值从0,调整到1,即可绘制出整个模型的ROC曲线。
ROC曲线越靠近左上角,意味着,模型越棒;