深度学习学习中的相关指标AUC、ROC

ROC曲线和AUC

什么是ROC曲线？#

ROC曲线（Receiver Operating Characteristic Curve）是一种用于评估二分类模型性能的图形。它通过绘制真阳性率（True Positive Rate）与假阳性率（False Positive Rate）之间的关系来展示模型的性能。

ROC曲线的构成#

ROC曲线由以下两个轴组成：

• 真阳性率（TPR）：在所有实际为正类的样本中，模型正确预测为正类的比例。
• 假阳性率（FPR）：在所有实际为负类的样本中，模型错误预测为正类的比例。
  因此，从模型性能的角度看，TPR越大越好（接近于1）;FPR越小越好（接近于0）.
  画出ROC的曲线的过程伴随着分类的阈值的从小到大的变化,即ROC曲线是通过改变分类阈值来绘制的。分类阈值是指模型输出的概率值超过该阈值时，才被认为是正例，反之为反例。详细内容还可以参考文献1。

ROC曲线的解读#

• 曲线越靠近左上角：表示模型的性能越好。
• 曲线越靠近对角线：表示模型的性能越差。
• 曲线下方的面积越大：表示模型的性能越好。

什么是AUC？#

AUC（Area Under Curve）是ROC曲线下方的面积。它的取值范围是0.5到1.0，越接近1.0表示模型的性能越好。

AUC的解读#

• AUC = 1.0：表示模型的性能完美。
• AUC = 0.5：表示模型的性能与随机猜测无异。
• AUC < 0.5：表示模型的性能比随机猜测还差。

示例#

假设我们有一个二分类模型，用于预测某个疾病的患病情况。我们可以使用ROC曲线和AUC来评估模型的性能。

预测结果	实际结果	数量
正类	正类	80
正类	负类	20
负类	正类	10
负类	负类	90

根据上述数据，我们可以计算出真阳性率和假阳性率：

• 真阳性率 = 80 / (80 + 10) = 0.889
• 假阳性率 = 20 / (20 + 90) = 0.182

我们可以使用这些值来绘制ROC曲线，并计算出AUC的值。

总结#

ROC曲线和AUC是评估二分类模型性能的重要工具。通过绘制ROC曲线和计算AUC的值，我们可以直观地了解模型的性能，并比较不同模型之间的差异。

参考文献#

1.分类 (Classification)：ROC 和曲线下面积 AUC
2.准确率 (Accuracy)、精确率 (Precision) 和 召回率 (Recall) 的详细定义及区别