ROC曲线
转自：http://zh.wikipedia.org/wiki/ROC%E6%9B%B2%E7%BA%BF
在信号检测理论中,接收者操作特征(receiver operating characteristic),或者叫ROC曲线是一种对于灵敏度进行描述的功能图像.ROC曲线可以通过描述真阳性率(TPR)和假阳性率(FPR)来实现.由于是通过比较两个操作特征(TPR和FPR)作为标准,ROC曲线也叫做相关操作特征曲线.[1]
ROC分析给选择最好的模型和在上下文或者类分布中独立的抛弃一些较差的模型提供了工具.ROC分析是直接和自然的与决策的做出有相当大的关系.ROC曲线首先是由二战中的电子工程师和雷达工程师发明的,他们是用来检测战场中的敌军的,也就是信号检测理论.之后很快就被引入了心理学来进行信号的知觉检测.ROC分析现在已经在相关的领域得到了很好的发展,特别是在医学,无线电领域中,而且最近在机器学习和数据挖掘领域也得到了很好的发展.
基本概念
一个分类模型(分类器)是一个将一个实例映射到一个特定类的过程.分类器的结果可以是一个实数(连续输出),这些分类器中类的边界必须通过一个阈值检测,举例来说,通过血压来检测一个人是否有高血压,或者它可以作为一个离散的标签表明的类. 让我们来考虑一个两类预测问题(双分类器),其结果要么是真(p)要么是假(n).在双分类器中有4类可能的输出.如果输出的预测是p而真实的结果也是p,那么这就叫做真阳性(TP);然而如果真实的结果是n,则这就叫做假阳性(FP).相反的来说,一个真阴性发生在预测结果和实际结果都为n的时候,而假阴性是当预测输出是n而实际值是p的时候.
为了得到一个现实世界中的恰当的例子,考虑一个检测一个人是否得一种病的测试.一个假阳性就是一个人被测试是有这种病的,但实际却没有的情况.一个假阴性就是一个人被测试是健康的,但实际却是得病的情况. 其多种情况可由以下矩阵表示:
| 真实值 | ||||
|---|---|---|---|---|
| p | n | 全部 | ||
| 预测 输出 | p' | 真 阳性 |
假 阳性 |
P' |
| n' | 假 阴性 |
真 阴性 |
N' | |
| 全部 | P | N | ||
ROC空间
要生成一个ROC曲线,只需要真阳性率(TPR)和假阳性率(FPR).TPR决定了一个分类器或者一个诊断测试在所有阳性样本中能正确区分的阳性案例的性能.而FPR是决定了在所有阴性的样本中有多少假阳性的判断. ROC空间将FPR和TPR定义为x和y轴,这样就描述了真阳性(获利)和假阳性(成本)之间的博弈.而TPR就可以定义为灵敏度,而FPR就定义为1-特异度,因此ROC曲线有时候也叫做灵敏度和1-特异度图像.每一个预测结果在ROC空间中以一个点代表.
最好的可能预测方式是一个在左上角的点,在ROC空间坐标轴(0,1)点,这个代表着100%灵敏(没有假阴性)和100%特异(没有假阳性).而(0,1)点被称为完美分类器.一个完全随机预测会得到一条从左下到右上对角线(也叫无识别率线)上的一个点.一个最直观的随机预测的作决定的例子就是抛硬币.
这条斜线将ROC空间划分为两个区域,在这条线的以上的点代表了一个好的分类结果,而在这条线以下的点代表了差的分类结果.
让我们来看四个100个阳性和100个阴性的案例:
| A | B | C | C' | ||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
|
|
|
||||||||||||||||||||||||||||||||||||
| TPR = 0.63 | TPR = 0.77 | TPR = 0.24 | TPR = 0.76 | ||||||||||||||||||||||||||||||||||||
| FPR = 0.28 | FPR = 0.77 | FPR = 0.88 | FPR = 0.12 | ||||||||||||||||||||||||||||||||||||
| ACC = 0.68 | ACC = 0.50 | ACC = 0.18 | ACC = 0.82 |
图中给出了上面4个结果的ROC空间分布.A方式的结果是A,B,C中最好的一个.B的结果是一种随机猜测线(那条斜线),在表中我们可以看到B的精确度是50%.然而当将C作一个镜像后,C的结果甚至要比A还要好.这个作镜像的方法就是简单的不管C预测了什么,就做其预测的反面.离左上角越近的预测,其结果越好.或者说,离随机猜测线越远,则预测的结果越好,如果其点是在右下方的,那么只需作一个镜像即可.
ROC空间中的线
离散分类器,如决策树,产生的是离散的数值或者一个双标签.应用到实例中,这样的分类器最后只会在ROC空间产生单一的点.而一些其他的分类器,如朴素贝叶斯分类器,逻辑回归或者人工神经网络,产生的是实例属于某一类的可能性,对于这些方法,一个阈值就决定了ROC空间中点的位置.举例来说,如果可能值低于或者等于0.8这个阈值就将其认为是阳性的类,而其他的值被认为是阴性类.这样就可以通过画每一个阈值的ROC点来生成一个生成一条曲线。MedCalc是较好的ROC曲线分析软件。
参考资料
- ^ Signal detection theory and ROC analysis in psychology and diagnostics : collected papers; Swets, 1996
通用参考
- X. H., Zhou. Statistical Methods in Diagnostic Medicine. Wiley & Sons. 2002. ISBN 9780471347729.
阅读更多
- Zou, K.H., O'Malley, A.J., Mauri, L. (2007). Receiver-operating characteristic analysis for evaluating diagnostic tests and predictive models. Circulation, 6;115(5):654–7.
- Lasko, T.A., J.G. Bhagwat, K.H. Zou and Ohno-Machado, L. (2005). The use of receiver operating characteristic curves in biomedical informatics. Journal of Biomedical Informatics, 38(5):404–415.
- Balakrishnan, N., (1991) Handbook of the Logistic Distribution, Marcel Dekker, Inc., ISBN 978-0824785871.
- Gonen M., (2007) Analyzing Receiver Operating Characteristic Curves Using SAS, SAS Press, ISBN 978-1-59994-298-1.
- Green, W.H., (2003) Econometric Analysis, fifth edition, Prentice Hall, ISBN 0-13-066189-9.
- Heagerty, P.J., Lumley, T., Pepe, M. S. (2000) Time-dependent ROC Curves for Censored Survival Data and a Diagnostic MarkerBiometrics, 56:337 – 344
- Hosmer, D.W. and Lemeshow, S., (2000) Applied Logistic Regression, 2nd ed., New York; Chichester, Wiley, ISBN 0-471-35632-8.
- Brown, C.D., and Davis, H.T. (2006) Receiver operating characteristic curves and related decision measures: a tutorial,Chemometrics and Intelligent Laboratory Systems, 80:24–38
- Mason, S.J. and Graham, N.E. (2002) Areas beneath the relative operating characteristics (ROC) and relative operating levels (ROL) curves: Statistical significance and interpretation. Q.J.R. Meteorol. Soc., 128:2145–2166.
- Pepe, M.S. (2003). The statistical evaluation of medical tests for classification and prediction. Oxford. ISBN 0198565828.
- Carsten, S. Wesseling, S., Schink, T., and Jung, K. (2003) Comparison of Eight Computer Programs for Receiver-Operating Characteristic Analysis. Clinical Chemistry, 49:433–439
- Swets, J.A. (1995). Signal detection theory and ROC analysis in psychology and diagnostics: Collected papers. Lawrence Erlbaum Associates.
- Swets, J.A., Dawes, R., and Monahan, J. (2000) Better Decisions through Science. Scientific American, October, pages 82–87.
其他链接
- An introduction to ROC analysis
- A more thorough treatment of ROC curves and signal detection theory
- Tom Fawcett's ROC Convex Hull: tutorial, program and papers
- Peter Flach's tutorial on ROC analysis in machine learning
- The magnificent ROC — An explanation and interactive demonstration of the connection of ROCs to archetypal bi-normal test result plots
- 术语：
- 真阳性(TP)
- 正确的肯定
- 真阴性(TN)
- 正确的否定
- 假阳性(FP)
- 错误的肯定,假报警,第一类错误
- 假阴性(FN)
- 错误的否定,未命中 第二类错误
- 真阳性率(TPR)
- 命中率
- TPR = TP / P = TP / (TP + FN)
- 假阳性率(FPR)
- 错误命中率
- FPR = FP / N = FP / (FP + TN)
- 精确度(ACC)
- ACC = (TP + TN) / (P + N)
- 特征 (SPC) 或者真阴性率
- SPC = TN / N = TN / (FP + TN) = 1 − FPR
- 阳性预测值(PPV)
- PPV = TP / (TP + FP)
- 阴性预测值(NPV)
- NPV = TN / (TN + FN)
- 假发现率 (FDR)
- FDR = FP / (FP + TP)
- Matthews相关系数 (MCC)
- F1评分
- F1 = 2TP / (P + P')
Source: Fawcett (2006).
