CAP(Cumulative Accuracy Profile)曲线/AR值释义

CAP(Cumulative Accuracy Profile)曲线/AR值释义

CAP(Cumulative Accuracy Profile)曲线以及对应的AR(Accuracy Ratio)值是金融风控模型评价中的一个比较常用的指标,由于和机器学习准确率评价的ROC曲线比较类似,但CAP曲线的具体含义尚未见到有比较好的资料阐述,因此这里对CAP的概念做一详细说明。

首先,来讲一下CAP曲线针对的问题,以及它是如何做出来的。CAP衡量的是风控模型检出风险(也就是坏用户的)的能力。所谓风控模型实际上就是一个分类模型,它把有风险的客户作为正例进行检出。

CAP曲线的步骤如下:首先,对于所有预测的结果,按照其概率值降序排列起来,比如我们有5个客户,判断其为坏客户的概率分别为:[0.1,0.4,0.6,0.8,0.9],那么排序后得到 [0.9,0.8,0.6,0.4,0.1]。我们将概率大的判断为正样本,但是需要一个阈值,那么我们就从高到低逐渐降低阈值,这时候发现,我们判断为正的数量越来越多,比如,阈值再0.85,则正的只有一个0.9,如果阈值降低到0.7,那么就有0.9和0.8两个正的预测。

CAP的横轴就是从排序后概率值头部到尾部的移动过程中,阈值以上的(预测为正的)样本占总样本的比例。写出来就是:

x = 该阈值下预测为正的样本数 / 样本集中的总样本数

而CAP的纵轴表示的则是,再当前阈值下,我们拣选出来的这些预测为正的样本中,其中含有的真实的正样本占所有正样本的比例。注意,这里的分母不是所有样本,而是所有正样本。写出来就是:

y = 该阈值下检出的正样本中真实的正样本数 / 样本集合中的总正样本数

这里可以看出,阈值实际上是x和y的一个隐变量。

我们想象一下,最好的情况是:我们将阈值从最大往最小移动,即将正负样本的划分界限从左往右移动的过程中,每增加一个预测为正的样本,它都是真的正样本。这样的结果就是:x和y的分子是一致的,那么随着阈值降低,y和x 的斜率就是一个常数:

k = y/x

= (该阈值下检出的正样本中真实的正样本数 / 样本集合中的总正样本数) * (样本集中的总样本数/该阈值下预测为正的样本数 )

= 样本集中的总样本数/样本集合中的总正样本数

=1/坏客户比率

也就是说,再理想状态下,CAP曲线应该是一个斜率为坏客户比例倒数(正样本比例的倒数)的直线。当然,这个直线不能一直递增,因为正样本是有限的,那么当所有正样本都被检出后,曲线就平了,表示再也剪不出正样本了。

我们再考虑另一种情况,也就是最差的情况。由于斜率表示的是每次增加一点检出样本,正样本的检出率增加量。如果是随机的,也就意味着,不管在那个小区间里,正样本的比例和总体的正样本比例都是一样的(随机猜测)。所以,这个斜率应该是1。比如说,100个样本中,一共20个正例,那么如果我们检出了30个,那么如果是随机猜测,那么应该有6个正例在里面,此时x = 30/100 = 0.3, y = 6/20 = 0.3。斜率是1。也就是说,斜率1是随机猜测的结果。

如图所示:

在这里插入图片描述

实际情况中,我们的模型总是介于最优和随机之间的,而且越是靠近最优就越好。因此我们通常计算上图中黄色的面积与(黄色+灰色)的面积的比来衡量模型的有效性。这个值就是AR:

AR = (实际CAP曲线与随机曲线之间的面积) / (理想CAP曲线与随机之间的面积)

显然,AR在0到1之间。AR越大,模型就越有区分度,可以更好地将正负样本分开。

2019-08-29 20:51:32

posted @ 2019-08-29 20:53  毛利小九郎  阅读(2071)  评论(0编辑  收藏  举报