AUC

AUC （Area Under Curve）定义

• 定义1：ROC曲线所围成的面积
• 定义2：分别随机从正负样本集中抽取一个正样本，一个负样本，正样本的预测值大于负样本的概率。

ROC曲线

横坐标为伪阳性率 (FPR: False Positive Rate)，纵坐标为真阳性率 (TPR: True Positive Rate)

		预测
		1	0
实际	1	TP	FN
	0	FP	TN

FPR：负样本中判为正例的概率

\[\frac{FP}{FP+TN} \]

TPR：正样本中判为正例的概率（Recall）

\[\frac{TP}{TP+FN} \]

ROC曲线上的每一个点对应于一个threshold，对于一个分类器，每个threshold下会有一个TPR和FPR。比如Threshold最大时，TP=FP=0，对应于原点；Threshold最小时，TN=FN=0，对应于右上角的点(1,1)

AUC的优点

• 评估效果不受阈值选择的影响。
• 当测试集中的正负样本分布发生变化了，ROC曲线可以保持不变。在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本比正样本多很多（或者相反），而且测试数据中的正负样本的分布也可能随着时间变化。

在上图中，(a)和(c)为ROC曲线，(b)和(d)为Precision-Recall曲线。

(a)和(b)展示的是分类其在原始测试集（正负样本分布平衡）的结果，(c)和(d)是将测试集中负样本的数量增加到原来的10倍后，分类器的结果。

可以明显的看出，ROC曲线基本保持原貌，而Precision-Recall曲线则变化较大。

AUC计算方式

方法一：

积分算面积

方法二：

任意给一个正类样本和一个负类样本，正类样本的score有多大的概率大于负类样本的score。

然后在有限样本中用频率估计概率

\[AUC=\frac{\sum{Score_p >S core_n}}{positiveNum*negativeNum} \]

举个例子：

score	0.9	0.8	0.7	0.7	0.7	0.5	0.4
	正	负	负	正	正	负	正

score为0.9的正样本，后面有3个负样本

score为0.7的两个正样本，后面各有1.5个负样本（0.7的负样本因为和他们同分，算0.5 个）

\[AUC=\frac{3+1.5+1.5}{4*3} \]

改进：Group AUC

以广告领域，在样本中有多个用户时，A用户的正例和B用户的负例就没有比较意义的（因为用户广告之间的排序是个性化的，不同用户的排序结果不太好比较，可能auc这个指标失真了）

所以可以先求每个用户的AUC，再求加权和

\[GAUC=\frac{\sum_{i\in Person }{W_i*AUC_i}}{\sum_{i\in Person}{W_i}} \]