二分类模型评估指标

1.准确率 （Accuracy）

Accuracy = TP + TN / (TP + FP + TN + FN)

即正确预测的正反例数 /预测总数。准确率是预测正确的结果占总样本的百分比，是很自然就会想到的指标，但很多项目场景都不适用！最主要的原因是样本不平衡。举个简单的例子，比如在一个总样本中，正样本占90%，负样本占10%，样本是严重不平衡的。对于这种情况，我们只需要将全部样本预测为正样本即可得到90%的高准确率，但实际上我们并没有很用心的分类，只是随便无脑一分而已。这就说明了：由于样本不平衡的问题，导致了得到的高准确率结果含有很大的水分。即如果样本不平衡，准确率就会失效。

2.精确率 (Precision)

Precision = TP / (TP + FP)

即正确预测的正例数 /预测正例总数。可理解为查准率。在预测为正的记录中，有多少实际为正？

3.召回率 （Recall）

Recall = TP / (TP + FN)

即正确预测的正例数 / 实际正例总数 。可理解为查全率。在实际为正的记录中，有多少预测为正？

4.F1值 (F1)

F1 = 2*Precision*Recall / (Precision + Recall)

精确率和召回率的调和值。由于Precision和Recall是一对不可调和的矛盾，很难同时提高二者，也很难综合评价。故提出F1来试图综合二者，F1是P和R的调和平均。F1更接近于两个数较小的那个，所以精确率和召回率接近时值最大。很多推荐系统会用的评测指标。

5.ROC曲线（以FPR为横轴，TPR为纵轴绘制的曲线）

FPR表示模型虚报的响应程度，而TPR表示模型预测响应的覆盖程度。我们希望：虚报的越少越好，覆盖的越多越好。总结一下就是FPR越低TPR越高（即ROC曲线越陡），那么模型就越好。ROC曲线无视样本不平衡。画曲线的用意是：用假正率与真正率的变化趋势，来观察模型是否能在较低的假正率下得到较高的真正率。

如何绘制ROC曲线？可以跳转至：ROC曲线的绘制

6.AUC值（ROC曲线围成的区域面积）

绘制ROC曲线时，横轴纵轴都是0~1，形成一个1*1的正方形。AUC就是在这个正方形里ROC曲线围成的面积。如果连接正方形的对角线，它的面积正好是0.5。对角线的实际含义是：随机判断响应与不响应，正负样本覆盖率都是50%，即AUC ＝0.5表示随机分类器。AUC < 0.5表示差于随机分类器，没有建模价值；AUC ＝ 1表示完美分类器，不存在；0.5 < AUC < 1，优于随机分类器，大多模型都在这个区间里。 

AUC的一般判断标准：

0.5 - 0.7：效果较低，但用于预测股票已经很不错了。

0.7 - 0.85：效果一般0.85 - 0.95：效果很好。

0.95 - 1：效果非常好，但基本不太可能。

我的公众号：