机器学习之模型评价指标

Posted on 2018-04-16 22:12  wangjiaqiys  阅读(195)  评论(0编辑  收藏  举报
  预测值
正例 负例
真实值 正例  真正例(A)  假负例(B)
负例  假正例(C)  真负例(D)

 

  预测值
正例 负例
真实值 正例  TP  FN
负例  FP TN

模型测试一般用四个指标来衡量:

准确率(Accuracy): 提取出的正确样本数/总样本数

召回率(Recall):正确的正例样本数/样本中的正例样本数,也定义为查全率

精准率(Precision):正确的正例样本数/预测为正例的样本数,也定义为查准率

F值:等于召回率和精准率的调和平均值

这里需要注意的是召回率和精准率的关系是互斥的,其原因为:

1.对于召回率而言,其分母是固定的,是真实值中正例的数目,我们希望召回率(即查全率)是越高越好的,其极限条件就是当所有值都认定为是正例时,召回率就为1,但是这样做的缺点是无法区分正例和负例,比如,正例为患病人数,负例为健康人数,如果召回率为1,即认为测试样本中的所有人都是有病的,显然这样做是不合理的;

2.如果我们希望召回率增加,即测值中的正例数是增加的,如下表:(其中正例表示患病,负例表示健康,目的是在找出样本中的患病人数)

情况1

  预测值
正例:70 负例:30
真实值 正例:80  TP:60  FN:20
负例:20  FP:10 TN:10

召回率:3/4(查全率)

精准率:6/7(查准率)

情况2

  预测值
正例:75 负例:25
真实值 正例:80  TP:64  FN:10
负例:20  FP:11 TN:15

 召回率:64/80

精准率:64/75

3.由上面的分析可得,由于真正例和假正例的比例是不变的,当预测值中正例样本数增加时,真正例和假正例的值都会增加,但是分子对于分母差了一个假正例的数值,所以在此情况下,召回率是增加的,即查全率增加,但是差准率相应降低。

简单理解就是,认为多数人是患病的,那么查全的概率是增加的,但是都多数人结果会造成查准的降低。

 

Copyright © 2024 wangjiaqiys
Powered by .NET 9.0 on Kubernetes