Precision/Recall/Accuracy/F1-Score

基本概念

Precision 精确率

Precision（精确率）指的是在所有预测为正的样本中，实际上是正样本的比例。
$Precision = \frac{TP}{TP + FP}$

Recall 召回率

Recall（召回率）指的是所有正样本中，被预测为正的比例。
$Recall = \frac{TP}{TP + FN}$

Accuracy 准确率

Accuracy（准确率）指预测正确占总体的比例。
$Accuracy = \frac{TP + TN}{TP + FP + TN + FN}$

指标分析

Precision是站在预测结果的角度进行的计算，也就是想看正例预测结果中正确的比例；
Recall是站在GT角度进行的计算，也就是想看实际正例有多少被正确预测。
P/R互为掣肘，若阈值极高，因此此时召回正例比较严格，必然Precision高，Recall低；若阈值极低，因此此时召回正例比较宽松，必然Recall高，Precision低。

多类别指标

• macro avg 宏平均
  对每个类别分别计算p/r/f后直接取平均
• micro avg 微平均（用的极少）
  不区分样本，计算整体的p/r/f
• weighted avg 加权平均
  首先分别计算每个类别的p/r/f，然后根据不同类目的占比计算加权平均

计算方式

from sklearn.metrics import precision_score, recall_score, f1_score, classification_report

if __name__ == "__main__":
    gt = [1, 1, 0, 0, 0]
    pt = [0, 1, 1, 0, 0]
    print(precision_score(gt, pt, average="weighted"))
    print(recall_score(gt, pt, average="weighted"))
    print(f1_score(gt, pt, average="weighted"))
    print(classification_report(gt, pt))

Reference

https://www.cnblogs.com/duoba/p/13344877.html
https://cloud.tencent.com/developer/article/1652334