机器学习泛化能力的评价指标

目录

• 一、回归模型评估
  • 1.均方误差
  • 2.绝对误差
  • 3.r2
  • 4.可解释方差
• 二、分类模型评估
  • 1.错误率与准确率
  • 2.精确率、召回率、F1
  • 3. ROC 与 AUC

对机器学习泛化能力的评估，不仅需要可行的估计方法，还需要衡量模型泛化能力的标准，这就是性能度量（\(performance\ measure\)）。

模型的 “好坏” 不仅取决于算法和数据，还取决于任务需求。

一、回归模型评估

指标	描述	sklearn函数
\(Mean\ Squred\ Error\ (MSE,RMSE)\)	均方误差	from sklearn.metrics import mean_squared_error
\(Absolute\ Error\ (MAE,RAE)\)	绝对误差	from sklearn.metrics import mean_absolute_error, median_absolute_error
\(R-Squared\)	\(R\)平方值	from sklearn.metrics import r2_score
\(Explained\ Variance\ Score\)	可解释方差	from sklearn.metrics import explained_variance_score

1.均方误差

给定样例集 \(D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}\)，\(y_i\) 是示例 \(x_i\) 的真实标记，\(f(x)\) 是预测结果。

回归模型最常用的性能度量是均方误差（\(Mean\ Squared\ Error\)），数值越小越好。

\[MSE = \frac{1}{m} \sum_{i=1}^{m} (f(x_i) - y_i)^2 \]

2.绝对误差

绝对误差（\(Mean\ Absolute\ Error\)）用来描述预测值与真实值的差值。数值越小越好。

\[MAE = \frac{1}{m} \sum_{i=1}^{m} |f(x_i) - y_i| \]

3.r2

给定样例集 \(D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}\)，\(y_i\) 是示例 \(x_i\) 的真实标记，\(f(x)\) 是预测结果。

值最大为 \(1\)，越接近 \(1\) 越好。

\[\begin{aligned} & \bar{y} = \frac{1}{m} \sum_{i=1}^{m} y_i \\ \\ & R^2 = 1 - \frac{\sum_{i=1}^{m}(y_i - f(x_i))^2} {\sum_{i=1}^{m}(y_i - \bar{y})^2} \end{aligned} \]

4.可解释方差

可解释方差（\(Explained\ Variance\ Score\)），值最大为 \(1\)，越接近 \(1\) 越好。

\[Explained\ Variance = 1-\frac{Var(y_i- f(x_i))}{Var(y_i)} \]

二、分类模型评估

指标	描述	sklearn函数
\(Precision\)	精确率、查准率	from sklearn.metrics import precision_score
\(Recall\)	召回率、查全率	from sklearn.metrics import recall_score
\(F1\)	\(F1\) 值	from sklearn.metrics import f1_score
\(Confusion\ Matrix\)	混淆矩阵	from sklearn.metrics import confusion_matrix
\(ROC\)	\(ROC\) 曲线	from sklearn.metrics import confusion_matrix
\(AUC\)	\(ROC\) 曲线下的面积	from sklearn.metrics import auc

1.错误率与准确率

分类模型最常用的两种性能度量，既适用二分类，也适用多分类。

错误率：分类错误的样本数占总样本数的比例。

准确率（\(Accuracy\)）：分类正确的样本数占总样本数的比例。

对样例集 \(D\)，分类错误率

\[E(f;D) = \frac{1}{m} \sum_{i=1}^{m} I(f(x_i)≠y_i) \]

准确率

\[\begin{aligned} acc(f;D) & = \frac{1}{m} \sum_{i=1}^{m} I(f(x_i)=y_i) \\ & = 1-E(f;D) \end{aligned} \]

准确率在很多项目场景不适用，原因是样本不均衡时，准确率会失效。

例：一个总样本中，正样本占90%，负样本占10%，样本严重不平衡。这时候如果将全部正样本预测为正样本，即可达到90%的准确率。

2.精确率、召回率、F1

对于二分类问题，根据真实情况与预测结果划分为：

真正例（\(true\ positive,\ TP\)）、假正例（\(false\ positive,\ FP\)）、真反例（\(true\ negative,\ TN\)）、假反例（\(false\ negative,\ FN\)）。\(TP+FP+TN+FN=样本总数\)。

分类结果的 “混淆矩阵”：

真实情况	预测结果	预测结果
	正例	反例
正例	\(TP\)（真正例）	\(FN\)（假反例）
反例	\(FP\)（假正例）	\(TN\) （真反例）

查准率，也称精确率（\(Precision\)）：被预测为正的正样本数 / 被预测为正的样本总数（预测的准不准，看预测列）

\[P = \frac{TP}{TP+FP} \]

查全率，也称召回率（\(Recall\)）：被预测为正的正样本数 / 正样本实际数（预测的全不全，看实际行）

\[R = \frac{TP}{TP+FN} \]

查准率和查全率是相矛盾的，查准率高时，查全率偏低；查全率高时，查准率偏低。

以查准率为纵轴，查全率为横轴作图，得到查准率-查全率曲线，简称 “\(P-R\) 曲线”，显示该曲线的图称为 "\(P-R\) 图"。

平衡点（\(Break-Event\ Point,\ BEP\)）：“查准率=查全率” 时的取值。\(C\) 的 \(BEP\) 是 \(0.64\)。

\(BEP\) 还是过于简化，更常用的是 \(F1\) 度量：查准率和查全率的调和均值。

\[\begin{aligned} &\frac{2}{F1} = \frac{1}{P} + \frac{1}{R} \\ \\ & F_1 = \frac{2TP}{2TP+FP+FN} \end{aligned} \]

因为查准率和查全率是相矛盾的，很难同时提高，所以用 \(F1\) 综合二者。\(F1\) 更接近于两个数较小的那个，当查全率和查准率接近时 \(F1\) 值最大。很多推荐系统用 \(F1\) 作为评测指标。

3. ROC 与 AUC

\(ROC\) 全称 “受试者工作特征”（\(Receiver\ Operating\ Characteristic\)）。

绘制 \(ROC\) 曲线，需要理解三个概念：\(TPR\)，\(FPR\)，截断点。

截断点：分类过程中以某个“截断点”将预测样本分为两类，一部分正类，一部分负类。

比如：一个样本预测为正类的概率为0.4，取截断点为0.5，则这个样本为负类，取截断点为0.3，这个样本为正类。

真正率（\(True\ Position\ Rate,TPR\)）：\(TPR = \frac{TP}{TP+FN}\)，即 被预测为正的正样本数 / 正样本实际数。等价于召回率。

假正率（\(False\ Positive\ Rate,FPR\)）：\(FPR = \frac{FP}{FP+TN}\)，即 被预测为正的负样本数 / 负样本实际数。

假负率（\(False\ Negative\ Rate,FNP\)）：\(FNR = \frac{FN}{TP+FN}\)，即 被预测为负的正样本数 / 正样本实际数。

真负率（\(True\ Negative\ Rate,TNP\)）：\(TNR = \frac{TN}{TN+FP}\)，即 被预测为负的负样本数 / 负样本实际数。

\(ROC\) 曲线：纵轴是 "真正率（\(TPR\)）"，横轴是 “假正率（\(FPR\)）”。截断点取值不同，\(TPR\)、\(FPR\) 计算结果也不同，将截断点不同取值下对应的 \(TPR\)、\(FPR\) 结果画在二维坐标系中得到的曲线，就是 \(ROC\) 曲线。

\(ROC\) 曲线中，\(FPR\) 越低 \(TPR\) 越高（即曲线越陡峭），模型越好。\(ROC\) 曲线无视样本不均衡。

\(AUC\) 曲线：\(ROC\) 曲线下的面积。全称“曲线下的面积”（\(Area\ Under\ The\ Curve\)）。

import numpy as np
from sklearn import metrics

y = np.array([1, 1, 2, 2])		# 样本的真实分类
scores = np.array([0.1, 0.4, 0.35, 0.8])    # y 是正类的概率估计[0.1, 0.4, 0.35, 0.8]
fpr, tpr, thresholds = metrics.roc_curve(y, scores, pos_label=2)     # FPR、TPR、截断点

print(fpr)
print(tpr)
print(thresholds)

[0.  0.  0.5 0.5 1. ]
[0.  0.5 0.5 1.  1. ]
[1.8  0.8  0.4  0.35 0.1 ]

pos_label：正类的标签。如果y不在 \(\{-1,1\}\) 或 \(\{0,1\}\) 时，pos_label设置为 \(2\)，否则引发错误。

thresholds[0]表示没有实例被预测并且任意设置为max(scores) + 1

分析：

y表示类别 \(\{1,2\}\)。假设y中 \(1\) 表示反例，\(2\) 表示正例。则y重写为：

y_true = [0, 0, 1, 1]

样本	预测是 \(1\) 的概率	y_true
y[0]	\(0.1\)	\(0\)
y[1]	\(0.4\)	\(0\)
y[2]	\(0.35\)	\(1\)
y[3]	\(0.8\)	\(1\)

① 截断点为 \(0.1\)

当 \(scores \geqslant 0.1\)，预测类别为 \(1\)。此时，因为 \(4\) 个样本都 \(\geqslant 0.1\)，所以y_pred = [1, 1, 1, 1]。

scores = [0.1, 0.4, 0.35, 0.8]
y_true = [0, 0, 1, 1]
y_pred = [1, 1, 1, 1]

真实值	预测值	预测值
	正例	反例
正例	\(TP=2\)	\(FN=0\)
反例	\(FP=2\)	\(TN=0\)

\(TPR = \frac{TP}{TP+FN} = 1\)

\(FPR = \frac{FP}{TN+FP} = 1\)

② 截断点为 \(0.4\)

当 \(scores \geqslant 0.4\)，预测类别为 \(1\)，所以y_pred = [0, 1, 0, 1]

scores = [0.1, 0.4, 0.35, 0.8]
y_true = [0, 0, 1, 1]
y_pred = [0, 1, 0, 1]

真实值	预测值	预测值
	正例	反例
正例	\(TP=1\)	\(FN=1\)
反例	\(FP=1\)	\(TN=1\)

\(TPR = \frac{TP}{TP+FN} = 0.5\)

\(FPR = \frac{FP}{TN+FP} = 0.5\)

③ 截断点为 \(0.35\)

当 \(scores \geqslant 0.35\)，预测类别为 \(1\)，所以y_pred = [0, 1, 1, 1]

scores = [0.1, 0.4, 0.35, 0.8]
y_true = [0, 0, 1, 1]
y_pred = [0, 1, 1, 1]

真实值	预测值	预测值
	正例	反例
正例	\(TP=2\)	\(FN=0\)
反例	\(FP=1\)	\(TN=1\)

\(TPR = \frac{TP}{TP+FN} = 1\)

\(FPR = \frac{FP}{TN+FP} = 0.5\)

④ 截断点为 \(0.8\)

当 \(scores \geqslant 0.8\)，预测类别为 \(1\)，所以y_pred = [0, 0, 0, 1]

scores = [0.1, 0.4, 0.35, 0.8]
y_true = [0, 0, 1, 1]
y_pred = [0, 0, 0, 1]

真实值	预测值	预测值
	正例	反例
正例	\(TP=1\)	\(FN=1\)
反例	\(FP=0\)	\(TN=2\)

\(TPR = \frac{TP}{TP+FN} = 0.5\)

\(FPR = \frac{FP}{TN+FP} = 0\)

来自：https://www.biaodianfu.com/regression-metrics.html