详解sklearn的多分类模型评价指标
说到准确率accuracy、精确率precision，召回率recall等指标，有机器学习基础的应该很熟悉了，但是一般的理论科普文章，举的例子通常是二分类，而当模型是多分类时，使用sklearn包去计算这些指标会有几种不同的算法，初学者很容易被不同的算法所迷惑。本文用直观的例子讲解micro、macro、weighted几种算法，以及样本不均时加入sample_weight参数的计算方法。
本文以三分类模型举例。首先我们生成一组数据：
*：
import numpy as np
y_true = np.array([-1]*30 + [0]*240 + [1]*30)
y_pred = np.array([-1]*10 + [0]*10 + [1]*10 +
[-1]*40 + [0]*160 + [1]*40 +
[-1]*5 + [0]*5 + [1]*20)
数据分为-1、0、1三类，真实数据y_true中，一共有30个-1，240个0，30个1。然后我们生成真实数据y_true和预测数据y_pred的混淆矩阵，之后的演示中我们会用到混淆矩阵的数据：
>>> confusion_matrix(y_true, y_pred)
array([[ 10, 10, 10],
[ 40, 160, 40],
[ 5, 5, 20]], dtype=int64)
由混淆矩阵我们可以计算出真正类数TP、假正类数FP、假负类数FN，如下：
之后我们以precision_score的计算为例，accuracy_score、recall_score、f1_score等均可以此类推。
首先我们看一下sklearn包中计算precision_score的命令：
sklearn.metrics.precision_score(y_true, y_pred, labels=None, pos_label=1, average=’binary’,
sample_weight=None)
其中，average参数定义了该指标的计算方法，二分类时average参数默认是binary，多分类时，可选参数有micro、macro、weighted和samples。samples的用法我也不是很明确，所以本文只讲解micro、macro、weighted。
1 不加sample_weight
1.1 micro
micro算法是指把所有的类放在一起算，具体到precision，就是把所有类的TP加和，再除以所有类的TP和FN的加和。因此micro方法下的precision和recall都等于accuracy。
使用sklearn计算的结果也是一样：
>>> from sklearn.metrics import precision_score
>>> precision_score(y_true, y_pred, average="micro")
0.6333333333333333
可以看到和手算是相同的。
1.2 macro
macro方法就是先分别求出每个类的precision再算术平均。
用sklearn验证一下：
>>> precision_score(y_true, y_pred, average="macro")
0.46060606060606063
1.3 weighted
前面提到的macro算法是取算术平均，weighted算法就是在macro算法的改良版，不再是取算术平均、乘以固定weight（也就是1/3）了，而是乘以该类在总样本数中的占比。计算一下每个类的占比：
>>> w_neg1, w_0, w_pos1 = np.bincount(y_true+1) / len(y_true)
>>> print(w_neg1, w_0, w_pos1)
0.1 0.8 0.1
然后手算一下weighted方法下的precision：
用sklearn验证一下：
>>> precision_score(y_true, y_pred, average="weighted")
0.7781818181818182
2 加入sample weight
当样本不均衡时，比如本文举出的样本，中间的0占80%，1和-1各占10%，每个类数量差距很大，我们可以选择加入sample_weight来调整我们的样本。sample 是针对多标签分类的， 每个样本/实例分别计算p,r,f, 然后求平均。
首先我们使用sklearn里的compute_sample_weight函数来计算sample_weight：
sw = compute_sample_weight(class_weight='balanced',y=y_true)
sw是一个和ytrue的shape相同的数据，每一个数代表该样本所在的sample_weight。它的具体计算方法是总样本数/（类数*每个类的个数），比如一个值为-1的样本，它的sample_weight就是300 / (3 * 30)。
使用sample_weight计算出的混淆矩阵如下：
>>> cm =confusion_matrix(y_true, y_pred, sample_weight=sw)
>>> cm
array([[33.33333333, 33.33333333, 33.33333333],
[16.66666667, 66.66666667, 16.66666667],
[16.66666667, 16.66666667, 66.66666667]])
由该混淆矩阵可以得到TP、FN、FP:
三种precision的计算方法和第一节中计算的一样，就不多介绍了。使用sklearn的函数时，把sw作为函数的sample_weight参数输入即可。
