scikit-learn 多分类混淆矩阵
注：有些markdown语法没渲染出来，可以简书查看：scikit-learn 多分类混淆矩阵
前面
sklearn.metrics.multilabel_confusion_matrix 是 scikit-learn 0.21 新增的一个函数。看名字可知道是用来计算多标签的混淆矩阵的。不过也可以用它来计算多分类的混淆矩阵。MCM将多分类数据转化为2分类问题，采用one-vs-rest策略，即某一类为正样本，其余类别为负样本。每一类都作为正样本，计算混淆矩阵。按标签的顺序返回所有。
MCM 返回的每一个二分类混淆矩阵中，TN 在 [0, 0] ，FN 在 [1, 0] , TP 在[1,1], FP 在 [0, 1] , 即
官方例子
## 如果导入报错，检查一下 sk-learn version >= 0.21
>>> from sklearn.metrics import multilabel_confusion_matrix
>>> y_true = ["cat", "ant", "cat", "cat", "ant", "bird"]
>>> y_pred = ["ant", "ant", "cat", "cat", "ant", "cat"]
>>> mcm = multilabel_confusion_matrix(y_true, y_pred,
... labels=["ant", "bird", "cat"])
>>> mcm
array([[[3, 1],
[0, 2]],
[[5, 0],
[1, 0]],
[[2, 1],
[1, 2]]])
以第一个类别 ‘ant’ 为例，预测对的有2个，它的负样本，'bird' 和 'cat' 预测对的有3个（‘bird’ 预测成 ‘cat’， 也算对的，因为它们是一类，都是负样本。）负样本预测成正样本的有一个。
评估指标
每一类的TP, FP等可以提取通过：
>>> tp = mcm[:, 1, 1]
>>> tn = mcm[:, 0, 0]
>>> fn = mcm[:, 1, 0]
>>> tp, tn
(array([2, 0, 2], dtype=int64), array([3, 5, 2], dtype=int64))
这里有几个常用的评估指标：
- 敏感性（sensitivity）也叫召回率（recall），也叫查全率。这个指标是看一下正样本中预测对的占总正样本的比例。也可以说成预测器对正样本的敏感性，越大，说明预测器对正样本越敏感。
\[sn=\frac{tp}{tp+fn}
\]
- 特异性（specificity）这个和敏感性相反，敏感性算正样本的，而特异性算的是负样本的。换句话说，它是指负样本的敏感性。毕竟你的预测器，不能仅仅是对正样本敏感，负样本，就随意了。所以需要评估一下预测器对负样本的敏感性。
\[sp=\frac{tn}{tn+fp}
\]
- 查准率（precision), 这是看你预测为正样本中预测正确的占总的预测为正样本的比例。
\[precision=\frac{tp}{tp+fp}
\]
- f1值，一般而言，查全率和查准率是不能同时都很大的。举个例子：你现在有100个A和100个B，你用现在训练好的模型去预测A，预测到有80个A。但是这其中75个是正确的A。也就是说查准率是\(75/80=0.9375%\)，查全率是\(75/100=0.75\)。你觉得查全率太低，你继续改进模型。又进行了一次预测，这次预测到了95个A。其中预测正确的有85个，即查全率：\(85/100=0.85\),增加了0.1，但是查准率：\(85/95=0.895\)下降了。你想查得越多，就更容易产生误差。为了照顾两头，使得两个指标都有不错得值，就有了f1值：
\[F1 = \frac{2 * (precision * recall)}{ (precision + recall)}
\]
很容易通过代码获得多分类中每一类的评价指标值：
>>> sn = tp / (tp + fn) ## 其它同理
>>> sn
array([1. , 0. , 0.66666667])x xz
利用one-vs-rest将多分类转化为二分类问题时，往往会丢失一些信息。在负样本中有多个类别，但不管在负样本中否预测到其本身的标签，只要不是预测为正样本标签就是正确的。所以不能很好的评价rest里的预测效果。想要更好的评价多分类，应考虑下宏平均或者微平均。
参考
