使用阈值调优改进分类模型性能

阈值调优是数据科学中一个重要且必要的步骤。它与应用程序领域密切相关，并且需要一些领域内的知识作为参考。在本文中将演示如何通过阈值调优来提高模型的性能。

用于分类的常用指标

一般情况下我们都会使用准确率accuracy来评价分类的性能，但是有很多情况下accuracy 不足以报告分类模型的性能，所以就出现了很多其他的指标：精确度Precision、召回率Recall、F1 分数F1 score和特异性Specificity。除此以外，还有 ROC 曲线、ROC AUC 和 Precision-Recall 曲线等等。

让我们首先简单解释这些指标和曲线的含义：

精确度Precision：所有正例中真正正例的数量。P=TP/(TP+FP)

召回率Recall：正例数超过真正例数加上假负例数。R=TP/(TP+FN)

F1 分数F1 score：Precision 和 Recall 之间的调和平均值。

特异性Specificity：真负例的数量超过真负例的数量加上假正例的数量。Spec=TN(TN+FP)

(ROC) 曲线：该曲线显示了真正例率和假正例率之间的权衡。代表模型的性能。

ROC曲线下面积（AUC）：ROC曲线下面积。如果这个面积等于 1，我们就有了一个完美的分类器。如果它等于 0.5，那么就是一个随机的分类器。

Precision-Recall曲线：这条曲线显示了不同阈值下的精度和召回值。它用于可视化 Precision 和 Recall 之间的权衡。

一般来说，我们必须考虑所有这些指标和曲线。为了将这些内容显示在一起查看，这里定义了一个方法：

1. def make_classification_score(y_test, predictions, modelName):
2. tn, fp, fn, tp = confusion_matrix(y_test, predictions).ravel() # ravel() used to convert to a 1-D array
3. prec=precision_score(y_test, predictions)
4. rec=recall_score(y_test, predictions)
5. f1=f1_score(y_test, predictions)
6. acc=accuracy_score(y_test, predictions)
7. # specificity
8. spec=tn/(tn+fp)
10. score = {'Model': [modelName], 'Accuracy': [acc], 'f1': [f1], 'Recall': [rec], 'Precision': [prec], \
11. 'Specificity': [spec], 'TP': [tp], 'TN': [tn], 'FP': [fp], 'FN': [fn], 'y_test size': [len(y_test)]}
12. df_score = pd.DataFrame(data=score)
13. return df_score

“预测概率”技巧

当我们测试和评估模型时，将预测的 Y 与测试集中的 Y 进行比较。但是这里不建议使用 model.predict(X_test) 方法，直接返回每个实例的标签，而是直接返回每个分类的概率。例如sklearn 提供的 model.predict_proba(X_test) 的方法来预测类概率。然后我们就可以编写一个方法，根据决策阈值参数返回每个实例的最终标签。

完整文章：

https://avoid.overfit.cn/post/81f1646e48c341358391a9a1d3a2dcfd