机器学习目标检测等统计中常用评价指标

一、评价指标

refer: https://www.fanruan.com/blog/article/598921/

https://zhuanlan.zhihu.com/p/52553483

1. 准确率（Accuracy Rate,）是衡量模型整体判断正确性的指标，它表示真阳性（TP）和真阴性（TN）占总样本的比例。在处理不平衡数据集时，准确率可能不是最佳的评价指标，因为当负样本数量远大于正样本时，追求高准确率可能会导致模型对正样本的误判。
2. 精确率（Precision Rate,）查准率，反映了模型预测为正样本的正确程度，它是指真阳性（TP）除以预测为正样本的总数（TP + 假阳性FP）。高精确率意味着模型减少了误报，但可能会牺牲召回率。
3. 召回率（Recall Rate,），查全率，衡量了模型识别所有真正正样本的能力，即真阳性（TP）除以实际正样本的总数（TP + 假阴性FN）。高召回率意味着模型减少了漏报，但可能会牺牲精确率。

4. 误报率（False Positive Rate,FPR）表示模型错误地将负样本预测为正样本的概率，即假阳性（FP）除以实际负样本的总数（FP + 真阴性TN）。降低误报率意味着模型对负样本的预测更加准确，但可能会增加漏报。
5. 漏报率（Miss Rate, 或 False Negative Rate, FNR）衡量了模型未能预测出所有正样本的比例，即假阴性（FN）除以实际正样本的总数（TP + FN）。减少漏报率意味着模型对正样本的识别更加敏感，但可能会牺牲误报率。

6. 检测率（Detection Rate,DR）

7. 灵敏度（Sensitivity）
8. 特异度（Specificity）是模型正确预测负样本的能力的指标，即真阴性（TN）除以实际负样本的总数（TN + 假阳性FP）。高特异度表示模型对负样本有很好的区分能力，但与召回率、精确率和误报率之间存在一定的权衡关系。
在应用这些指标评估模型性能时，需要根据具体任务和业务需求来选择合适的评价标准，以确保模型能够在特定场景下达到最佳性能。

二、【机器学习】混淆矩阵全解析：搞懂 TP、FP、TN、FN 与分类模型评估

refer: https://blog.csdn.net/weixin_41645791/article/details/145786937

1. 混淆矩阵是什么

混淆矩阵（Confusion Matrix）是用于二分类或多分类问题评估模型性能的常见工具。它通过一个矩阵来展示模型在预测时各类别之间的“混淆”情况——即真实标签和预测标签的对应关系。

二分类中的混淆矩阵示例
对于二分类问题（如“是否患病”、“好瓜/坏瓜”等），混淆矩阵通常是一个的表格：

混淆矩阵
	预测：负类 (Negative)	预测：正类 (Positive)
真实：负类 (Negative)	True Negative (TN)	False Positive (FP)
真实：正类 (Positive)	False Negative (FN)	True Positive (TP)

• True Negative (TN)：真实为负类，模型也预测为负类
• False Positive (FP)：真实为负类，但模型错误地预测为正类（“假正例”）
• False Negative (FN)：真实为正类，但模型错误地预测为负类（“假负例”）
• True Positive (TP)：真实为正类，模型预测也为正类

如果是多分类，混淆矩阵就会变成的表格（为类别数），行表示“真实类别”，列表示“预测类别”，对角线上的数字表示被正确预测的样本数，而非对角线上的数字表示不同类别间的混淆。

2. 怎么计算混淆矩阵

3. 混淆矩阵有什么作用

(1) 精细化分析模型错误类型

• 混淆矩阵不仅能告诉我们模型总体上对多少样本预测正确，也能告诉我们“模型容易把正例预测成负例”还是“容易把负例预测成正例”。在很多实际任务中，这个区别非常重要（如医疗诊断中，FP 与 FN 的代价不一样）。

(2) 衍生多种评价指标

• 通过混淆矩阵的 TP, TN, FP, FN，能计算准确率 (Accuracy)、精确率 (Precision)、召回率 (Recall)、F1-score 等多种指标。
• 这些指标能更全面地评估模型在不同角度（如区分不同错误类型）上的表现。
• 在多分类情形下，通过对混淆矩阵对角线和非对角线元素进行统计，也能衍生类似指标或宏平均、加权平均等方法。