异常检测专栏（二）：评价指标及常用数据集

前言在上一篇推文中，我们认识到关于异常检测几种术语的概念和区别，并用一个广义OOD来描述异常检测的相关问题。此外，我们还了解到异常检测的相关应用、发展历程和当前异常检测技术的难点。本篇推文将继续回顾异常检测的基础概念，主要包括异常检测的评估指标和常用数据集。

本教程禁止转载。同时，本教程来自知识星球【CV技术指南】更多技术教程，可加入星球学习。

欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

CV各大方向专栏与各个部署框架最全教程整理

【CV技术指南】CV全栈指导班、基础入门班、论文指导班全面上线!!

常用数据集

MINIST
CIFAR-10
ImageNet
MVTec AD
Retinal OCT

异常检测的评价指标

（1）TPR & FPR
（2）AUC-ROC
（3）AUPR
（4）Accuracy
（5）F-score

下篇预告

常用数据集

异常检测常用的数据集主要包含：CIFAR-10/100、ImageNet、MNIST、MVTec AD、Retinal-OCT等。

MINIST

MNIST数据集下载链接

MNIST数据集是一个手写数字数据库，包含60000章28x28像素的训练图像和10000张测试图像，用于训练和测试基于图像的机器学习算法和深度学习算法。MNIST是深度学习领域中常用的一个经典数据库。

MNIST数据集的部分内容如下图所示：

CIFAR-10

CIFAR-10下载链接

CIFAR-10数据集是Tiny Image的一个子集，包含60000张32x32的RGB图像。这60000张样本被划分为50000张训练样本和10000张测试样本。

CIFAR-10数据集的部分内容如下图所示：

CIFAR-10中的图像被标记为 10 个相互排斥的类别之一：飞机、汽车（但不是卡车或皮卡车）、鸟、猫、鹿、狗、青蛙、马、船和卡车（但不是皮卡车）。每类都有 6000 张图像，每类有 5000 张训练图像和 1000 张测试图像。

ImageNet

ImageNet下载链接

ImageNet 数据集包含超1400万张带注释的图像，涵盖超过2万类的数据。自 2010 年以来，该数据集被用于 ImageNet 大规模视觉识别挑战赛 (ILSVRC)，这是图像分类和目标检测的基准。ImageNet现已被广泛应用到深度学习的各个领域。

公开发布的数据集包含一组手动注释的训练图像。还发布了一组测试图像，其中保留了手动注释。ILSVRC 注释属于以下两类之一：

(1) 二进制标签的图像级注释，表示图像中是否存在对象类，例如，“此图像中有汽车”但“没有老虎， ”

(2) 图像中对象实例周围的紧密边界框和类标签的对象级注释，例如，“有一个螺丝刀以位置 (20,25) 为中心，宽度为 50 像素，高度为 30 像素”。

ImageNet数据集的部分内容如下图所示：

MVTec AD

MVTec下载链接

MVTec AD 是一个数据集，用于对侧重于工业检测的异常检测方法进行基准测试。它包含 5000 多张高分辨率图像，分为十五种不同的对象和纹理类别。每个类别包括一组无缺陷的训练图像和一组具有各种缺陷的图像以及无缺陷的图像。

MVTec数据集的部分内容如下图所示：

Retinal OCT

Retinal-OCT下载链接

Retinal OCT包含84,495张X光图像，其中包含CNV、DME、DRUSEN和NORMAL四种类别，其中每一个都与其他存在细微的差别。是医学图像异常检测任务中的一个常用数据集。

Retinal OCR数据集的部分内容如下图所示：

异常检测的评价指标

异常检测的评估指标一般包含以下几种：AUC-ROC曲线、TPR（真正率）和FPR（假正率）、Accuracy（准确率）、AUPR（Precision-Recall曲线下的面积）以及F-score分数。

为彻底理解上述几种评估指标，我们首先介绍混淆矩阵的相关概念

混淆矩阵：混淆矩阵中包含Positive、Negative、True、False的概念，其意义如下。

称预测类别为1的为Positive（阳性），预测类别为0的则为Negative（阴性）
称预测正确的为True（真），预测错误的为False（假）

对以上几个概念进行组合便可产生我们所熟悉的混淆矩阵：

除了以上的数据集之外，异常检测中使用的数据集还包括LSUN、Chest X-Rays、ELKI、OODS等。

（1）TPR & FPR

从混淆矩阵中派生出True Positive Rate（TPR，真正率）和 False Positive Rate（假正率）两个概念，定义为：

观察公式我们可以发现，其实TPR就是TP除以其所在的列和，FPR就是FP除以其所在的列和，二者的意义可理解为：

TPR是所有真实类别为1的样本中，预测类别为1的比例（我们希望这个值越大越好，实际上这也是召回率Recall的定义式）
FPR是所有真实类别为0的样本中，预测类别为1的比例（我们希望这个值越小越好）

（2）AUC-ROC

ROC曲线：是Receiver Operating Characteristic Curve的简称，其横坐标是假正率FPR，纵坐标是真正率TPR。
AUC：是Area Under ROC Cure的简称，即ROC曲线下的面积。其意义为，随机从正样本和负样本中各选一个，分类器对于该正样本打分大于该负样本打分的概率。

下图展示了ROC-AUC曲线图：