Pest24: A large-scale very small object data set of agricultural pests for multi-target detection

1.论文主要工作

建立了一个包含24类典型虫害，并且使用了几种最先进的深度学习检测方法（RCNN、SSD、YOLOv3、Cascade R-CNN）来检测数据集中的害虫，从多个方面分析了数据集，发现了三个因素，相对尺度、实例数、目标沾粘，主要影响害虫检测性能，该数据特点是目标小、各类别相似度高、密集分布的特点，同时也是检测的难点。

2.数据集特点

该数据集具有以下显著特征：（1）高分辨率害虫图像规模大（略多于28000幅图像，2095*1944像素，继续增加）；（2）超小物体尺寸；（3）每个图像中对象的密集分布；（4）害虫物体在形状和颜色上彼此高度相似；（5）图像中有很多物体粘连。这些特征为基于深度学习的对象检测提出了新的挑战

3.数据集介绍

在本文中，我们构建了这样一个标准化的害虫数据集，名为Pest24，由25378张图像组成，涉及中国农业部指定监测的24类田间作物害虫。为了标准化数据集，我们将这些图像标准化为统一的JPG格式，分辨率为2095*1944像素，并在XML文件中手动注释。我们还以5:2:3的比例将整个数据划分为训练集、验证集和测试集，并将前两个数据公开，以便为社区开发方法。

4.处理后的Pest24

5.数据集识别问题分析

1.数据集样本中包含了非目标害虫的图像类别，复杂化了背景，由于与害虫外观上相似，常常导致错误识别成了目标害虫（大约有1100张图像）
2.由于拍摄的角度等问题导致前景和背景比例过大，导致目标过小，难以识别，有大约5000张这样的图片，另外有600张图像出现了阴影或遮挡如图3（c）所示，2200张图像由于照明问题意外出现反射斑点，如图三（d）所示。这些拍摄缺陷使背景复杂化，并作为噪音干扰影响害虫检测。

3.物体重叠或粘连
结果显示，Pest24中约有7145张图像具有较少或更多的物体粘附（β>0），其中大部分分布在0和0.2之间，如图4（b）所示。考虑到粘附力太小的可忽略影响，我们仅当β>0.05时才将这两种情况称为粘附。因此，Pest24有4657张非普通物体粘附图像（β>0.05）。

4.物体和背景之间的差异
如表1所示。结果显示，在24类害虫中，稻飞虱的颜色差异最小（57.78），而斜叶全息的颜色差异最大（221.38）。
5.平均图像类别和对象数的分布
我们还统计了Pest24中每幅图像的对象类别和对象实例数。Pest24平均每幅图像有2.3个对象类别和7.6个对象实例，这与MS COCO的（2.9和7.3）相似，但大于Pascal VOC 2007的（1.7和3.1），可能会增加害虫检测的难度。另一方面，Pest24共有24类对象，接近Pascal VOC，平均每个有害生物类别有大量实例（8017），为训练深度学习模型提供了可能足够的样本。图像中包含214个对象实例，并且包含20个以上对象实例的图像的比例为8.89%，远远大于公共对象数据集Pascal VOC和MS COCO的比例。从计算机视觉的角度来看，图像中对象实例的密集分布意味着Pest24多害虫检测的复杂性和难度增加。
6.类别相似性
结果表明，两种害虫的相似性范围为0.45至0.7，平均值为0.533，最大值为0.7。这远大于Pascal VOC和MS COCO的相似性。总之，Pest24中的有害生物对象彼此更加相似，这使得通过自动对象检测方法在有害生物类别之间进行区分变得复杂