用图像增强来充实训练数据集，算不算是一种‘摸鱼’的方法？

序言：图像增强其实就是对现有图片做一些变化，让数据集看起来更多样化，减少去额外收集数据的需求。虽然从某种程度上来说，它能提高数据的质量，但严格来说它不是传统意义上的数据清洗。数据清洗的目的就是把数据里的错误、不一致或者缺失的部分给清理掉，让数据变得更干净、更好用。

图像增强

在上一节中，我们构建了一个马或人分类器模型，这个模型是基于一个相对较小的数据集训练的。因此，在分类一些之前未见过的图片时，我们很快就遇到了问题，比如误把一个带马的女人分类错误，因为训练集中并没有包含类似姿势的人物图片(对，人工智能就是这样愚蠢，没有泛化能力??)

应对这些问题的一种方法是使用图像增强。这种技术的核心思想是，当 TensorFlow 加载数据时，可以通过多种变换方式来创建额外的新数据。比如，看看图 3-11。虽然数据集中并没有右侧那位女士的图像，但左侧的图像在某种程度上与之相似。

                                           图 3-11. 数据集的相似性

因此，如果在训练过程中，例如可以放大左侧的图像，如图 3-12 所示，就可以增加模型正确地将右侧图像分类为人物的概率。

                                          图 3-12. 放大训练集数据

同样地，我们可以通过多种其他变换来扩充训练集，包括：

• 旋转

• 水平平移

• 垂直平移

• 错切

• 缩放

• 翻转

由于我们一直在使用 ImageDataGenerator 加载图像，因此已经看到它进行了一次变换——即通过以下方式对图像进行了归一化处理：

train_datagen = ImageDataGenerator(rescale=1/255)

其他变换在 ImageDataGenerator 中也可以轻松实现，所以，我们可以像这样操作：

train_datagen = ImageDataGenerator(

rescale=1./255,

rotation_range=40,

width_shift_range=0.2,

height_shift_range=0.2,

shear_range=0.2,

zoom_range=0.2,

horizontal_flip=True,

fill_mode='nearest'

)

在这里，除了对图像进行归一化处理之外，我们还做了以下操作：

• 随机将每张图片向左或向右旋转最多 40 度

• 垂直或水平平移图片最多 20%

• 将图片错切最多 20%

• 将图片缩放最多 20%

• 随机将图片水平或垂直翻转

• 移动或错切后用最近的像素填充任何缺失的像素

当我们用这些参数重新训练时，会首先注意到训练时间变长了，因为所有这些图像处理需要额外的计算。同时，模型的准确率可能没有之前那么高，因为之前模型是对一个相对统一的数据集过拟合了。

在我的实验中，使用这些增强后，准确率从 99% 降到了 85%（经过 15 轮训练），验证集的准确率稍高，为 89%。(这表明模型稍微欠拟合，可以对参数进行一些微调。)

那之前在图 3-9 中被错误分类的图像呢？这次模型正确分类了。得益于图像增强，现在的训练集覆盖范围足够，使得模型也能理解这个特殊的图像是一个人（见图 3-13）。这只是一个数据点，可能不代表实际数据的全部结果，但这确实是朝正确方向迈出的一个小步。

                          图 3-13. 放大的女士现在被正确分类了

可以看到，即使是一个相对较小的数据集（如“马或人”），我们也可以开始构建一个相当不错的分类器。如果有更大的数据集，可以进一步提升模型效果。

另一个提升模型的技术是利用已在其他地方学到的特征。许多拥有大量资源的研究人员（数百万张图片）和巨型模型（已在成千上万的类别上进行训练）分享了他们的模型，借助一个称为迁移学习的概念，我们可以利用这些模型学到的特征并将其应用于自己的数据。我们接下来将探索这个方法！