深度学习基础系列（十一）| Keras中图像增强技术详解
在深度学习中，数据短缺是我们经常面临的一个问题，虽然现在有不少公开数据集，但跟大公司掌握的海量数据集相比，数量上仍然偏少，而某些特定领域的数据采集更是非常困难。根据之前的学习可知，数据量少带来的最直接影响就是过拟合。那有没有办法在现有少量数据基础上，降低或解决过拟合问题呢？
答案是有的，就是数据增强技术。我们可以对现有的数据，如图片数据进行平移、翻转、旋转、缩放、亮度增强等操作，以生成新的图片来参与训练或测试。这种操作可以将图片数量提升数倍，由此大大降低了过拟合的可能。本文将详解图像增强技术在Keras中的原理和应用。
一、Keras中的ImageDataGenerator类
图像增强的官网地址是：https://keras.io/preprocessing/image/ ，API使用相对简单，功能也很强大。
先介绍的是ImageDataGenerator类，这个类定义了图片该如何进行增强操作，其API及参数定义如下：
keras.preprocessing.image.ImageDataGenerator(
featurewise_center=False, #输入值按照均值为0进行处理 samplewise_center=False, #每个样本的均值按0处理 featurewise_std_normalization=False, #输入值按照标准正态化处理
samplewise_std_normalization=False, #每个样本按照标准正态化处理 zca_whitening=False, # 是否开启增白 zca_epsilon=1e-06, rotation_range=0, #图像随机旋转一定角度，最大旋转角度为设定值 width_shift_range=0.0, #图像随机水平平移，最大平移值为设定值。若值为小于1的float值，则可认为是按比例平移，若大于1，则平移的是像素；若值为整型，平移的也是像素；假设像素为2.0，则移动范围为[-1,1]之间 height_shift_range=0.0, #图像随机垂直平移，同上 brightness_range=None, # 图像随机亮度增强，给定一个含两个float值的list，亮度值取自上下限值间 shear_range=0.0, # 图像随机修剪 zoom_range=0.0, # 图像随机变焦 channel_shift_range=0.0, fill_mode='nearest', #填充模式，默认为最近原则，比如一张图片向右平移，那么最左侧部分会被临近的图案覆盖 cval=0.0, horizontal_flip=False, #图像随机水平翻转 vertical_flip=False, #图像随机垂直翻转 rescale=None, #缩放尺寸 preprocessing_function=None, data_format=None, validation_split=0.0, dtype=None)
下文将以mnist和花类的数据集进行图片操作，其中花类（17种花，共1360张图片）数据集可见我的百度网盘： https://pan.baidu.com/s/1YDA_VOBlJSQEijcCoGC60w 。让我们以直观地方式看看各参数能带来什么样的图片变化。
随机旋转
我们可用mnist数据集对图片进行随机旋转，旋转的最大角度由参数定义。
from keras.datasets import mnist from keras.preprocessing.image import ImageDataGenerator from matplotlib import pyplot from keras import backend as K K.set_image_dim_ordering('th') (train_data, train_label), (test_data, test_label) = mnist.load_data() train_data = train_data.reshape(train_data.shape[0], 1, 28, 28) train_data = train_data.astype('float32') # 创建图像生成器，指定对图像操作的内容 datagen = ImageDataGenerator(rotation_range=90) # 图像生成器要训练的数据 datagen.fit(train_data) # 这是个图像生成迭代器，是可以无限生成各种新图片，我们指定每轮迭代只生成9张图片 for batch_data, batch_label in datagen.flow(train_data, train_label, batch_size=9): for i in range(0, 9): # 创建一个 3*3的九宫格，以显示图片 pyplot.subplot(330 + 1 + i) pyplot.imshow(batch_data[i].reshape(28, 28), cmap=pyplot.get_cmap('gray')) pyplot.show() break
生成结果为：
随机平移
我们可用花类数据集对图片进行随机平移，可以在垂直和水平方向上平移，平移最大值由参数定义。
from keras.preprocessing.image import ImageDataGenerator from matplotlib import pyplot from keras.preprocessing.image import array_to_img IMAGE_SIZE = 224 NUM_CLASSES = 17 TRAIN_PATH = '/home/yourname/Documents/tensorflow/images/17flowerclasses/train' TEST_PATH = '/home/yourname/Documents/tensorflow/images/17flowerclasses/test' FLOWER_CLASSES = ['Bluebell', 'ButterCup', 'ColtsFoot', 'Cowslip', 'Crocus', 'Daffodil', 'Daisy', 'Dandelion', 'Fritillary', 'Iris', 'LilyValley', 'Pansy', 'Snowdrop', 'Sunflower', 'Tigerlily', 'tulip', 'WindFlower'] # 创建图像生成器，指定对图像操作的内容，平移的最大比例为50% train_datagen = ImageDataGenerator(width_shift_range=0.5, height_shift_range=0.5) # 这是个图像生成迭代器，是可以无限生成各种新图片，我们指定每轮迭代只生成9张图片 for X_batch, y_batch in train_datagen.flow_from_directory(directory=TRAIN_PATH, target_size=(IMAGE_SIZE, IMAGE_SIZE),batch_size=9, classes=FLOWER_CLASSES): for i in range(0, 9): pyplot.subplot(330 + 1 + i) pyplot.imshow(array_to_img(X_batch[i])) pyplot.show() break
生成结果为：
可以观察到，图片除了实现平移外，其原来的位置都被最近的图案给填充，因为默认给的填充方式是nearest。
随机亮度调整
我们可用花类数据集对图片进行随机亮度调整，亮度范围由参数定义。
from keras.preprocessing.image import ImageDataGenerator from matplotlib import pyplot from keras.preprocessing.image import array_to_img IMAGE_SIZE = 224 NUM_CLASSES = 17 TRAIN_PATH = '/home/yourname/Documents/tensorflow/images/17flowerclasses/train' TEST_PATH = '/home/yourname/Documents/tensorflow/images/17flowerclasses/test' FLOWER_CLASSES = ['Bluebell', 'ButterCup', 'ColtsFoot', 'Cowslip', 'Crocus', 'Daffodil', 'Daisy', 'Dandelion', 'Fritillary', 'Iris', 'LilyValley', 'Pansy', 'Snowdrop', 'Sunflower', 'Tigerlily', 'tulip', 'WindFlower'] # 创建图像生成器，指定对图像操作的内容，亮度范围在0.1~10之间随机选择 train_datagen = ImageDataGenerator(brightness_range=[0.1, 10]) # 这是个图像生成迭代器，是可以无限生成各种新图片，我们指定每轮迭代只生成9张图片 for X_batch, y_batch in train_datagen.flow_from_directory(directory=TRAIN_PATH, target_size=(IMAGE_SIZE, IMAGE_SIZE),batch_size=9, classes=FLOWER_CLASSES): for i in range(0, 9): pyplot.subplot(330 + 1 + i) pyplot.imshow(array_to_img(X_batch[i])) pyplot.show() break
生成结果为：
随机焦距调整
我们可用mnist数据集对图片进行随机焦距调整，焦距调整值由参数定义。
from keras.datasets import mnist from keras.preprocessing.image import ImageDataGenerator from matplotlib import pyplot from keras import backend as K K.set_image_dim_ordering('th') (train_data, train_label), (test_data, test_label) = mnist.load_data() train_data = train_data.reshape(train_data.shape[0], 1, 28, 28) train_data = train_data.astype('float32') # 创建图像生成器，指定对图像操作的内容，焦距值在0.1~1之间 datagen = ImageDataGenerator(zoom_range=[0.1, 1]) # 图像生成器要训练的数据 datagen.fit(train_data) # 这是个图像生成迭代器，是可以无限生成各种新图片，我们指定每轮迭代只生成9张图片 for batch_data, batch_label in datagen.flow(train_data, train_label, batch_size=9): for i in range(0, 9): # 创建一个 3*3的九宫格，以显示图片 pyplot.subplot(330 + 1 + i) pyplot.imshow(batch_data[i].reshape(28, 28), cmap=pyplot.get_cmap('gray')) pyplot.show() break
生成结果为：
可以看出这跟相机调焦一样，可以放大或缩小焦距。
随机翻转
我们可用花类数据集对图片进行随机翻转。
from keras.preprocessing.image import ImageDataGenerator from matplotlib import pyplot from keras.preprocessing.image import array_to_img IMAGE_SIZE = 224 NUM_CLASSES = 17 TRAIN_PATH = '/home/hutao/Documents/tensorflow/images/17flowerclasses/train' TEST_PATH = '/home/hutao/Documents/tensorflow/images/17flowerclasses/test' FLOWER_CLASSES = ['Bluebell', 'ButterCup', 'ColtsFoot', 'Cowslip', 'Crocus', 'Daffodil', 'Daisy', 'Dandelion', 'Fritillary', 'Iris', 'LilyValley', 'Pansy', 'Snowdrop', 'Sunflower', 'Tigerlily', 'tulip', 'WindFlower'] # 创建图像生成器，指定对图像操作的内容，图片随机翻转 train_datagen = ImageDataGenerator(horizontal_flip=True, vertical_flip=True) # 这是个图像生成迭代器，是可以无限生成各种新图片，我们指定每轮迭代只生成9张图片 for X_batch, y_batch in train_datagen.flow_from_directory(directory=TRAIN_PATH, target_size=(IMAGE_SIZE, IMAGE_SIZE),batch_size=9, classes=FLOWER_CLASSES): for i in range(0, 9): pyplot.subplot(330 + 1 + i) pyplot.imshow(array_to_img(X_batch[i])) pyplot.show() break
生成结果为：
从上图可看出，有些图片水平翻转了，有些是垂直翻转了。
ZCA图像增白
说实在我不太清楚该技术有何用，用花类图片实验结果显示zca不支持，可以用mnist数据集来看看效果。
from keras.datasets import mnist from keras.preprocessing.image import ImageDataGenerator from matplotlib import pyplot from keras import backend as K K.set_image_dim_ordering('th') (train_data, train_label), (test_data, test_label) = mnist.load_data() train_data = train_data.reshape(train_data.shape[0], 1, 28, 28) train_data = train_data.astype('float32') # 创建图像生成器，指定对图像操作的内容，增白图片 datagen = ImageDataGenerator(zca_whitening=True) # 图像生成器要训练的数据 datagen.fit(train_data) # 这是个图像生成迭代器，是可以无限生成各种新图片，我们指定每轮迭代只生成9张图片 for batch_data, batch_label in datagen.flow(train_data, train_label, batch_size=9): for i in range(0, 9): # 创建一个 3*3的九宫格，以显示图片 pyplot.subplot(330 + 1 + i) pyplot.imshow(batch_data[i].reshape(28, 28), cmap=pyplot.get_cmap('gray')) pyplot.show() break
生成结果为：
特征标准化
特征标准化的含义是使图片的像素均值为0，标准差为1，不过我试了多次，直观效果不明显。
from keras.datasets import mnist from keras.preprocessing.image import ImageDataGenerator from matplotlib import pyplot from keras import backend as K K.set_image_dim_ordering('th') (train_data, train_label), (test_data, test_label) = mnist.load_data() train_data = train_data.reshape(train_data.shape[0], 1, 28, 28) train_data = train_data.astype('float32') # 创建图像生成器，指定对图像操作的内容，允许图片标准化处理 datagen = ImageDataGenerator(featurewise_center=True, featurewise_std_normalization=True) # 图像生成器要训练的数据 datagen.fit(train_data) # 这是个图像生成迭代器，是可以无限生成各种新图片，我们指定每轮迭代只生成9张图片 for batch_data, batch_label in datagen.flow(train_data, train_label, batch_size=9): for i in range(0, 9): # 创建一个 3*3的九宫格，以显示图片 pyplot.subplot(330 + 1 + i) pyplot.imshow(batch_data[i].reshape(28, 28), cmap=pyplot.get_cmap('gray')) pyplot.show() break
生成结果为：
就个人而言，我倾向于在图像增强中使用旋转、亮度调整、翻转和平移操作。
二、Keras如何进行图像增强数据训练
在之前的文章中我已经展现过数据增强的使用。在Keras中，增强图片有三种来源：
- 图片来源于已知数据集，如mnist、cifar，数据格式为numpy格式；
- 图片来源于我们自己搜集的图片，如本文引入的花类数据集，其图片为jpg、png等格式；
- 图片来源于panda数据集；
其中数据来源已知数据集，其操作方法如下：
(x_train, y_train), (x_test, y_test) = cifar10.load_data() y_train = np_utils.to_categorical(y_train, num_classes) y_test = np_utils.to_categorical(y_test, num_classes) datagen = ImageDataGenerator( featurewise_center=True, featurewise_std_normalization=True, rotation_range=20, width_shift_range=0.2, height_shift_range=0.2, horizontal_flip=True) #生成器绑定训练集 datagen.fit(x_train) # 模型绑定生成器，并不停地迭代产生数据，可指定迭代次数，假设图片总数为1000张，batch默认为32，则每次迭代需要产生1000/32=32个步骤 history = model.fit_generator(datagen.flow(x_train, y_train, batch_size=32), steps_per_epoch=len(x_train) / 32, epochs=epochs)
数据来源图片集，其操作方法如下：
batch_size = 32 # 迭代50次 epochs = 50 # 依照模型规定，图片大小被设定为224 IMAGE_SIZE = 224 TRAIN_PATH = '/home/yourname/Documents/tensorflow/images/17flowerclasses/train' TEST_PATH = '/home/yourname/Documents/tensorflow/images/17flowerclasses/test' FLOWER_CLASSES = ['Bluebell', 'ButterCup', 'ColtsFoot', 'Cowslip', 'Crocus', 'Daffodil', 'Daisy','Dandelion', 'Fritillary', 'Iris', 'LilyValley', 'Pansy', 'Snowdrop', 'Sunflower','Tigerlily', 'tulip', 'WindFlower'] # 使用数据增强 train_datagen = ImageDataGenerator(rotation_range=90)
# 可指定输出图片大小，因为深度学习要求训练图片大小保持一致 train_generator = train_datagen.flow_from_directory(directory=TRAIN_PATH, target_size=(IMAGE_SIZE, IMAGE_SIZE), classes=FLOWER_CLASSES) test_datagen = ImageDataGenerator() test_generator = test_datagen.flow_from_directory(directory=TEST_PATH, target_size=(IMAGE_SIZE, IMAGE_SIZE), classes=FLOWER_CLASSES) # 运行模型 history = model.fit_generator(train_generator, epochs=epochs, validation_data=test_generator)
需要说明的是，这些增强图片都是在内存中实时批量迭代生成的，不是一次性被读入内存，这样可以极大地节约内存空间，加快处理速度。若想保留中间过程生成的增强图片，可以在上述方法中添加保存路径等参数，此处不再赘述。
三、结论
本文介绍了如何在Keras中使用图像增强技术，对图片可以进行各种操作，以生成数倍于原图片的增强图片集。这些数据集可帮助我们有效地对抗过拟合问题，更好地生成理想的模型。
