【火炉炼AI】深度学习005-简单几行Keras代码解决二分类问题
【火炉炼AI】深度学习005-简单几行Keras代码解决二分类问题
(本文所使用的Python库和版本号: Python 3.6, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2, Keras 2.1.6, Tensorflow 1.9.0)
很多文章和教材都是用MNIST数据集作为深度学习届的“Hello World”程序，但是这个数据集有一个很大的特点：它是一个典型的多分类问题（一共有10个分类），在我们刚刚开始接触深度学习时，我倒是觉得应该从最简单的二分类问题着手。
在深度学习框架方面，目前比较流行的是Tensorflow，Keras，PyTorch，Theano等，但是我建议新手入门，可以从Keras入手，然后进阶时转移到Tensorflow上，实际上，Keras的后端是可以支持Tensorflow和Theano，可以说，Keras是在Tensorflow和Theano的基础上进一步封装，更加的简单实用，更容易入门，通常几行简单的代码就可以解决一个小型的项目问题。
我这篇博文主要参考了：keras系列︱图像多分类训练与利用bottleneck features进行微调（三），这篇博文也是参考的Building powerful image classification models using very little data，但我发现这两篇博文有很多地方的代码跑不起来，主要原因可能是Keras或Tensorflow升级造成的，所以我做了一些必要的修改。
1. 准备数据集
最经典的二分类数据集就是Kaggle竞赛中的“猫狗大战”数据集（train set有25K张图片，test set： 12.5K），此处按照原始博文的做法，我从train_set中选取1000张Dog的照片+1000张Cat照片作为我们新的train set，选取400张Dog+400张Cat照片作为新的test set。所以train和test两个文件夹下都有两个子文件夹（cats和dogs子文件夹）。当然，选取是随机的，也是用代码来实现的，准备小数据集的代码如下：
def dataset_prepare(raw_set_folder,dst_folder,train_num_per_class=1000,test_num_per_class=400):
'''
准备小数据集，从原始的raw_set_folder数据集中提取train_num_per_class(每个类别)的照片放入train中，
提取val_num_per_class（每个类别）放入到validation文件夹中
:param raw_set_folder: 含有猫狗的照片，这些照片的名称必须为cat.101.jpg或dog.102.jpg形式
:param dst_folder: 将选取之后的图片放置到这个文件夹中
:param train_num_per_class:
:param test_num_per_class:
:return:
'''
all_imgs=glob(os.path.join(raw_set_folder,'*.jpg'))
img_len = len(all_imgs)
assert img_len > 0, '{} has no jpg image file'.format(raw_set_folder)
cat_imgs=[]
dog_imgs=[]
for img_path in all_imgs:
img_name=os.path.split(img_path)[1]
if img_name.startswith('cat'):
cat_imgs.append(img_path)
elif img_name.startswith('dog'):
dog_imgs.append(img_path)
random.shuffle(cat_imgs)
random.shuffle(dog_imgs)
[ensure_folder_exists(os.path.join(dst_folder,type_folder,class_folder)) for type_folder in ['train','test']
for class_folder in ['dogs','cats']]
# 下面的代码可以进一步优化。。。。
for cat_img_path in cat_imgs[:train_num_per_class]: # 最开始的N个图片作为train
_, fname = os.path.split(cat_img_path) # 获取文件名和路径
shutil.copyfile(cat_img_path, os.path.join(dst_folder, 'train', 'cats',fname))
print('imgs saved to train/cats folder')
for dog_img_path in dog_imgs[:train_num_per_class]:
_, fname = os.path.split(dog_img_path) # 获取文件名和路径
shutil.copyfile(dog_img_path, os.path.join(dst_folder, 'train', 'dogs',fname))
print('imgs saved to train/dogs folder')
for cat_img_path in cat_imgs[-test_num_per_class:]: # 最末的M个图片作为test
_, fname = os.path.split(cat_img_path) # 获取文件名和路径
shutil.copyfile(cat_img_path, os.path.join(dst_folder, 'test', 'cats',fname))
print('imgs saved to test/cats folder')
for dog_img_path in dog_imgs[-test_num_per_class:]: # 最末的M个图片作为test
_, fname = os.path.split(dog_img_path) # 获取文件名和路径
shutil.copyfile(dog_img_path, os.path.join(dst_folder, 'test', 'dogs',fname))
print('imgs saved to test/dogs folder')
print('finished...')
运行该函数即可完成小数据集的构建，下面为Keras创建图片数据流，为模型的构建做准备。
# 2，准备训练集，keras有很多Generator可以直接处理图片的加载，增强等操作，封装的非常好
from keras.preprocessing.image import ImageDataGenerator
train_datagen = ImageDataGenerator( # 单张图片的处理方式，train时一般都会进行图片增强
rescale=1. / 255, # 图片像素值为0-255，此处都乘以1/255，调整到0-1之间
shear_range=0.2, # 斜切
zoom_range=0.2, # 放大缩小范围
horizontal_flip=True) # 水平翻转
train_generator = train_datagen.flow_from_directory(# 从文件夹中产生数据流
train_data_dir, # 训练集图片的文件夹
target_size=(IMG_W, IMG_H), # 调整后每张图片的大小
batch_size=batch_size,
class_mode='binary') # 此处是二分类问题，故而mode是binary
# 3，同样的方式准备测试集
val_datagen = ImageDataGenerator(rescale=1. / 255) # 只需要和trainset同样的scale即可，不需增强
val_generator = val_datagen.flow_from_directory(
val_data_dir,
target_size=(IMG_W, IMG_H),
batch_size=batch_size,
class_mode='binary')
上面构建的generator就是keras需要的数据流，该数据流使用flow_from_directory首先从图片文件夹（比如train_data_dir）中加载图片到内存中，然后使用train_datagen来对图片进行预处理和增强，最终得到处理完成之后的batch size大小的数据流，这个数据流会无限循环的产生，直到达到一定的训练epoch数量为止。
上面用到了ImageDataGenerator来进行图片增强，里面的参数说明为：（可以参考Keras的官方文档）
rotation_range是一个0~180的度数，用来指定随机选择图片的角度。
width_shift和height_shift用来指定水平和竖直方向随机移动的程度，这是两个0~1之间的比例。
rescale值将在执行其他处理前乘到整个图像上，我们的图像在RGB通道都是0255的整数，这样的操作可能使图像的值过高或过低，所以我们将这个值定为01之间的数。
shear_range是用来进行剪切变换的程度
zoom_range用来进行随机的放大
horizontal_flip随机的对图片进行水平翻转，这个参数适用于水平翻转不影响图片语义的时候
fill_mode用来指定当需要进行像素填充，如旋转，水平和竖直位移时，如何填充新出现的像素
2. 构建并训练Keras模型
由于Keras已经封装了很多Tensorflow的函数，所以在使用上更加简单容易，当然，如果想调整里面的结构和参数等，也比较麻烦一些，所以对于高手，想要调整模型的结构和自定义一些函数，可以直接用Tensorflow.
2.1 Keras模型的构建
不管是Keras模型还是Tensorflow模型，我个人认为其构建都包括两个部分：模型的搭建和模型的配置，所以可以从这两个方面来建立一个小型的模型。代码如下：
# 4，建立Keras模型：模型的建立主要包括模型的搭建，模型的配置
from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D
from keras.layers import Activation, Dropout, Flatten, Dense
from keras import optimizers
def build_model(input_shape):
# 模型的搭建：此处构建三个CNN层+2个全连接层的结构
model = Sequential()
model.add(Conv2D(32, (3, 3), input_shape=input_shape))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))
model.add(Dropout(0.5)) # Dropout防止过拟合
model.add(Dense(1)) # 此处虽然是二分类，但是不能用Dense(2)，因为后面的activation是sigmoid，这个函数只能输出一个值，即class_0的概率
model.add(Activation('sigmoid')) #二分类问题用sigmoid作为activation function
# 模型的配置
model.compile(loss='binary_crossentropy', # 定义模型的loss func，optimizer，
optimizer=optimizers.RMSprop(lr=0.0001),
metrics=['accuracy'])# 主要优化accuracy
# 二分类问题的loss function使用binary_crossentropy，此处使用准确率作为优化目标
return model # 返回构建好的模型
这个函数就搭建了模型的结构，对模型进行了配置，主要配置了loss function, optimzer, 优化目标等，当然可以做更多其他配置。
此处，为了简单说明，只是建立了三层卷积层+两层全连接层的小型网络结构，当然，对于一些比较简单的图像问题，这个小型模型也能解决。如果需要构建更为复杂的模型，只需要自定义这个函数，修改里面的模型构建和配置方法即可。
2.2 模型的训练
由于此处我们使用generator来产生数据流，故而训练时要使用fit_generator函数。代码如下：
model=build_model(input_shape=(IMG_W,IMG_H,IMG_CH)) # 输入的图片维度
# 模型的训练
model.fit_generator(train_generator, # 数据流
steps_per_epoch=train_samples_num // batch_size,
epochs=epochs,
validation_data=val_generator,
validation_steps=val_samples_num // batch_size)
由于我在自己的笔记本上训练，没有独立显卡，更没有英伟达那么NB的显卡，故而速度很慢，但是的确能运行下去。运行的具体结果可以去我的github上看。
-------------------------------------输---------出--------------------------------
Epoch 1/20
62/62 [] - 136s 2s/step - loss: 0.6976 - acc: 0.5015 - val_loss: 0.6937 - val_acc: 0.5000
Epoch 2/20
62/62 [] - 137s 2s/step - loss: 0.6926 - acc: 0.5131 - val_loss: 0.6846 - val_acc: 0.5813
Epoch 3/20
62/62 [==============================] - 152s 2s/step - loss: 0.6821 - acc: 0.5544 - val_loss: 0.6735 - val_acc: 0.6100
。。。
Epoch 18/20
62/62 [] - 140s 2s/step - loss: 0.5776 - acc: 0.6880 - val_loss: 0.5615 - val_acc: 0.7262
Epoch 19/20
62/62 [] - 143s 2s/step - loss: 0.5766 - acc: 0.6971 - val_loss: 0.5852 - val_acc: 0.6800
Epoch 20/20
62/62 [==============================] - 140s 2s/step - loss: 0.5654 - acc: 0.7117 - val_loss: 0.5374 - val_acc: 0.7450
--------------------------------------------完-------------------------------------
从训练后的loss和acc上可以大致看出，loss在不断减小，acc也不断增大，趋势比较平稳。
此处我们可以将训练过程中的loss和acc绘图，看看他们的变化趋势。
# 画图，将训练时的acc和loss都绘制到图上
import matplotlib.pyplot as plt
%matplotlib inline
def plot_training(history):
plt.figure(12)
plt.subplot(121)
train_acc = history.history['acc']
val_acc = history.history['val_acc']
epochs = range(len(train_acc))
plt.plot(epochs, train_acc, 'b',label='train_acc')
plt.plot(epochs, val_acc, 'r',label='test_acc')
plt.title('Train and Test accuracy')
plt.legend()
plt.subplot(122)
train_loss = history.history['loss']
val_loss = history.history['val_loss']
epochs = range(len(train_loss))
plt.plot(epochs, train_loss, 'b',label='train_loss')
plt.plot(epochs, val_loss, 'r',label='test_loss')
plt.title('Train and Test loss')
plt.legend()
plt.show()
很明显，由于epoch次数太少，acc和loss都没有达到平台期，后续可以增大epoch次数来达到一个比较好的结果。在原始博文中，作者在50个epoch之后达到了约80%左右的准确率，此处我20个epoch后的准确率为74%。
2.3 预测新样本
单张图片的预测
模型训练好之后，就需要用来预测新的图片，看看它能不能准确的给出结果。预测函数为：
# 用训练好的模型来预测新样本
from PIL import Image
from keras.preprocessing import image
def predict(model, img_path, target_size):
img=Image.open(img_path) # 加载图片
if img.size != target_size:
img = img.resize(target_size)
x = image.img_to_array(img)
x *=1./255 # 相当于ImageDataGenerator(rescale=1. / 255)
x = np.expand_dims(x, axis=0) # 调整图片维度
preds = model.predict(x) # 预测
return preds[0]
用这个函数可以预测单张图片：
predict(model,'E:\PyProjects\DataSet\FireAI\DeepLearning/FireAI005/cat11.jpg',(IMG_W,IMG_H))
predict(model,'E:\PyProjects\DataSet\FireAI\DeepLearning//FireAI005/dog4.jpg',(IMG_W,IMG_H))
-------------------------------------输---------出--------------------------------
array([0.14361556], dtype=float32)
array([0.9942463], dtype=float32)
--------------------------------------------完-------------------------------------
可以看出，对于单张图片cat11.jpg得到的概率为0.14，而dog4.jpg的概率为0.99，可以看出第0个类别是dog，第1个类别是cat，模型能够很好的区分开来。
多张图片的预测
如果想用这个模型来预测一个文件夹中的所有图片，那么该怎么办了？
# 预测一个文件夹中的所有图片
new_sample_gen=ImageDataGenerator(rescale=1. / 255)
newsample_generator=new_sample_gen.flow_from_directory(
'E:\PyProjects\DataSet\FireAI\DeepLearning',
target_size=(IMG_W, IMG_H),
batch_size=16,
class_mode=None,
shuffle=False)
predicted=model.predict_generator(newsample_generator)
print(predicted)
-------------------------------------输---------出--------------------------------
Found 4 images belonging to 2 classes.
[[0.14361556]
[0.5149474 ]
[0.71455824]
[0.9942463 ]]
--------------------------------------------完-------------------------------------
上面的结果中第二个0.5149对应的应该是cat，应该小于0.5，这个预测是错误的，不过粗略估计正确率有3/4=75%。
2.4 模型的保存和加载
模型一般要及时保存到硬盘上，防止数据丢失，下面是保存的代码：
# 模型保存
# model.save_weights('E:\PyProjects\DataSet\FireAI\DeepLearning//FireAI005/FireAI005_Model.h5') # 这个只保存weights，不保存模型的结构
model.save('E:\PyProjects\DataSet\FireAI\DeepLearning//FireAI005/FireAI005_Model2.h5') # 对于一个完整的模型，应该要保存这个
# 模型的加载，预测
from keras.models import load_model
saved_model=load_model('E:\PyProjects\DataSet\FireAI\DeepLearning//FireAI005/FireAI005_Model2.h5')
predicted=saved_model.predict_generator(newsample_generator)
print(predicted) # saved_model的结果和前面的model结果一致，表面模型正确保存和加载
此处得到的结果和上面model预测的结果一模一样，表明模型被正确保存和加载。
########################小**********结###############################
1，本篇文章讲解了：准备一个简单的小数据集，从数据集中建立数据流，将该数据流引入到Keras的模型中进行训练，并使用训练后的模型进行新图片的预测，然后将模型进行保存，加载保存好的模型到内存中。
2，此处使用的模型是我们自己搭建的，结构比较简单，只有三层卷积层和两层全连接层，故而模型的准确率不太高，而且此处由于时间关系，我只训练了20个epoch，训练并没有达到平台期。
#################################################################
注：本部分代码已经全部上传到（我的github）上，欢迎下载。
