Tensorflow学习笔记No.8

使用VGG16网络进行迁移学习

使用在ImageNet数据上预训练的VGG16网络模型对猫狗数据集进行分类识别。

1.预训练网络

预训练网络是一个保存好的，已经在大型数据集上训练好的卷积神经网络。

如果这个数据集足够大且通用，那么预训练网络学习到的模型参数可以有效的对图片进行特征提取。即使新问题与原本的数据完全不同，但学习到的特征提取方法依然可以在不同的问题之间进行移植，进而可以在全新的数据集上提取到有效的特征。对这些有效的高级特征进行分类可以大大提高模型分类的准确率。

迁移学习主要适用于已有数据相对较少的情况，如果拥有的数据量足够大，即使不需要迁移学习也能够得到非常高的准确率。

2.如何使用与训练网络

2.1载入图像并创建数据集

首先，读入猫狗数据集中的图片。(实现过程的详细说明在Tensorflow学习笔记No.5中，这里不再赘述)

 

import tensorflow as tf
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
import pathlib
import random

data_root = pathlib.Path('../input/cat-and-dog/training_set/training_set')

all_image_path = list(data_root.glob('*/*.jpg'))
random.shuffle(all_image_path)
image_count = len(all_image_path)

label_name = sorted([item.name for item in data_root.glob('*')])
name_to_indx = dict((name, indx) for indx, name in enumerate(label_name))

all_image_path = [str(path) for path in all_image_path]
all_image_label = [name_to_indx[pathlib.Path(p).parent.name] for p in all_image_path]

def load_pregrosess_image(path, label):
    image = tf.io.read_file(path)
    image = tf.image.decode_jpeg(image, channels = 3)
    image = tf.image.resize(image, [256, 256])
    image = tf.cast(image, tf.float32)
    image = image / 255
    return image, label

train_image_ds = tf.data.Dataset.from_tensor_slices((all_image_path, all_image_label))

AUTOTUNE = tf.data.experimental.AUTOTUNE
dataset = train_image_ds.map(load_pregrosess_image, num_parallel_calls = AUTOTUNE)

BATCHSIZE = 16
train_count = int(image_count * 0.8)
test_count = image_count - train_count

train_dataset = dataset.take(train_count)
test_dataset = dataset.skip(train_count)

train_dataset = train_dataset.shuffle(train_count).repeat().batch(BATCHSIZE)
test_dataset = test_dataset.repeat().batch(BATCHSIZE)

 

2.2加载与训练网络并构建网络模型

与训练的网络由两个部分构成，训练好的卷积基和训练好的分类器。我们需要使用训练好的卷积基来提取特征，并使用自定义的分类器对自己的数据集进行分类识别。

如下图所示：

 

 

训练过程中，我们仅仅对自定义的分类器进行训练，而不训练预训练好的卷积基部分。

 

预训练的卷积基可以非常好的提取图像的某些特征，在训练过程中，由于分类器是一个全新的没有训练过的分类器，在训练初期会产生很大的loss值，由于数据量较少，如果不对预训练的卷积基进行冻结(不更新参数)处理，产生的loss值经梯度传递会对预训练的卷积基造成非常大的影响，且由于可训练数据较少儿难以恢复，所以只对自定义的分类器进行训练，而不训练卷积基。

 

 首先从tf.keras.applications中创建一个预训练VGG16的卷积基。

cov_base = tf.keras.applications.VGG16(weights = 'imagenet', include_top = False)

weight是我们要使用的模型权重，我们使用经imagenet训练过的模型的权重信息进行迁移学习。

include_top是指，是否使用预训练的分类器。在迁移学习过程中我们使用自定义的分类器，所以参数为False。

然后我们对创建好的卷积基进行冻结处理，冻结所有的可训练参数。

cov_base.trainable = False

使用keras.Sequential()创建网络模型。

model = tf.keras.Sequential()
model.add(cov_base)
model.add(tf.keras.layers.GlobalAveragePooling2D())
model.add(tf.keras.layers.Dense(512, activation = 'relu'))
model.add(tf.keras.layers.Dense(1, activation = 'sigmoid'))

在模型中加入卷积基和自定义的分类器。

模型结构如下图所示：

我们得到了一个可训练参数仅为263，169的预训练VGG16网络模型。

2.3使用自定义数据训练分类器

此时模型已经搭建完毕，我们使用之前处理好的数据对它进行训练。

model.compile(optimizer = 'adam',
              loss = 'binary_crossentropy',
              metrics = ['acc']
             )

history = model.fit(train_dataset,
                    steps_per_epoch = train_count // BATCHSIZE,
                    epochs = 10,
                    validation_data = test_dataset,
                    validation_steps = test_count // BATCHSIZE
                   )

plt.plot(history.epoch, history.history.get('acc'), label = 'acc')
plt.plot(history.epoch, history.history.get('val_acc'), label = 'acc')

训练结果如下图所示：

模型在训练集和测试机上的正确率均达到了94%左右，而且仅仅经过了10个epoch就达到了这样的效果，足以看出迁移学习在小规模数据上的优势。

3.微调

虽然使用预训练网络可以轻易的达到94%左右的正确率，但是，如果我们还想继续提高这个正确率该怎样进行调整呢？

所谓微调，是冻结卷积基底部的卷积层，共同训练新添加的分类器和卷积基顶部的部分卷积层。

根据卷积神经网络提取特征的原理我们不难发现，越底层的卷积层提取到的图像特征越抽象越细小，而顶层的卷积层提取到的特征更大，更加的接近我们能直接观察到的数据特征，由于我们需要训练的数据和预训练时使用的数据不尽相同，所以越顶层的卷积层提取到的特征与我们所需要的特征差别越大。所以，我们只冻结底部的卷积层，将顶部的卷积层与训练好的分类器共同训练，会得到更好的拟合效果。

只有分类器以及训练好了，才能微调卷积基的顶部卷积层，否则由于训练初期的误差很大，会将卷积层之前学习到的参数破坏掉。

所以我们对卷积基进行解冻，并只对底部的卷积进行冻结。

cov_base.trainable = True
for layers in cov_base.layers[:-3]:
    layers.trainable = False

然后将模型继续进行训练。

model.compile(optimizer = tf.keras.optimizers.Adam(lr = 0.0001),
              loss = 'binary_crossentropy',
              metrics = ['acc']
             )

history = model.fit(train_dataset,
                    steps_per_epoch = train_count // BATCHSIZE,
                    epochs = 20,
                    initial_epoch = 10,
                    validation_data = test_dataset,
                    validation_steps = test_count // BATCHSIZE
                   )

plt.plot(history.epoch, history.history.get('acc'), label = 'acc')
plt.plot(history.epoch, history.history.get('val_acc'), label = 'acc')

注意将学习率调小，以便尽可能的达到loss的极小值点。

得到的结果如下图所示：

模型再训练集上达到了近乎100%的准确率，在测试集上也达到了96%左右准确率，微调的效果还是较为明显的。

 

那么关于迁移学习的介绍到这里就结束了o(*￣▽￣*)o，后续会更新更多内容。