深度学习 Tensor flow（四）

预训练网路（迁移学习）

预训练网络是一个在大型数据集上训练好的卷积神经网络。

针对训练数据量比较少的情况；

当训练数据集足够大且够通用，预训练网络可以作为有效的提取视觉世界特征的模型。

 

keras 内置预训练网络：（分类）

VGG16、VGG19、ResNet50、Iception v3、Xception 等。

在 ImageNet 进行过训练的模型，它对日常见到的一千多种物品进行了分类，是一个分类数据集。

 

VGG 模型：

VGG 模型简单有效，前几层仅使用 3x3 卷积核增加网络深度，通过 max pooling 依次减少每层神经元数量，最后三层分别是 2 个有 4096 个神经元的全连接层和一个 softmax 层。

缺点：网络架构 weight 数量相当大，消耗磁盘空间；训练非常慢。

 

试验：

covn_base = keras.applications.VGG16(weights='imagenet', include_top=False)    # weight参数表示是否使用预训练好的权重
                                                                               # include_top参数表示是否包含最后的全连接层，False表示只包含卷积基

covn_base.summary()

model = keras.Sequential()
model.add(covn_base)
model.add(layers.GlobalAveragePooling2D())    # 功能类似于flatten，对上面最后输出进行扁平化，更高效，效果更好，训练参数比较少
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))

covn_base.trainable = False    # 把卷积基的权重设为不可训练，不进行改变

 

微调：

冻结模型库的底部的卷积层，共同训练新添加的分类器层和顶部部分卷积层。

底部的卷积层会提取一些通用的特征，顶部的卷积层随着视野的增大会形成一些抽象的图形，会更加的与特定的任务相关。

只有分类器已经训练好了，才可以微调卷积基的顶部的卷积层。否则刚开始训练误差很大，微调之前这些卷积层学到的表示会被破坏掉。

 

微调步骤：

一、在预训练卷积基上添加自定义层

二、冻结卷积基多有层

三、训练添加的分类层

四、解冻卷积基的一部分层

五、联合训练解冻的卷积层和添加的自定义层

 

实际操作：

covn_base.trainable = True
len(covn_base.layers)    # 计算卷积基层数
fine_tune_at = -3    # 取最后三层进行微调
for layer in covn_base.layers[:fine_tune_at]:
    layer.trainable = False    # 除了最后三层，其余的都设为权值不改变
model.compile(optimizer=keras.optimizers.Adam(lr=0.0005/10),   # 更低的学习速率，寻找loss的极值
              loss='binary_crossentropy',
              metrics=['acc'])

initial_epochs = 12    # 前面训练12次
fine_tune_epochs = 10    # 新的训练10次
total_epochs = initial_epochs + fine_tune_epochs

history = model.fit(
    train_image_ds,
    steps_per_epoch = train_count//BATCH_SIZE,
    epochs = total_epochs,
    initial_epoch = initial_epochs,
    validation_data = test_image_ds,
    validation_steps = test_count//BATCH_SIZE
)

 

常见的预训练网络模型

在 ImageNet 上与训练过的用于图像分类的模型：

VGG16、VGG19、ResNet50（用残差网络构建的模型）

InceptionV3、InceptionResNetV2、Xception（可分离卷积构建的模型）

MobileNet、MobileNetV2：适用于小模型

DenseNet、NASNet

 

以 Xception 为例：

tf.keras.applications.xception.Xception(
    include_top=True,    # 是否包含最后的全连接层
    weights='imagenet',    # None 表示随机初始化，imagenet 表示加载 ImageNet 上训练的权值
    input_tensor=None,
    input_shape=None,    # 可选输入尺寸元组，仅当 include_top=False 有效，否则输入必须是（299，299，3），需拥有3个输入通道，宽高不小于71
    pooling=None,    # 可选，是否包含最后的全局池化
                     # 当 include_top=False，该参数指定了特征提取时的池化方式
                     # None 表示不池化，直接输出最后一层卷积层的输出，输出的是一个4D张量，需要人为的加一个 GlobalAveragePooling2D 层，输出变成2D张量
                     # 'avg' 代表全局平均池化（GlobalAveragePooling2D），相当于在最后一层卷积层后面加一层全局平均池化曾，输出 2D 张量
                     # 'max' 代表全局最大池化
    classes=1000
)

 

该模型只支持 channels_last 的维度顺序（高度、宽度、通道）—— 一般情况，图片按照这个格式写，有些情况也会（通道、高度、宽度）

模型默认输入尺寸是 299x299

其他模型参考：https://keras.io/zh/applications/