【tensorflow】神经网络：断点续训

断点续训，即在一次训练结束后，可以先将得到的最优训练参数保存起来，待到下次训练时，直接读取最优参数，在此基础上继续训练。

 

读取模型参数：

存储模型参数的文件格式为 ckpt（checkpoint）。

生成 ckpt 文件时，会同步生成索引表，所以可通过判断是否存在索引表来判断是否存在模型参数。

# 模型参数保存路径
checkpoint_save_path = "class4/MNIST_FC/checkpoint/mnist.ckpt"  

if os.path.exists(checkpoint_save_path + ".index"):
    model.load_weights(checkpoint_save_path)

 

保存模型参数：

# 定义回调函数,在模型训练时,回调函数会被执行，完成保留参数操作
cp_callback = tf.keras.callbacks.ModelCheckpoint(
　　# 文件保存路径
　　filepath=checkpoint_save_path,

　　# 是否只保留模型参数
　　save_weights_only=True,

　　# 是否只保留最优结果
　　save_best_only=True
)

# 执行训练过程,保存新的训练参数
history = model.fit(x_train, y_train,
　　　　　　　　　　　　batch_size=32, epochs=5,
　　　　　　　　　　　　validation_data=(x_test, y_test),
　　　　　　　　　　　　validation_freq=1,
　　　　　　　　　　　　callbacks=[cp_callback])

 

 

代码：

import tensorflow as tf
import os

# 读取输入特征和标签
mnist = tf.keras.datasets.mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()

# 数据归一化,减小计算量,方便神经网络吸收
x_train, x_test = x_train/255.0, x_test/255.0

# 声明网络结构
model = tf.keras.models.Sequential([
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(128, activation="relu"),
    tf.keras.layers.Dense(10, activation="softmax")
])

# 配置训练方法
model.compile(optimizer="adam",
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False),
              metrics=[tf.keras.metrics.sparse_categorical_accuracy])

# 如果存在参数文件,直接读取,在此基础上继续训练
checkpoint_save_path = "class4/MNIST_FC/checkpoint/mnist.ckpt"  # 模型参数保存路径
if os.path.exists(checkpoint_save_path + ".index"):
    model.load_weights(checkpoint_save_path)

# 定义回调函数,在模型训练时,完成保留参数操作
cp_callback = tf.keras.callbacks.ModelCheckpoint(filepath=checkpoint_save_path,
                                                 save_weights_only=True,
                                                 save_best_only=True)

# 执行训练过程,保存新的训练参数
history = model.fit(x_train, y_train,
                    batch_size=32, epochs=5,
                    validation_data=(x_test, y_test),
                    validation_freq=1,
                    callbacks=[cp_callback])

# 打印网络结构和参数
model.summary()