TensorFlow 2.0 快速搭建神经网络
tf.keras 是 TensorFlow2 引入的高度封装框架,可以快速搭建神经网络模型。下面介绍一些常用API,更多内容可以参考官方文档:tensorflow
1 tf.keras 搭建神经网络六步法
- import
- train, test
- model = tf.keras.models.Sequential
- model.compile
- model.fit
- model.summary
1.1 import 相关模块
如 import tensorflow as tf
1.2 指定输入网络的训练集和测试集
如指定训练集的输入 x_train 和标签 y_train,测试集的输入 x_test 和 y_test。
1.3 逐层搭建网络结构
model = tf.keras.models.Sequential()
model = tf.keras.models.Sequential()
Sequential函数是一个容器,描述了神经网络的网络结构,在 Sequential 函数的输入参数中描述从输入层到输出层的网络结构。
网络结构示例:
# 拉直层 tf.keras.layers.Flatten()
# 全连接层 tf.keras.layers.Dense( 神经元个数, activation=”激活函数”, kernel_regularizer=”正则化方式”) # 可选参数 # activation: relu、softmax、sigmoid、tanh 等 # kernel_regularizer: tf.keras.regularizers.l1()、tf.keras.regularizers.l2()
# 卷积层 tf.keras.layers.Conv2D( filter = 卷积核个数, kernel_size = 卷积核尺寸, strides = 卷积步长, padding = “valid” or “same”)
用于正则化的 范数。
1.4 配置神经网络的训练方法
告知训练时使用的优化器、损失函数和准确率评测标准。
model.compile( optimizer = 优化器, loss = 损失函数, metrics = [“准确率”])
optimizer 可以是字符串形式给出的优化器名字,也可以是函数形式,使用函数形式可以设置学习率、动量和超参数。详细可参考:神经网络中的优化器
‘sgd’or tf.optimizers.SGD( lr=学习率, decay=学习率衰减率, momentum=动量参数) ‘adagrad’or tf.keras.optimizers.Adagrad(lr=学习率, decay=学习率衰减率) ‘adadelta’or tf.keras.optimizers.Adadelta(lr=学习率, decay=学习率衰减率) ‘adam’or tf.keras.optimizers.Adam (lr=学习率, decay=学习率衰减率)
loss 可以是字符串形式给出的损失函数的名字,也可以是函数形式。详细可参考:神经网络中的损失函数
‘mse’or tf.keras.losses.MeanSquaredError() ‘sparse_categorical_crossentropy’ or tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False)
损失函数常需要经过 softmax 等函数将输出转化为概率分布的形式。from_logits 则用来标注该损失函数是否需要转换为概率的形式,取 False 时表示转化为概率分布,取 True 时表示没有转化为概率分布,直接输出。
metrics 标注网络评测指标。注意,metrics 可以为复数形式,即指定多个 metrics。
‘accuracy’:y_和 y 都是数值。
如 y_=[1] y=[1]。 ‘categorical_accuracy’:y_和 y 都是以独热码和概率分布表示。 如 y_=[0, 1, 0], y=[0.256, 0.695, 0.048]。 ‘sparse_ categorical_accuracy’:y_是以数值形式给出,y 是以独热码形式给出。 如 y_=[1],y=[0.256, 0.695, 0.048]。
1.5 执行训练过程
model.fit(训练集的输入特征, 训练集的标签,
batch_size,
epochs,
validation_data = (测试集的输入特征,测试集的标签),
validataion_split = 从训练集划分多少比例给测试集,
validation_freq = 测试的epoch间隔次数)
更多参数可见:model.fit()。
关于 batch_size、epochs、iteration 区别。
关于 训练集、验证集、测试集 概念。
1.6 打印网络结构和参数统计
model.summary()
1.7 class声明网络结构
使用 Sequential 可以快速搭建网络结构,但是如果网络包含跳连等其他复杂网络结构,Sequential 就无法表示了。这就需要使用 class 来声明网络结构。
class MyModel(Model): def __init__(self): super(MyModel, self).__init__() 初始化网络结构 def call(self, x): y = self.d1(x) return y
model = MyModel()
使用 class 类封装网络结构,如上所示是一个 class 模板,MyModel 表示声明的神经网络的名字,括号中的 Model 表示创建的类需要继承 tensorflow 库中的 Model 类。
__init__():定义所需网络结构块
call():写出前向传播。
2 iris 数据集代码示例
import tensorflow as tf from sklearn import datasets import numpy as np x_train = datasets.load_iris().data y_train = datasets.load_iris().target np.random.seed(116) np.random.shuffle(x_train) np.random.seed(116) np.random.shuffle(y_train) model = tf.keras.Sequential([ tf.keras.layers.Dense(3, activation='softmax', kernel_regularizer=tf.keras.regularizers.l2()) ]) model.compile(optimizer=tf.keras.optimizers.SGD(lr=0.1), loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False), metrics=[tf.keras.metrics.sparse_categorical_accuracy]) model.fit(x_train, y_train, batch_size=32, epochs=500, validation_freq=20, validation_split=0.2) model.summary()
如果我们使用 class 申明网络结构,可写成如下形式:
import tensorflow as tf from sklearn import datasets import numpy as np x_train = datasets.load_iris().data y_train = datasets.load_iris().target np.random.seed(116) np.random.shuffle(x_train) np.random.seed(116) np.random.shuffle(y_train) class IrisModel(tf.keras.Model): def __init__(self): super(IrisModel, self).__init__() self.d1 = tf.keras.layers.Dense(3, activation='softmax', kernel_regularizer=tf.keras.regularizers.l2()) def call(self, inputs, training=None, mask=None): y = self.d1(inputs) return y model = IrisModel() model.compile(optimizer=tf.keras.optimizers.SGD(lr=0.1), loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False), metrics=[tf.keras.metrics.sparse_categorical_accuracy]) model.fit(x_train, y_train, batch_size=32, epochs=10, validation_freq=2, validation_split=0.2) model.summary()
3 MNIST 数据集代码示例
MNIST 数据集是一个有七万张图片、28×28 像素的 0~9 手写数字数据集。其中六万张用于训练,一万张用于测试。
import tensorflow as tf mnist = tf.keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train, x_test = x_train / 255.0, x_test / 255.0 model = tf.keras.models.Sequential([ tf.keras.layers.Flatten(), tf.keras.layers.Dense(128, activation=tf.keras.activations.relu), tf.keras.layers.Dense(10, activation=tf.keras.activations.softmax) ]) model.compile(optimizer=tf.keras.optimizers.Adam(), loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False), metrics=[tf.keras.metrics.sparse_categorical_accuracy]) model.fit(x_train, y_train, batch_size=32, epochs=5, validation_data=(x_test, y_test), validation_freq=1) model.summary()
使用 class 申明网络结构
import tensorflow as tf mnist = tf.keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train, x_test = x_train / 255.0, x_test / 255.0 print(x_train.shape) class MnistModel(tf.keras.Model): def __init__(self): super(MnistModel, self).__init__() self.flatten = tf.keras.layers.Flatten() self.d1 = tf.keras.layers.Dense(128, activation=tf.keras.activations.relu) self.d2 = tf.keras.layers.Dense(10, activation=tf.keras.activations.softmax) def call(self, inputs, training=None, mask=None): x = self.flatten(inputs) x = self.d1(x) y = self.d2(x) return y model = MnistModel() model.compile(optimizer=tf.keras.optimizers.Adam(), loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False), metrics=[tf.keras.metrics.sparse_categorical_accuracy]) model.fit(x_train, y_train, batch_size=32, epochs=5, validation_data=(x_test, y_test), validation_freq=1) model.summary()
数据增强、断点续存、acc/loss可视化等功能实现可参考 下一节。