深度学习开发框架Keras入门(1)
keras英文官网:https://keras.io/getting_started/
keras中文官网:https://keras.io/zh/
注:强烈建议学Tensorflow2.0框架之前先把Keras手册看下。然而官网上内容太多,可能有点看不过来。我在读的时候边看边实现,把重点的以后会经常用到的函数API记录于此,另加一些个人笔记,供诸君参阅。
Keras是由纯python编写的基于theano/tensorflow的深度学习框架。可以把keras看做TensorFlow封装后的一个API。TensorFlow是比较底层的深度学习模型开发语言。Keras是基于TensorFlow的高级API,通常直接调用一些封装好的函数就可以实现某些功能,而tensorflow虽然比较底层,但是可以比较灵活地定义模型结构。就好比C语言是最基础的语言,C++在其基础上进行了高级封装。
Keras有两种类型的模型,序列模型(Sequential)和函数式模型(Model),函数式模型应用更为广泛,序贯模型是函数式模型的一种特殊情况。
- 序列模型(Sequential):单输入单输出,一条路通到底,层与层之间只有相邻关系,没有跨层连接。这种模型编译速度快,操作也比较简单
- 函数式模型(Model):多输入多输出,层与层之间任意连接。这种模型编译速度慢。
初学者可以阅读下面这段代码,跑一跑结果,熟悉下流程。
# Classifier mnist
import numpy as np
np.random.seed(1337)
from keras.datasets import mnist
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense, Activation
from keras.optimizers import RMSprop
# 下载数据集
(X_train, y_train), (X_test, y_test) = mnist.load_data()
# 数据预处处理
X_train = X_train.reshape(X_train.shape[0], -1) / 255.
X_test = X_test.reshape(X_test.shape[0], -1) / 255.
y_train = np_utils.to_categorical(y_train, num_classes=10)
y_test = np_utils.to_categorical(y_test, num_classes=10)
# 不使用model.add(),用以下方式也可以构建网络
model = Sequential([
Dense(400, input_dim=784),
Activation('relu'),
Dense(10),
Activation('softmax'),
])
# 定义优化器
rmsprop = RMSprop(lr=0.001, rho=0.9, epsilon=1e-08, decay=0.0)
model.compile(optimizer=rmsprop,
loss='categorical_crossentropy',
metrics=['accuracy']) # metrics赋值为'accuracy',会在训练过程中输出正确率
# 用fit()来训练网路
print('Training ------------')
model.fit(X_train, y_train, epochs=4, batch_size=32)
print('\nTesting ------------')
# 评价训练出的网络
loss, accuracy = model.evaluate(X_test, y_test)
print('test loss: ', loss)
print('test accuracy: ', accuracy)
1、Sequential模型
序列模型是多个网络层的线性堆叠,可以通过将网络层实例的列表传递给Sequential构造器,来创建一个Sequential模型:
from keras.models import Sequential
from keras.layers import Dense, Activation
model = Sequential([
Dense(32, input_shape=(784,)),
Activation('relu'),
Dense(10),
Activation('softmax'),
])
也可以简单地使用 .add()
方法将各层添加到模型中:
model = Sequential()
model.add(Dense(32, input_dim=784))
model.add(Activation('relu'))
model = Sequential()
model.add(Dense(32,input_shape(784,)))
# 下面一段等价代码
model = Sequential()
model.add(Dense(32, input_dim=784))
参数:
- 传递一个
input_shape
参数给第一层。它是一个表示尺寸的元组 (一个由整数或None
组成的元组,其中None
表示可能为任何正整数)。在input_shape
中不包含数据的 batch 大小。 - 某些 2D 层,例如
Dense
,支持通过参数input_dim
指定输入尺寸,某些 3D 时序层支持input_dim
和input_length
参数。 - 如果你需要为你的输入指定一个固定的 batch 大小(这对 stateful RNNs 很有用),你可以传递一个
batch_size
参数给一个层。如果你同时将batch_size=32
和input_shape=(6, 8)
传递给一个层,那么每一批输入的尺寸就为(32,6,8)
。
1.1 Compile()
compile:用于配置训练模型
compile(optimizer, loss=**None**, metrics=**None**, loss_weights=**None**, sample_weight_mode=**None**, weighted_metrics=**None**, target_tensors=**None**)
参数说明:
- optimizer: 字符串(优化器名)或者优化器对象。
- loss: 字符串(目标函数名)或目标函数。 如果模型具有多个输出,则可以通过传递损失函数的字典或列表,在每个输出上使用不同的损失。。
- metrics: 在训练和测试期间的模型评估标准。通常你会使用
metrics = ['accuracy']
。 要为多输出模型的不同输出指定不同的评估标准,还可以传递一个字典,如metrics = {'output_a':'accuracy'}
。
异常: ValueError:如果optimizer, loss,metrics或者sample_weight_mode这些参数不合法。
# 多分类问题
model.compile(optimizer='rmsprop',
loss='categorical_crossentropy',
metrics=['accuracy'])
# 二分类问题
model.compile(optimizer='rmsprop',
loss='binary_crossentropy',
metrics=['accuracy'])
# 均方误差回归问题
model.compile(optimizer='rmsprop',
loss='mse')
# 自定义评估标准函数
import keras.backend as K
def mean_pred(y_true, y_pred):
return K.mean(y_pred)
model.compile(optimizer='rmsprop',
loss='binary_crossentropy',
metrics=['accuracy', mean_pred])
1.2 fit()
fit(): 以固定数量的轮次(数据集上的迭代)训练模型
fit(x=None, y=None, batch_size=None, epochs=1, verbose=1, callbacks=None, validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None, initial_epoch=0, steps_per_epoch=None, validation_steps=None)
参数
- x: 训练数据的 Numpy 数组。 如果模型中的输入层被命名,你也可以传递一个字典,将输入层名称映射到 Numpy 数组。
- y: 目标(标签)数据的 Numpy 数组。 如果模型中的输出层被命名,你也可以传递一个字典,将输出层名称映射到 Numpy 数组。
- batch_size: 整数或
None
。每次梯度更新的样本数。 - epochs: 整数。训练模型迭代轮次。一个轮次是在整个
x
或y
上的一轮迭代。请注意,与initial_epoch
一起,epochs
被理解为 「最终轮次」。模型并不是训练了epochs
轮,而是到第epochs
轮停止训练。 - callbacks: 一系列的
keras.callbacks.Callback
实例。一系列可以在训练时使用的回调函数。 - validation_split: 在 0 和 1 之间浮动。用作验证集的训练数据的比例。模型将分出一部分不会被训练的验证数据,并将在每一轮结束时评估这些验证数据的误差和任何其他模型指标。验证数据是混洗之前
x
和y
数据的最后一部分样本中。 - validation_data: 元组
(x_val,y_val)
或元组(x_val,y_val,val_sample_weights)
,用来评估损失,以及在每轮结束时的任何模型度量指标。模型将不会在这个数据上进行训练。这个参数会覆盖validation_split
。 - shuffle: 布尔值(是否在每轮迭代之前混洗数据)或者 字符串 (
batch
)。 - sample_weight: 训练样本的可选 Numpy 权重数组,用于对损失函数进行加权(仅在训练期间)。您可以传递与输入样本长度相同的平坦(1D)Numpy 数组(权重和样本之间的 1:1 映射),或者在时序数据的情况下,可以传递尺寸为
(samples, sequence_length)
的 2D 数组,以对每个样本的每个时间步施加不同的权重。在这种情况下,你应该确保在compile()
中指定sample_weight_mode="temporal"
。 - initial_epoch: 开始训练的轮次(有助于恢复之前的训练)。
- steps_per_epoch: 在声明一个轮次完成并开始下一个轮次之前的总步数(样品批次)。使用 TensorFlow 数据张量等输入张量进行训练时,默认值
None
等于数据集中样本的数量除以 batch 的大小,如果无法确定,则为 1。 - validation_steps: 只有在指定了
steps_per_epoch
时才有用。停止前要验证的总步数(批次样本)。
返回
一个 History
对象。其 History.history
属性是连续 epoch 训练损失和评估值,以及验证集损失和评估值的记录(如果适用)。
异常
- RuntimeError: 如果模型从未编译。
- ValueError: 在提供的输入数据与模型期望的不匹配的情况下。
# 对于具有 2 个类的单输入模型(二进制分类):
model = Sequential()
model.add(Dense(32, activation='relu', input_dim=100))
model.add(Dense(1, activation='sigmoid'))
model.compile(optimizer='rmsprop',
loss='binary_crossentropy',
metrics=['accuracy'])
# 生成虚拟数据
import numpy as np
data = np.random.random((1000, 100))
labels = np.random.randint(2, size=(1000, 1))
# 训练模型,以 32 个样本为一个 batch 进行迭代
model.fit(data, labels, epochs=10, batch_size=32)
1.3 evaluate()
在测试模式,返回误差值和评估标准值。 计算逐批次进行。
evaluate(x=None, y=None, batch_size=None, verbose=1, sample_weight=None, steps=None)
参数:
- x: 训练数据的 Numpy 数组
- y: 目标(标签)数据的 Numpy 数组
- batch_size: 整数或
None
。每次提度更新的样本数。如果未指定,默认为 32. - steps: 整数或
None
。 声明评估结束之前的总步数(批次样本)。默认值None
。
返回: 标量测试误差(如果模型只有单个输出且没有评估指标)或标量列表(如果模型具有多个输出和/或指标。
1.4 predict()
predict: 为输入样本生成输出预测 计算逐批次进行。
predict(x, batch_size=None, verbose=0, steps=None)
参数
- x: 输入数据,Numpy 数组(或者如果模型有多个输入,则为 Numpy 数组列表)。
- batch_size: 整数。如未指定,默认为 32。
- verbose: 日志显示模式,0 或 1。
- steps: 声明预测结束之前的总步数(批次样本)。默认值
None
。
返回
预测的 Numpy 数组。
异常
- ValueError: 如果提供的输入数据与模型的期望数据不匹配,或者有状态模型收到的数量不是批量大小的倍数。
2、使用函数式API的Model类模型
2.1 Model类继承
你可以通过继承Model类并在call方法中实现你自己的前向传播,以创建自己的完全定制化的模型(Model类继承API引入于Keras2.2.0)
# 这是一个用Model类继承的简单MLP的例子
import keras
class SimpleMLP(keras.Model):
def __init__(self, use_bn=False, use_dp=False, num_classes=10):
super(SimpleMLP, self).__init__(name='mlp')
self.use_bn = use_bn
self.use_dp = use_dp
self.num_classes = num_classes
self.dense1 = keras.layers.Dense(32, activation='relu')
self.dense2 = keras.layers.Dense(num_classes, activation='softmax')
if self.use_dp:
self.dp = keras.layers.Dropout(0.5)
if self.use_bn:
self.bn = keras.layers.BatchNormalization(axis=-1)
def call(self, inputs):
x = self.dense1(inputs)
if self.use_dp:
x = self.dp(x)
if self.use_bn:
x = self.bn(x)
return self.dense2(x)
model = SimpleMLP()
model.compile(...)
model.fit(...)
网络层定义在 __init__(self, ...)
中,前向传播在 call(self, inputs)
中指定。在 call
中,你可以指定自定义的损失函数,通过调用 self.add_loss(loss_tensor)
(就像你在自定义层中一样)。
2.2 Model类模型方法
在函数式 API 中,给定一些输入张量和输出张量,可以通过以下方式实例化一个 Model
:
from keras.models import Model
from keras.layers import Input, Dense
a = Input(shape=(32,))
b = Dense(32)(a)
model = Model(inputs=a, outputs=b)
compile:用于配置训练模型
compile(optimizer, loss=None, metrics=None, loss_weights=None, sample_weight_mode=None, weighted_metrics=None, target_tensors=None)
参数
- optimizer: 字符串(优化器名)或者优化器实例。
- loss: 字符串(目标函数名)或目标函数。如果模型具有多个输出,则可以通过传递损失函数的字典或列表,在每个输出上使用不同的损失。
- metrics: 在训练和测试期间的模型评估标准。 通常你会使用
metrics = ['accuracy']
。 要为多输出模型的不同输出指定不同的评估标准, 还可以传递一个字典,如metrics = {'output_a':'accuracy'}
。 - loss_weights: 可选的指定标量系数(Python 浮点数)的列表或字典, 用以衡量损失函数对不同的模型输出的贡献。 模型将最小化的误差值是由
loss_weights
系数加权的加权总和误差。 如果是列表,那么它应该是与模型输出相对应的 1:1 映射。 如果是张量,那么应该把输出的名称(字符串)映到标量系数。 - sample_weight_mode: 如果你需要执行按时间步采样权重(2D 权重),请将其设置为
temporal
。 默认为None
,为采样权重(1D)。 如果模型有多个输出,则可以通过传递 mode 的字典或列表,以在每个输出上使用不同的sample_weight_mode
。 - weighted_metrics: 在训练和测试期间,由 sample_weight 或 class_weight 评估和加权的度量标准列表。
异常
- ValueError: 如果
optimizer
,loss
,metrics
或sample_weight_mode
这些参数不合法。
fit: 以给定数量的轮次(数据集上的迭代)训练模型
fit(x=None, y=None, batch_size=None, epochs=1, verbose=1, callbacks=None, validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None, initial_epoch=0, steps_per_epoch=None, validation_steps=None)
返回
一个 History
对象。其 History.history
属性是连续 epoch 训练损失和评估值,以及验证集损失和评估值的记录(如果适用)。
异常
- RuntimeError: 如果模型从未编译。
- ValueError: 在提供的输入数据与模型期望的不匹配的情况下。
evaluate: 在测试模式下返回模型的误差值和评估标准值。
evaluate(x=None, y=None, batch_size=None, verbose=1, sample_weight=None, steps=None)
predict: 为输入样本生成输出预测
predict(x, batch_size=None, verbose=0, steps=None)
返回
预测的 Numpy 数组(或数组列表)。
异常
- ValueError: 在提供的输入数据与模型期望的不匹配的情况下, 或者在有状态的模型接收到的样本不是 batch size 的倍数的情况下。
下篇将会讲网络层layers、编写自己的keras层、数据预处理、损失函数losses、评价函数metrics、优化器optimizers、激活函数Activations、回调函数等。