百度飞桨深度学习框架系列课程笔记（一）——数据读取
本系列是针对于百度飞桨深度学习框架课程的笔记，主要是对百度官方课程资料的总结，内容是以入门项目——手写数字识别为例介绍深度学习模型的搭建和飞桨框架的使用方法。由于水平实在有限，不免产生谬误，欢迎读者多多批评指正。如需要转载请与博主联系，谢谢
用飞桨搭建模型——以手写数字识别为例
整体思路
利用飞桨搭建手写数字识别模型的整体思路如下图所示：
整个模型的代码可以大致分为5个部分，即数据处理、模型设计、训练配置、模型训练、模型保存和测试，每个部分中又有着多个需要考虑的任务，这就大概总结了深度学习模型搭建所需的步骤。下面是针对每个部分的具体介绍。
数据处理
数据的预处理是模型解决问题的第一步，干净而充实的训练数据是获得预测效果良好的模型的基本保证，实际工作中要根据所研究的任务不同而选择合适的处理方式。一般来说需要考虑数据读入、训练/验证集划分，生成批次数据、训练样本乱序及数据有效性校验等问题。
MNIST手写识别数据集分为训练集train_set、验证集val_set和测试集test_set，其中训练集又包含训练图像train_images和训练标签train_labels两个列表。train_image为[50000, 784]的二维列表，包含50000张图片，每张图片用一个长度为784的向量表示，内容是28*28尺寸的像素灰度值（黑白图片）。train_labels为[50000, ]的列表，表示这些图片对应的分类标签，即0-9之间的一个数字。
相关实现代码如下：
# 加载飞桨和相关数据处理的库
import paddle
import paddle.fluid as fluid
from paddle.fluid.dygraph.nn import Linear
import numpy as np
import os
import gzip
import json
import random
# 数据读取部分
# 声明数据集文件位置
datafile = './work/mnist.json.gz'
print('loading mnist dataset from {} ......'.format(datafile))
# 加载json数据文件
data = json.load(gzip.open(datafile))
print('mnist dataset load done')
# 读取到的数据区分训练集，验证集，测试集
train_set, val_set, eval_set = data
# 数据集相关参数，图片高度IMG_ROWS, 图片宽度IMG_COLS
IMG_ROWS = 28
IMG_COLS = 28
# 分批和乱序
imgs, labels = train_set[0], train_set[1]
# 获得数据集长度
imgs_length = len(imgs)
# 定义数据集每个数据的序号，根据序号读取数据
index_list = list(range(imgs_length))
# 读入数据时用到的批次大小
BATCHSIZE = 100
# 随机打乱训练数据的索引序号
random.shuffle(index_list)
# 定义数据生成器，返回批次数据
def data_generator():
imgs_list = []
labels_list = []
for i in index_list:
# 将数据处理成期望的格式，比如类型为float32，shape为[1, 28, 28]
img = np.reshape(imgs[i], [1, IMG_ROWS, IMG_COLS]).astype('float32')
label = np.reshape(labels[i], [1]).astype('float32')
imgs_list.append(img)
labels_list.append(label)
if len(imgs_list) == BATCHSIZE:
# 获得一个batchsize的数据，并返回
yield np.array(imgs_list), np.array(labels_list)
# 清空数据读取列表
imgs_list = []
labels_list = []
# 如果剩余数据的数目小于BATCHSIZE，
# 则剩余数据一起构成一个大小为len(imgs_list)的mini-batch
if len(imgs_list) > 0:
yield np.array(imgs_list), np.array(labels_list)
return data_generator
# 数据校验
# 声明数据读取函数，从训练集中读取数据
train_loader = data_generator
# 以迭代的形式读取数据（这里只是校验下图像和标签是否对应，一般在模型训练时读取）
for batch_id, data in enumerate(train_loader()):
image_data, label_data = data
if batch_id == 0: # 这里只看一组，如果自动校验可以遍历所有数据
# 人工校验
print("打印第一个batch数据的维度:")
print("图像维度: {}, 标签维度: {}, 图像数据类型: {}, 标签数据类型: {}".format(image_data.shape, label_data.shape, type(image_data), type(label_data)))
# 自动校验（与人工校验目的类似）
assert len(image_data.shape[0]) == len(label_data.shape[0]), \
"length of train_imgs({}) should be the same as train_labels({})".format(image_data.shape[0], label_data.shape[0])
break
在实际工程中我们通常将上述数据预处理步骤提前封装成函数，便于在训练部分直接调用。这里仅对数据读取部分进行封装，并预留train/val/test三种模式。此外所需的批次数据生成函数data_generator前面已定义，就不再重复了。
def load_data(mode='train'):
datafile = './work/mnist.json.gz'
print('loading mnist dataset from {} ......'.format(datafile))
# 加载json数据文件
data = json.load(gzip.open(datafile))
print('mnist dataset load done')
# 读取到的数据区分训练集，验证集，测试集
train_set, val_set, eval_set = data
if mode=='train':
# 获得训练数据集
imgs, labels = train_set[0], train_set[1]
elif mode=='valid':
# 获得验证数据集
imgs, labels = val_set[0], val_set[1]
elif mode=='eval':
# 获得测试数据集
imgs, labels = eval_set[0], eval_set[1]
else:
raise Exception("mode can only be one of ['train', 'valid', 'eval']")
print("训练数据集数量: ", len(imgs))
# 校验数据
imgs_length = len(imgs)
assert len(imgs) == len(labels), \
"length of train_imgs({}) should be the same as train_labels({})".format(len(imgs), len(label))
# 获得数据集长度
imgs_length = len(imgs)
# 定义数据集每个数据的序号，根据序号读取数据
index_list = list(range(imgs_length))
# 读入数据时用到的批次大小
BATCHSIZE = 100
为了提升模型整体运行效率，我们通常采取异步策略读取数据，即设立一个异步队列作为缓存区，将新读取的数据不断存入，而模型则从中取出前期存储的数据进行训练，从而实现数据读取和模型训练的并行运行。飞桨中相关实现方法如下：
# 定义数据读取后存放的位置，CPU或者GPU，这里使用CPU，place = fluid.CUDAPlace(0) 时，数据才读取到GPU上
place = fluid.CPUPlace()
with fluid.dygraph.guard(place):
# 声明数据加载函数，使用训练模式
train_loader = load_data(mode='train')
# 定义DataLoader对象用于加载Python生成器产生的数据，数据会由Python线程预先读取，并异步送入一个队列中（如果去掉下面两句则代码变为同步读取策略）
# 参数capacity表示在DataLoader中维护的队列容量，如果读取数据的速度很快，建议设置为更大的值；return_list：在动态图模式下需要设置为“True”，详细参数介绍见飞桨技术文档
data_loader = fluid.io.DataLoader.from_generator(capacity=5, return_list=True)
# 设置数据生成器，输入的参数是一个Python数据生成器train_loader和服务器资源类型place（标明CPU还是GPU）
data_loader.set_batch_generator(train_loader, places=place)
# 迭代的读取数据并打印数据的形状
for i, data in enumerate(data_loader):
image_data, label_data = data
print(i, image_data.shape, label_data.shape)
if i>=5:
break
利用上述数据读取部分，我们可以搭建一个最简单的一层神经网络进行训练，以此展示读取的数据应当如何使用。即使今后搭建非常复杂的模型，整体思路也是一样的。
class MNIST(fluid.dygraph.Layer): # 定义神经网络模型
def __init__(self):
super(MNIST, self).__init__()
self.fc = Linear(input_dim=784, output_dim=1, act=None)
def forward(self, inputs):
inputs = fluid.layers.reshape(inputs, (-1, 784))
outputs = self.fc(inputs)
return outputs
with fluid.dygraph.guard():
model = MNIST()
model.train()
# 调用加载数据的函数
train_loader = load_data('train')
# 创建异步数据读取器
place = fluid.CPUPlace()
data_loader = fluid.io.DataLoader.from_generator(capacity=5, return_list=True)
data_loader.set_batch_generator(train_loader, places=place)
optimizer = fluid.optimizer.SGDOptimizer(learning_rate=0.001, parameter_list=model.parameters())
EPOCH_NUM = 3
for epoch_id in range(EPOCH_NUM):
for batch_id, data in enumerate(data_loader):
# 准备数据，变得更加简洁
image_data, label_data = data
image = fluid.dygraph.to_variable(image_data)
label = fluid.dygraph.to_variable(label_data)
# 前向计算的过程
predict = model(image)
# 计算损失，取一个批次样本损失的平均值
loss = fluid.layers.square_error_cost(predict, label)
avg_loss = fluid.layers.mean(loss)
# 每训练了200批次的数据，打印下当前Loss的情况
if batch_id % 200 == 0:
print("epoch: {}, batch: {}, loss is: {}".format(epoch_id, batch_id, avg_loss.numpy()))
# 后向传播，更新参数的过程
avg_loss.backward()
optimizer.minimize(avg_loss)
model.clear_gradients()
#保存模型参数
fluid.save_dygraph(model.state_dict(), 'mnist')
参考资料：
