Slim模型部署多GPU
1 多GPU原理
单GPU时，思路很简单，前向、后向都在一个GPU上进行，模型参数更新时只涉及一个GPU。
多GPU时，有模型并行和数据并行两种情况。
模型并行指模型的不同部分在不同GPU上运行。
数据并行指不同GPU上训练数据不同，但模型是同一个（相当于是同一个模型的副本）。
TensorFlow支持的是数据并行。
数据并行的原理：CPU负责梯度平均和参数更新，在GPU上训练模型的副本。
多GPU并行计算的过程如下：
1）模型副本定义在GPU上;
2）对于每一个GPU, 都是从CPU获得数据,前向传播进行计算,得到loss,并计算出梯度;
3）CPU接到GPU的梯度,取平均值,然后进行梯度更新。
这个在tf的实现思路如下：
模型参数保存在一个指定gpu/cpu上，模型参数的副本在不同gpu上，每次训练，提供batch_size*gpu_num数据，并等量拆分成多个batch，分别送入不同GPU。前向在不同gpu上进行，模型参数更新时，将多个GPU后向计算得到的梯度数据进行平均，并在指定GPU/CPU上利用梯度数据更新模型参数。
假设有两个GPU（gpu0,gpu1），模型参数实际存放在cpu0上，实际一次训练过程如下图所示：
2 model_deploy.py文件及其用法
为了能让一个Slim模型在多个GPU上训练更加容易，这个模块提供了一系列帮助函数，比如create_clones()、optimize_clones()、deploy()、gather_clone_loss()、_add_gradients_summaries()、_sum_clones_gradients()等，该模块位于：https://github.com/tensorflow/models/blob/master/research/slim/deployment/model_deploy.py
用法如下：
g = tf.Graph()
# 定义部署配置信息，你可以将此类的实例传递给deploy()以指定如何部署要构建的模型。 如果未传递，则将使用从默认deployment_hparams构建的实例。
config = model_deploy.DeploymentConfig(num_clones=2, clone_on_cpu=True)
# 在保存变量的设备上创建global step
with tf.device(config.variables_device()):
global_step = slim.create_global_step()
# 定义输入
with tf.device(config.inputs_device()):
images, labels = LoadData(...)
inputs_queue = slim.data.prefetch_queue((images, labels))
# 定义优化器
with tf.device(config.optimizer_device()):
optimizer = tf.train.MomentumOptimizer(FLAGS.learning_rate, FLAGS.momentum)
# 定义模型和损失函数
def model_fn(inputs_queue):
images, labels = inputs_queue.dequeue()
predictions = CreateNetwork(images)
slim.losses.log_loss(predictions, labels)
# 模型部署
model_dp = model_deploy.deploy(config, model_fn, [inputs_queue],optimizer=optimizer)
# 开始训练
slim.learning.train(model_dp.train_op, my_log_dir,summary_op=model_dp.summary_op)
Clone namedtuple：把那些每次调用model_fn的关联值保存在一起
- outputs: 调用model_fn()后的返回值
- scope: 用来创建clone的scope
- device: 用来创建clone的设备
DeployedModel namedtuple： 把那些需要被多个副本训练的值保存在一起
- train_op: 一个运行优化器训练的操作，包含由model_fn创建的更新操作。仅仅在指定优化器时显示。
- summary_op : 一个由model_fn()创建的操作，用来summeries和处理梯度。
- total_loss: 总的损失，包含由model_fn()返回的损失和正则化损失的总和
- clones: 通过create_clones()返回的克隆元组列表
DeploymentConfig的参数：
- num_clones: 部署在每个副本上的模型克隆数量，该模型将在每个副本中复制num_clones次。
- clone_on_cpu: 如果为true，则克隆被放在CPU上
- replica_id: 模型部署所在副本的索引，对于主副本而言通常是0
- num_replicas: 如果num_replicas为1，则通过单个进程部署模型。 在这种情况下，worker_device，num_ps_tasks和ps_device将被忽略。如果num_replicas大于1，则worker_device和ps_device必须为worker和ps作业指定TensorFlow设备，而num_ps_tasks必须为正。
- num_ps_tasks : ps作业的任务数。 0不使用副本。
- worker_job_name : 作业名
- ps_job_name : 参数服务器作业名
