TensorFlow学习笔记（七）TesnorFlow实现计算加速
目录：
一、TensorFlow使用GPU
二、深度学习训练与并行模式
三、多GPU并行
四、分布式TensorFlow
4.1分布式TensorFlow的原理
4.2分布式TensorFlow模型训练
4.3使用caicloud运行分布式TensorFlow
深度学习应用到实际问题中，一个非常棘手的问题是训练模型时计算量太大。为了加速训练，TensorFlow可以利用GPU或/和分布式计算进行模型训练。
一、TensorFlow使用GPU
TensorFlow可以通过td.device函数来指定运行每个操作的设备，这个设备可以是本设备的CPU或GPU，也可以是远程的某一台设备。
TF生成会话的时候，可愿意通过设置tf.log_device_placemaent参数来打印每一个运算的设备。
import tensorflow as tf a = tf.constant([1.0,2.0,3.0],shape=[3],name='a') b = tf.constant([1.0,2.0,3.0],shape=[3],name='b') c= tf.add_n([a,b],name="c") with tf.Session(config=tf.ConfigProto(log_device_placement = True)) as sess: print(sess.run(c)) ######## Device mapping: no known devices. c: (AddN): /job:localhost/replica:0/task:0/device:CPU:0 b: (Const): /job:localhost/replica:0/task:0/device:CPU:0 a: (Const): /job:localhost/replica:0/task:0/device:CPU:0 [2. 4. 6.]
在配置好了GPU环境的TensorFlow中，如果没有明确指明运行设备，TF会优先选择GPU。
import tensorflow as tf a = tf.constant([1.0,2.0,3.0],shape=[3],name='a') b = tf.constant([1.0,2.0,3.0],shape=[3],name='b') c= tf.add_n([a,b],name="c") with tf.Session(config=tf.ConfigProto(log_device_placement = True)) as sess: print(sess.run(c)) ######## Device mapping: no known devices. c: (AddN): /job:localhost/replica:0/task:0/device:GPU:0 b: (Const): /job:localhost/replica:0/task:0/device:GPU:0 a: (Const): /job:localhost/replica:0/task:0/device:GPU:0 [2. 4. 6.]
可以通过tf.device 来制定运行操作的设备。
import tensorflow as tf with tf.device("/CPU:0"): a = tf.constant([1.0,2.0,3.0],shape=[3],name='a') b = tf.constant([1.0,2.0,3.0],shape=[3],name='b') with tf.device("/GPU:0"): c= tf.add_n([a,b],name="c") with tf.Session(config=tf.ConfigProto(log_device_placement = True)) as sess: print(sess.run(c))
某些数据类型是不被GPU所支持的。强制指定设备会报错。为了避免解决这个问题。在创建会还时可以指定参数allow_soft_placement 。当allow_soft_placement为True的时候，如果运算无法在GPU上运行，TF会自动将其放在CPU 上运行。
a_cpu = tf.Variable(0,name='a_cpu') with tf.device('/gpu:0'): a_gpu = tf.Variable(0,name='a_gpu') sess = tf.Session(config=tf.ConfigProto(log_device_placement=True,allow_soft_placement = True)) sess.run(tf.global_variables_initializer())
a_gpu: (VariableV2): /job:localhost/replica:0/task:0/device:CPU:0 a_gpu/read: (Identity): /job:localhost/replica:0/task:0/device:CPU:0 a_gpu/Assign: (Assign): /job:localhost/replica:0/task:0/device:CPU:0 init/NoOp_1: (NoOp): /job:localhost/replica:0/task:0/device:CPU:0 a_cpu: (VariableV2): /job:localhost/replica:0/task:0/device:CPU:0 a_cpu/read: (Identity): /job:localhost/replica:0/task:0/device:CPU:0 a_cpu/Assign: (Assign): /job:localhost/replica:0/task:0/device:CPU:0 init/NoOp: (NoOp): /job:localhost/replica:0/task:0/device:CPU:0 init: (NoOp): /job:localhost/replica:0/task:0/device:CPU:0 a_gpu/initial_value: (Const): /job:localhost/replica:0/task:0/device:CPU:0 a_cpu/initial_value: (Const): /job:localhost/replica:0/task:0/device:CPU:0
实践经验：将计算密集型的操作放在GPU上。为了提高程序运行速度，尽量将相关操作放在同一台设备上。
二、深度学习训练与并行模式
常用的并行化深度学习模型的方法有两种：同步模式和异步模式。
在异步模式下，不同设备之间是完全独立的。
异步模型流程图：
同步模型流程图：
同步模式时，单个设备不会单独对参数进行更新，而会等待所有设备都完成反向传播之后再统一更新参数。
同步模式解决了异步模式中存在参数更新的问题，然而同步模式的效率却低于异步模式。
三、多GPU并行
一般来说，一台机器上的多个GPU性能相似，所以在这种设置下跟多的是采用同步模式训练甚多学习模型。
四、分布式TensorFlow
通过多GPU并行的方式固然可以达到很好的训练效果，但是一台机器上毕竟GPU的个数是有限的。如果需要记忆不提升深度学习模型的训练效果，就需要将TensorFlow分布式的运行在多台计算机上。
4.1分布式TensorFlow的原理
在第二个小结中，介绍了分布式TensorFlow训练甚多学习模型的理论。本小节将具体介绍如何使用TF在分布式集群中训练深度学习模型。TensorFlow集群通过一系列的任务（tasks）来执行TF计算图中的运算。一般来说，不同的任务跑在不同的机器上。当然，使用GPU时，不同任务可以使用用一太机器上的不同GPU。TF中的任务可以聚合成工作。每个工作可以包含一个或多个任务。当一个TF集群有多个任务的时候，需要使用tf.train.ClusterSpec来指定运行每一个人物的机器。
配置第一个任务集群
import tensorflow as tf c = tf.constant('Hello ,this is the server1!') #生成一个有两个人物的集群，一个任务跑在本地的2222端口，另一个跑在本地的2223端口 cluster = tf.train.ClusterSpec({"local":['localhost:2998','localhost2999']}) #通过上面生成的集群配置生成Server。并通过job_name和task_index指定当前启动的任务。 server = tf.train.Server(cluster,job_name='local',task_index=0) #通过server.target生成会话来使用来使用TF集群中的资源。通过log_device_placement可以看到执行每一个操作的任务 sess = tf.Session(server.target,config=tf.ConfigProto(log_device_placement = True)) print(sess.run(c))
配置第二个任务，使用同样的集群配置
import tensorflow as tf c = tf.constant('Hello ,this is the server2!') #和第一个任务一样的集群配置 cluster = tf.train.ClusterSpec({"local":['localhost:2998','localhost2999']}) #指定task_index = 1，所以第二个任务是运行在2999端口上 server = tf.train.Server(cluster,job_name='local',task_index=0) sess = tf.Session(server.target,config=tf.ConfigProto(log_device_placement = True)) print(sess.run(c))
当只启动第一个任务时，程序会停下来等待第二个任务启动。而且持续输出failed to connect to “ipv4:127.0.0.1:2999”，当第二个任务启动后，才会输出第一个任务的结果。
