TensorFlow实战Google深度学习框架（3）
第3章 TensorFlow入门
3.1 TensorFlow计算模型-计算图
3.1.1 计算图的概念
Tensorflow中所有计算都会被转化成计算图的一个节点，计算图上的边表示了他们之间的相互依赖关系。
3.1.2 计算图的使用
Tensorflow的程序可以分成两个阶段：定义计算、执行计算。
默认的计算图使用tf.get_default_graph()获取
Tensorflow支持通过tf.Graph()函数来生成新的计算图，不同计算图上的张量和运算不会共享。
import tensorflow.compat.v1 as tf tf.disable_v2_behavior() g1 = tf.Graph() with g1.as_default(): # define variable v in g1, and set the default value is zero v = tf.get_variable("v", initializer=tf.zeros_initializer()(shape=[1])) g2 = tf.Graph() with g2.as_default(): # define variable v in g2, and set the default value is one v = tf.get_variable("v", initializer=tf.ones_initializer()(shape=[1])) with tf.Session(graph=g1) as sess: # show the value of variable v in g1 tf.initialize_all_variables().run() with tf.variable_scope("", reuse=True): print(sess.run(tf.get_variable("v"))) with tf.Session(graph=g2) as sess: # show the value of variable v in g2 tf.initialize_all_variables().run() with tf.variable_scope("", reuse=True): print(sess.run(tf.get_variable("v")))
运行结果：
不同的计算图不仅仅可以用来隔离张量和计算，还可以用来管理张量和计算的机制。因此我们在运行计算图的时候可以使用tf.Graph.device指定计算图的运行设备。
在一个计算图中可以使用collection来管理不同类别的资源。比如通过tf.add_to_collection可以将资源加入到一个或多个集合中，然后使用tf.get_collection可以获取到集合中的所有资源。
3.2 TensorFlow数据模型-张量
3.2.1 张量的概念
张量是TensorFlow管理数据的形式，可以被简单理解为多维数组。张量并没有真正的保存数字，而是保存了这些数字的计算过程。
import tensorflow.compat.v1 as tf tf.disable_v2_behavior() a = tf.constant([1.0, 2.0], name="a") b = tf.constant([2.0, 3.0], name="b") result = tf.add(a, b, name="add") print(result)
运行结果：
从结果上可知： TensorFlow计算的不是一个结果，而是一个张量的结构。一个张量中保存了三个属性： 名字，维度，类型。张量的命名方式为"node: src_output"，其中node表示节点的名称，src_output表示当前张量来自节点的第几个输出。张量会有一个唯一的类型，TensorFlow会对参与运算的所有张量进行类型的检查，当发现类型不匹配的时候会报错。
3.2.2 张量的使用
张量的用途有两类：一种是作为中间计算结果的引用。另一种是当计算图构造完成之后，张量可以用来获得计算结果，得到真实的数字。
3.3 TensorFlow运行模型-会话
会话拥有并管理TensorFlow程序运行时的所有资源。TensorFlow使用会话有两种方式：
# first method
sess = tf.Session() sess.run() sess.close()
# second method
with tf.Session() as sess:
sess.run()
后者比前者更好，因为可以避免异常退出时的资源释放问题和忘记调用Session.close函数而产生的资源泄漏问题。
张量的eval函数可以用来计算张量的取值，其方式为：
sess = tf.Session() # two command below have same effect print(sess.run(result)) print(result.eval(session=sess))
会话和张量一样可以设置默认值，但不同的是，默认会话需要被手动指定。有了默认会话之后，张量就可以直接用eval函数计算取值：
结果如下：
如果使用Session函数来获取会话的话，需要手动指定某个会话作为默认会话，为了合并此过程，tf设计了InteractiveSession函数。该函数指定的会话，是一个默认会话。
sess2 = tf.InteractiveSession() print(result.eval()) sess2.close()
实验结果
不管是InteractiveSession还是Session都可以使用ConfigProto函数来配置会话运行配置。他可以配置并行的线程数、GPU分配策略、运算超时时间等参数。其中最重要的两个参数是：
1. allow_soft_placement： 一般设置为True。当某些运算无法被GPU支持的时候会自动调整到CPU上。
2. log_device_placement: 测试环境设置为True，生产环境设置为False。用来记录每个节点在设备上位置。
3.4 TensorFlow实现神经网络
3.4.1 TensorFlow游乐场及神经网络简介
TensorFLow游乐场网址：http://playground.tensorflow.org
没啥特别，就是能直观的感受神经网络的建模能力。
3.4.2 前向传播算法简介
一个神经元对应着多个输入和一个输出。不同输入的权重就是神经元的参数。神经网络的优化过程就是优化神经元中参数取值的过程。
前向传播需要三个信息：1. 神经网络的输入，就是从实体中提取的特征向量。 2. 神经网络的连接结构。神经网络中的神经元简称为节点。 3. 每个节点的参数。
前向传播算法简单来说就是一个矩阵乘法，因此可以用tensorflow的matmul函数实现。
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)
3.4.3 神经网络参数与TensorFlow变量
变量(tf.Variable)是用来保存和更新神经网络结构中的参数的。变量需要指定初始值，一般变量的初始值是随机指定的。
变量的典型定义方式：
weight = tf.Variable(tf.random_normal([2, 3], stddev=2))
典型的随机函数有：
1. random_normal: 正态分布，默认的平均值为0，可以用mean指定平均值
2. truncated_normal: 正态分布，但是如果一个数偏离平均值两个标准差就会被重新随机
3. random_uniform: 均匀分布
4. random_gamma: Gamma分布
变量也可以用常数来指定：
1. ones: 值为1
2. zeros: 值为0
3. fill: 值为指定数字。如tf.fill([2,3], 9)表示值为9的2*3的矩阵
4. constant: 一个指定值的常量。如tf.constant([1,2])表示[1,2]
还可以使用其他参数的初始值作为变量的初始值：
w2 = tf.Variable(weight.initialized_value())
利用变量的定义，我们可以得到前向传播的代码：
import tensorflow.compat.v1 as tf tf.disable_v2_behavior() # define two variable and set the seed to keep the same result w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1)) w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1)) # set the test input tensor x = tf.constant([[0.7, 0.9]]) # forward process a = tf.matmul(x, w1) y = tf.matmul(a, w2) # run with session with tf.Session() as sess: sess.run(w1.initializer) sess.run(w2.initializer) print(sess.run(y))
实验结果：
在实际的程序中会有许多的变量，可以使用tf.initialize_all_variable函数对所有的参数进行初始化。
在构建机器学习模型的时候，可以使用trainable参数来区分参数是否需要优化，trainable为true的变量会被加入GraphKeys.TRAINABLEVARIBLES集合中 。
维度和类型也是变量的两个重要属性。但是对于变量来说，维度是可变的，只需要设置validate_shape=False。类型是不可变的。
3.4.4 通过TensorFlow训练神经网络模型
tensorflow的输入数据是由placeholder给出的。placeholder只定义数据的类型，数据的维度是由输入数据推导出来的。placeholder中的数据是由feed_dict来指定的。
import tensorflow.compat.v1 as tf tf.disable_v2_behavior() # define two variable and set the seed to keep the same result w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1)) w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1)) x = tf.placeholder(tf.float32, shape=[1, 2], name="input") a = tf.matmul(x, w1) y = tf.matmul(a, w2) with tf.Session() as sess: init_op = tf.initialize_all_variables() sess.run(init_op) print(sess.run(y, feed_dict={x: [[0.7, 0.9]]}))
实验结果：
要实现batch的效果只需要将feed_dict中的数据转化为多维数据即可。
进行神经网络的模型训练还有两个非常重要的内容就是loss function和optimizer。目前tensorflow主要支持7种optimizer，其中Adam是其中最常用的一种。
# loss function cross_entropy = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y, 1e-10, 1.0))) # optimizer learning_rate = 0.0001 train_step = tf.train_AdamOptimizer(learning_rate).minimize(cross_entropy)
3.4.5 完整神经网络样例程序
