深度学习 tensorflow 计算图，会话，张量
1. 计算模型---计算图：
tensorflow是一个通过计算图的形式来表示计算的编程系统，每一个计算都是计算图上的一个节点，节点之间的边描述计算之间的依赖关系。所以计算过程一般分为两个步骤：
1.定义计算图
2.执行计算
tf.Graph函数支持生成新的计算图，不同计算图上的张量和运算都不会共享：
import tensorflow as tf
graph_1 = tf.Graph() # 生成一个图
with graph_1.as_default():
# 在图1中定义变量并且初始化
v = tf.get_variable(name='v', initializer=tf.zeros_initializer(), shape=[1])
graph_2 = tf.Graph() # 生成一个图
with graph_2.as_default():
v = tf.get_variable(name='v', initializer=tf.ones_initializer(), shape=[1])
# 在graph_1中读取变量值
with tf.Session(graph=graph_1) as sess: # 计算图1中
tf.global_variables_initializer().run()
with tf.variable_scope("", reuse=True):
print(sess.run(tf.get_variable('v')))
# 在graph_1中读取变量值
with tf.Session(graph=graph_2) as sess: # 计算图1中
tf.global_variables_initializer().run()
with tf.variable_scope("", reuse=True):
print(sess.run(tf.get_variable('v')))
计算图可以用来隔离张量和计算。还可以指定运行图中计算的设备；
with graph_1.device('/gpu:0'):
res = a + b在计算图中，可以通过不同的集合来管理里资源，tf.add_to_collection()函数可以将不同的资源加入到不同的集合中进行管理。tensorflow自动管理了一些集合：
1. Variables , 所有变量，持久化模型
2. Trainable Variable , 可训练的变量
3. Summary 日志相关的变量
4. Queue_runners 处理输入的变量（队列）
5. Moving Average Variables 滑动平均值
2. 数据模型--张量
张量是tensorflow管理数据的形式，但是张量实际上并不是保存的数据，而实如何得到这些数据的计算过程。张量中主要保存了三个属性： 名称(name), 维度(shape), 类型(type)
若果没指定类型，tensorflow会给出默认的类型，但是为了避免潜在的风险(类型不匹配),需要指定类型
int8, int16, int32, int64, uint8
float32, float64
bool
complex64
complex128
3. 运行模型---会话
会话拥有和管理tensorflow程序运行时的所有资源，所有计算完成之后需要关闭会话来帮助系统回收资源。强烈推荐使用python的上下文管理器来使用会话。这样会避免程序因为异常而退出时未关闭会话导致资源泄露。
在tensorflow中可以对会话进行配置 tf.ConfigProto()：
graph_1 = tf.Graph() # 生成一个图
with graph_1.as_default():
# 在图1中定义变量并且初始化
v = tf.get_variable(name='v', initializer=tf.zeros_initializer(), shape=[1])
# 对会话进行配置
config = tf.ConfigProto(allow_soft_placement=True, log_device_placement=True)
# 在graph_1中读取变量值
with tf.Session(graph=graph_1, config=config) as sess: # 计算图1中
tf.global_variables_initializer().run()
with tf.variable_scope("", reuse=True):
print(sess.run(tf.get_variable('v')))tf.ConfigProto()可以配置并行的线程数，GPU分配此策略，运算超时时间等参数。常用的参数有两个：
allow_soft_placement: 当这个参数为真时：
1. 运算无法在GPU上执行
2. 没有GPU资源
3. 运算输入包含对cpu运算结果的引用。
发生上述中的一种或多种情况，GPU上的运算可以放到CPU上执行。
因为不同GPU驱动版本对计算的支持会略有差别，通过设置这个参数为True，当某些运算无法被GPU执行时，会调整到CPU上，而不是报错。这提高了代码的可移植性。
log_device_placement为True时会记录每个节点被安排在那个设备上，方便调试。
神经网络参数与tensorflow变量：
变量tf.Variable()的作用就是更新和保存神经网络中的参数。
变量的初始化方法：
tf.random_normal 正态分布的随机数 , 参数(mean, std, dtype)
tf.truncated_normal 正态分布，如果随机出来的值如果偏离平均值超过两个标准差，则重新随机 。 参数(mean, std, dtype)
tf.uniform 均匀分布 参数(min, max, dtype)
tf.random_gamma gamma分布 参数(形状alpha, 尺度参数beta, dtype)
tf.zeros , tf.ones, tf.fill全为给定数字， tf.constant
一个前向传播的例子：
import tensorflow as tf
graph_1 = tf.Graph() # 生成一个图
with graph_1.as_default():
# 在图1中定义变量并且初始化
w1 = tf.Variable(tf.random_normal(shape=[2, 3], stddev=1, dtype=tf.float32, seed=1))
w2 = tf.Variable(tf.random_normal(shape=[3, 1], stddev=1, dtype=tf.float32, seed=1))
x = tf.constant(value=[[0.7, 0.9]], dtype=tf.float32)
# 前行传播
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)
# 对会话进行配置
config = tf.ConfigProto(allow_soft_placement=True, log_device_placement=True)
# 在graph_1中读取变量值
with tf.Session(graph=graph_1, config=config) as sess: # 计算图1中
# sess.run(w1.initializer) # 初始化变量
# sess.run(w2.initializer)
init_op = tf.global_variables_initializer() # 初始化算有变量 初始化所有变量，这个函数会处理变量之间的依赖关系
sess.run(init_op)
print(sess.run(y))
反向传播：
在神经网络的优化算法中，最常用的方法是反向传播。反向传播算法的训练神经网络的流程：
placeholder: 相当于在途中定义一个位置，作为训练数据的传入接口：
import tensorflow as tf
graph_1 = tf.Graph() # 生成一个图
with graph_1.as_default():
# 在图1中定义变量并且初始化
w1 = tf.Variable(tf.random_normal(shape=[2, 3], stddev=1, dtype=tf.float32, seed=1))
w2 = tf.Variable(tf.random_normal(shape=[3, 1], stddev=1, dtype=tf.float32, seed=1))
x = tf.placeholder(dtype=tf.float32, shape=[None, 2], name='input') # placeholder的行数可以设置为None, 根据具体的传入数据再得到
# 前行传播
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)
# 对会话进行配置
config = tf.ConfigProto(allow_soft_placement=True, log_device_placement=True)
# 在graph_1中读取变量值
with tf.Session(graph=graph_1, config=config) as sess: # 计算图1中
# sess.run(w1.initializer) # 初始化变量
# sess.run(w2.initializer)
init_op = tf.global_variables_initializer() # 初始化算有变量
sess.run(init_op)
feed_dict = {x: [[0.7, 0.9], [0.1, 0.4], [0.6, 0.8]]}
print(sess.run(y, feed_dict=feed_dict))
损失函数：
简单介绍一下损失函数：
在得到一个batch的计算结果后，需要定义一个损失函数来刻画当前的预测值和真实值之间的差距，然后通过优化算法来调整神经网络参数以减小差距。例如定义交叉熵损失函数。
tensorflow常用的三种优化方法：
1. tf.train.GridientDescentOptimizer 梯度下降法
2. tf.train.AdamOptimizer
3. tf.train.MomnteumOptimizer
完整程序：
import tensorflow as tf
from numpy.random import RandomState
import numpy as np
graph_1 = tf.Graph() # 生成一个图
with graph_1.as_default():
# 在图1中定义变量并且初始化
w1 = tf.Variable(tf.random_normal(shape=[2, 3], stddev=1, dtype=tf.float32, seed=1))
w2 = tf.Variable(tf.random_normal(shape=[3, 1], stddev=1, dtype=tf.float32, seed=1))
x = tf.placeholder(dtype=tf.float32, shape=[None, 2], name='x-input') # placeholder的行数可以设置为None, 根据具体的传入数据再得到
y_ = tf.placeholder(dtype=tf.float32, shape=[None, 1], name='y-input')
# 前行传播
a = tf.matmul(x, w1)
y = tf.matmul(a, w2)
# 定义损失函数和反向传播
y = tf.sigmoid(y)
cross_entropy = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y, 1e-10, 1))) + (1-y)*tf.log(tf.clip_by_value(1-y, 1e-10, 1.0))
# 通过clip_value(x, x_min. x_max)可以将x限制在合理的范围内
train_step = tf.train.AdamOptimizer(learning_rate=0.001).minimize(cross_entropy) # 定义损失函数
if __name__ == "__main__":
batch_size = 8
rdm = RandomState(1)
data_size = 128
X = rdm.rand(data_size, 2) # 训练数据
Y = [int(x1+x2 < 1) for(x1, x2) in X]
Y = np.array(Y)
print(type(X))
print(type(Y))
# 对会话进行配置
config = tf.ConfigProto(allow_soft_placement=True, log_device_placement=False)
# 在graph_1中读取变量值
with tf.Session(graph=graph_1, config=config) as sess: # 计算图1中
init_op = tf.global_variables_initializer() # 初始化算有变量
sess.run(init_op)
print("训练前的权值")
print(sess.run(w1))
print(sess.run(w2))
steps = 1000
for i in range(steps):
start = (i * batch_size) % data_size
end = min(start + batch_size, data_size)
sess.run(train_step, feed_dict={x: X[start: end], y_: Y[start: end].reshape([-1, 1])})
# 每隔一段时间计算在所有数据上的交叉熵
if i % 50 == 0:
cross_entropy_value = sess.run(cross_entropy, feed_dict={x: X, y_: Y.reshape([-1, 1])})
print("The loss is {}".format(cross_entropy_value))
print("训练后的权值")
print(sess.run(w1))
print(sess.run(w2))
