AI学习---TensorFlow框架介绍[图+会话+张量+变量OP+API]
TensorFlow的数据流图
- TensorFlow的结构分析: 图 + 会话
TensorFlow = 构图阶段(数据与操作的执行步骤被描绘出一个图) + 执行图阶段(使用回话执行构建好的图中操作)
1. 一个构建图阶段
流程图:定义数据(张量Tensor)和操作(节点Operate)
2. 一个执行图阶段
调用各方资源,将定义好的数据和操作运行起来
- 数据流图介绍
数据流图【Data Flow Graph】用“结点”(nodes)和“线”(edges)的有向图来描述数学计算。“节点” 一般用来表示施加的数学操作,但也可以表示数据输入(feed in)的起点/输出(push out)的终点,或者是读取/写入持久变量(persistent variable)的终点。“线”表示“节点”之间的输入/输出关系。这些数据“线”可以输运“size可动态调整”的多维数据数组,即“张量”(tensor)。张量从图中流过的直观图像是这个工具取名为“Tensorflow”的原因。一旦输入端的所有张量准备好,节点将被分配到各种计算设备完成异步并行地执行运算。
简单计算的Demo:用于区别py和TF的区别:
import tensorflow as tf import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' # 取消TF对我们的一些提示 def tensorflow_demo(): """ TensorFlow的基本结构 :return: """ # 原生python加法运算 a = 2 b = 3 c = a + b print("普通加法运算的结果:\n", c) # TensorFlow实现加法运算,可以理解为我们定义了一个图 a_t = tf.constant(2) # 这里是我们的张量 b_t = tf.constant(3) # 这里是我们的张量 c_t = a_t + b_t # 定义了节点 print("TensorFlow加法运算的结果:\n", c_t) # TF必须先开启会话,可以理解回话调用CPU资源进行计算 with tf.Session() as sess: c_t_value = sess.run(c_t) print("c_t_value:\n", c_t_value) return None if __name__ == "__main__": tensorflow_demo()
问题定位:
解决ImportError: numpy.core.multiarray failed to import
问题解决:
pip install -U numpy
图与TensorBoard
图包含了一组tf.Operation代表的计算单元对象和tf.Tensor代表的计算单元直接流动的数据。
- 图的相关操作(默认图 + 自定义图)
1 默认图
查看默认图的方法
1)调用方法
用tf.get_default_graph()
2)查看属性
with tf.Session() as sess:
tt = sess.graph
import tensorflow as tf import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' # 取消TF对我们的一些提示 def graph_demo(): a_t = tf.constant(2) b_t = tf.constant(3) c_t = tf.add(a_t, b_t) print("TensorFlow加法运算的结果:\n", c_t) ''' 查看默认图: 1. 调用get_default_graph() 2. session.graph ''' # 方法1-1:调用默认方法 default_g = tf.get_default_graph() print('调用get_default_graph: \n', default_g) # 方法2-1:查看张量属性 print("a_t的图属性:\n", a_t.graph) print("c_t的图属性:\n", c_t.graph) # 方法2-2:查看回话属性 with tf.Session() as sess: session_g = sess.graph print("回话属性:", session_g) new_c_t = sess.run(c_t) print("TensorFlow回话的的结果c_t_value:\n", new_c_t) if __name__ == "__main__": graph_demo()
2 创建图
new_g = tf.Graph() # 自定义一个图
with new_g.as_default():
定义数据和操作
with tf.Session(graph=new_g) as sess: # 如果不添加graph=new_g,默认调用默认的图,而不是我们自定义的图
sess.run(XXX)
import tensorflow as tf import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' # 取消TF对我们的一些提示 def graph_demo(): # 第一步:自定义图 new_g = tf.Graph() # 第二步:在自己的图中定义数据和操作 with new_g.as_default(): a_new = tf.constant(20) b_new = tf.constant(30) c_new = a_new + b_new print("a_new:\n", a_new) print("b_new:\n", b_new) print("c_new:\n", c_new) print("a_new的图属性:\n", a_new.graph) print("c_new的图属性:\n", c_new.graph) # 开启new_g的会话,即开启了一个上下文管理器 with tf.Session(graph=new_g) as new_sess: c_new_value = new_sess.run((c_new)) print("c_new_value:\n", c_new_value) print("new_sess的图属性:\n", new_sess.graph) return None if __name__ == "__main__": graph_demo()
TF有一个亮点就是我们自己写的程序可以进行可视化,这个就是TensorBoard。
Tensorboard的介绍
TensorBoard:可视化学习: 数字序列化 + 启动Tensorboard
1 数据序列化(即events文件) (因为图也是一个对象,不能以编码的形式写在本地,需要序列化,序列化后的文件叫做events)
tf.summary.FileWriter(path, graph=sess.graph)
2 tensorboard
import tensorflow as tf import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' # 取消TF对我们的一些提示 def graph_demo(): """ 自定义图的演示 + Tensorboard可视化 :return: """ # 自定义图 new_g = tf.Graph() # 在自己的图中定义数据和操作 with new_g.as_default(): a_new = tf.constant(20) b_new = tf.constant(30) c_new = a_new + b_new print("a_new:\n", a_new) print("b_new:\n", b_new) print("c_new:\n", c_new) print("a_new的图属性:\n", a_new.graph) print("c_new的图属性:\n", c_new.graph) # 开启new_g的会话 with tf.Session(graph=new_g) as new_sess: c_new_value = new_sess.run((c_new)) print("c_new_value:\n", c_new_value) print("new_sess的图属性:\n", new_sess.graph) # 1)将图写入本地生成events文件 tf.summary.FileWriter("./summary", graph=new_sess.graph) return None if __name__ == "__main__": graph_demo()2) 可视化:
如果没有添加环境变量,就需要进入的Tensorboard的安装目录下进行终端操作
代码输出结果:
可视化结果:
http://ftl2018:6006/#graphs&run=. 火狐浏览器打开
下面我们讲究OP对象
Operation的介绍
一个图我们包含数据(Tensor对象) + 操作(Operation对象)
1 常见OP(操作函数和操作对象联系与区别)
操作函数 & 操作对象
tf.constant(Tensor对象) | 输入Tensor对象 –> Const对象 –> 输出 Tensor对象
tf.add(Tensor对象1, Tensor对象2) | 输入Tensor对象1, Tensor对象2 - Add对象 - 输出 Tensor对象3
说明:
假设我们定义了a_new = tf.constant(20);
这里我们定义的数字20也是一个Tensor对象,数字20传递给了tf.constant()函数(即操作函数),然后生成一个Const对象(即操作对象,这里只是一个数字定义,如果进行add()求和,则是Add对象), 到最后我们拿到的也是一个Tensor对象。
2 指令名称
同一张图,有且只有一个命名唯一空间,默认是递增,Const_0,Const_1,当然我们也可以自定义名称
a_t = tf.constant(2) # 默认的name都是Const
b_t = tf.constant(3, name="a_t")
- 常见的OP
我们打印出来的实际上都是数值(张量值,且OP指令都唯一)。下图是sum_c: 就是由add这个操作产生的
- 指令名称
会话
会话(Session+InteractiveSession)
1、tf.Session:用于完整的程序当中
2、tf.InteractiveSession:用于交互式上下文中的TensorFlow ,例如shell,我们打开一个回话,可以利用a.eval()进行快速取值
3 feed操作
a = tf.placeholder(tf.float32, shape=)
b = tf.placeholder(tf.float32, shape=)
会话的关键API说明
- 关于初始化__init__()函数:
1)会话掌握资源,用完要回收 - 上下文管理器
with tf.Session(graph=new_g) as new_sess:
2)初始化会话对象时的参数
def __init__(self, target='', graph=None, config=None):
graph=None,默认运行我们的默认图
target:如果将此参数留空(默认设置), 会话将仅使用本地计算机中的设备。
可以指定 grpc:// 网址,以便指定远程TensorFlow 服务器的地址,
这使得会话可以访问该服务器控制的计算机上的所有设备。
config:此参数允许您指定一个 tf.ConfigProto以便控制会话的行为。例如,ConfigProto协议用于打印设备使用信息
3)run(fetches,feed_dict=None)
def run(self, fetches, feed_dict=None, options=None, run_metadata=None):
fetches:单一的operation,或者列表、元组(不属于TensorFlow的不行)
feed_ditc: 允许调用者覆盖图中张量的值,运行时赋值
--》一般与 a = tf.placeholder(tf.float32, shape=)(提供占位符)搭配使用,则会检查值的形状是否与占位符兼容
import tensorflow as tf import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' def session_demo(): """ 会话的演示 :return: """ info1 = ''' ============fetches参数传================ ''' print(info1) # TensorFlow实现加法运算 a_t = tf.constant(2, name="a_t") b_t = tf.constant(3, name="a_t") c_t = tf.add(a_t, b_t, name="c_t") print("a_t:\n", a_t) print("b_t:\n", b_t) print("c_t:\n", c_t) # print("c_t.eval():\n", c_t.eval()) # 开启会话 with tf.Session(config=tf.ConfigProto(allow_soft_placement=True, log_device_placement=True)) as sess: ''' # fetches参数传递多个值demo: 1. abc = sess.run(fetches=[a_t, b_t, c_t]) 返回的值也是一个列表格式 2. a, b, c sess.run([a_t, b_t, c_t]) 用a,b,c分别接受列表的值 ''' # fetches参数传递单一demo: c_new_value = sess.run(c_t) print('session.run()执行结果:\n', c_new_value) print("c_t_value:\n", c_t.eval()) print("sess的图属性:\n", sess.graph) info = ''' ============feed的Demo================ ''' print(info) # 定义占位符 a_ph = tf.placeholder(tf.float32) # 这里占位的个浮点型,所以下面传递一个浮点型数据 b_ph = tf.placeholder(tf.float32) c_ph = tf.add(a_ph, b_ph) print("a_ph:\n", a_ph) print("b_ph:\n", b_ph) print("c_ph:\n", c_ph) # 开启会话 with tf.Session(config=tf.ConfigProto(allow_soft_placement=True, log_device_placement=True)) as session: c_ph_value = session.run(c_ph, feed_dict={a_ph: 3.9, b_ph: 4.8}) print("占位符:c_ph_value:\n", c_ph_value) if __name__ == "__main__": session_demo()
张量的介绍
TensorFlow的张量就是一个n维数组,类型为tf.Tensor。类似于我们见过的ndarray.
--> 2个重要的属性(type + shape)
1. 数据类型(type)
2. 形状(阶)shape
计算机中各个变量的存储情况:
标量 一个数字 0阶张量
向量 一维数组 [2, 3, 4] 1阶张量
矩阵 二维数组 [[2, 3, 4], 2阶张量
[2, 3, 4]]
……
张量 n维数组 n阶张量
- 张量的类型
- 张量的阶
import tensorflow as tf import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' def tensor_demo(): ''' 张量的demo :return: ''' ''' 创建张量的时候,如果不指定类型 默 认 tf.float32 整 型 tf.int32 浮点型 tf.float32 ''' tensor1 = tf.constant(4.0) # 显示空的元组(),没有指定数组类型 tensor2 = tf.constant([1, 2, 3, 4]) # 显示一个一位数组,表示成(4,) linear_squares = tf.constant([[4], [9], [16], [25]], dtype=tf.int32) # 显示一个二维数组,表示成(4,1),4行一列 print("tensor1:\n", tensor1) # Tensor("Const:0", shape=(), dtype=float32) print("tensor2:\n", tensor2) # Tensor("Const_1:0", shape=(4,), dtype=int32) print("linear_squares_before:\n", linear_squares) # Tensor("Const_2:0", shape=(4, 1), dtype=int32) if __name__ == "__main__": tensor_demo()
创建张量的指令
张量的指令 = 固定值张量 + 随机张量
- 创建固定的张量
demo:
import tensorflow as tf tf.zeros(shape=[3,4]).eval() tf.ones(shape=[3,4]).eval()
- 创建随机张量
import tensorflow as tf # 创建3行4列的数组,均值为1.75,标准差为2 tf.random_normal(shape=[3,4], mean=1.75, stddev=2) # # 创建3行4列的数组,均值为1.75,标准差为2,通过eval()查看具体的值 tf.random_normal(shape=[3,4], mean=1.75, stddev=2).eval()
- 张量的修改(类型+形状)与运算
复习ndarray属性的修改
类型的修改
1)ndarray.astype(type)
2)ndarray转换为编码格式:ndarray.tostring()
形状的修改
1)ndarray.reshape(shape)
自动计算形状:ndarray.reshape(-1)
2)ndarray.resize(shape)
说明:reshape会返回一个新的数组,resize会就地修改
1、类型改变
tf.cast(tensor, dtype)
不会改变原始的tensor
返回新的改变类型后的tensor
2、形状改变(静态形状+动态形状)
静态形状 - 初始创建张量时的形状
1)如何改变静态形状
tensor.set_shape(shape)
问:什么情况下才可以改变/更新静态形状?
答:只有在形状没有完全固定下来(也就是?的部分)的情况下
2)如何改变动态形状
tf.reshape(tensor, shape)
不会改变原始的tensor
返回新的改变形状后的tensor
动态创建新张量时,张量的元素个数必须匹配(可跨阶,但是数量必须一致)
demo:
import tensorflow as tf import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' def tensor_demo(): ''' 张量类型修改 :return: ''' ''' 创建张量的时候,如果不指定类型 默 认 tf.float32 整 型 tf.int32 浮点型 tf.float32 ''' tensor1 = tf.constant(4.0) # 显示空的元组(),没有指定数组类型 tensor2 = tf.constant([1, 2, 3, 4]) # 显示一个一维有4个元素的数组,表示成(4,) linear_squares = tf.constant([[4], [9], [16], [25]], dtype=tf.int32) # 显示一个二维数组,表示成(4,1),4行一列 print("tensor1:\n", tensor1) # Tensor("Const:0", shape=(), dtype=float32) print("tensor2:\n", tensor2) # Tensor("Const_1:0", shape=(4,), dtype=int32) print("linear_squares_before:\n", linear_squares) # Tensor("Const_2:0", shape=(4, 1), dtype=int32) ''' 张量类型的修改: 不会改变原始的tensor 返回新的改变类型后的tensor ''' l_cast = tf.cast(linear_squares, dtype=tf.float32) print("linear_squares_after:\n", linear_squares) print("l_cast:\n", l_cast) ''' 张量形状的改变: # 更新/改变静态形状 # 定义占位符 ''' # a_p,b_p是没有完全固定下来的静态形状,但是形状以及是二维了,只能传递2维的数组 a_p = tf.placeholder(dtype=tf.float32, shape=[None, None]) # a_PTensor("Placeholder:0", shape=(?, ?), dtype=float32) b_p = tf.placeholder(dtype=tf.float32, shape=[None, 10]) # b_p维度是2维,但是有10列已经确定了,不能更改 # c_p是2维且形状以及固定,不能随便更改 c_p = tf.placeholder(dtype=tf.float32, shape=[3, 2]) # print("a_p:\n", a_p) print("b_p:\n", b_p) print("c_p:\n", c_p) # 更新形状未确定的部分 # a_p.set_shape([2, 3]) # a_p.set_shape([2, 3, 3])报错,二维不兼容三维 # b_p.set_shape([2, 10]) # c_p.set_shape([3, 2]) # 单行执行会报错,both shapes must be equal, ''' 张量形状的改变: # 动态形状修改,如果确定了元素数量,则可以修改元素的阶,但是不能修改总量 例如: shape=[2,3] ==> shape=[2,3,1] # 正确,元素数量未变化 shape=[2,3] ==> shape=[3,2] # 正确,元素数量未变化 shape=[2,3] ==> shape=[3,3] # 错误,元素数量变化了,改变后是9个 ''' a_p_reshape = tf.reshape(a_p, shape=[2, 3, 1]) print("a_p:\n", a_p) # print("b_p:\n", b_p) print("a_p_reshape:\n", a_p_reshape) c_p_reshape = tf.reshape(c_p, shape=[2, 3]) print("c_p:\n", c_p) print("c_p_reshape:\n", c_p_reshape) if __name__ == "__main__": tensor_demo()
- 张量的数学运算
可参考官网:(需FQ)
变量OP的介绍
TensorFlow - 变量很适合于存储模型参数
- 创建变量(需要显示初始化以后才可以完成变量初始化)
- 使用tf.variable_scope()修改变量的命名空间
添加命名空间后,使得结构更加清晰
demo:
import tensorflow as tf import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' def variable_demo(): """ 变量的演示 :return: """ ''' # 创建变量:没有开启会话之前的demo: ''' aa = tf.Variable(initial_value=50) # <tf.Variable 'Variable:0' shape=() dtype=int32_ref> bb = tf.Variable(initial_value=50) # <tf.Variable 'Variable_1:0' shape=() dtype=int32_ref> cc = tf.add(aa, bb) # Tensor("Add:0", shape=(), dtype=int32) print("aa:\n", aa) print("bb:\n", bb) print("cc:\n", cc) ''' # 创建变量: 开启会话的demo: ''' with tf.variable_scope("my_scope"): a = tf.Variable(initial_value=50) b = tf.Variable(initial_value=40) with tf.variable_scope("your_scope"): # 修改变量的命名空间 c = tf.add(a, b) print("a:\n", a) print("b:\n", b) print("c:\n", c) # 初始化变量 # a = tf.Variable(initial_value=50)这正是一个初始化的值,而并非变量的初始化 init = tf.global_variables_initializer() # 开启会话 with tf.Session() as sess: # 给全局的变量做了初始化 sess.run(init) a_value, b_value, c_value = sess.run([a, b, c]) print("a_value:\n", a_value) print("b_value:\n", b_value) print("c_value:\n", c_value) return None if __name__ == "__main__": variable_demo()
基础API和高级API
- 基础API
- 高级API
- 关于TensorFlow的API图示
-------------------------------------------
个性签名: 所有的事情到最後都是好的,如果不好,那說明事情還沒有到最後~
本文版权归作者【小a玖拾柒】和【博客园】共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利!