摘要: 当我们在大型的数据集上面进行深度学习的训练时,往往需要大量的运行资源,而且还要花费大量时间才能完成训练。 1.分布式TensorFlow的角色与原理 在分布式的TensorFlow中的角色分配如下: PS:作为分布式训练的服务端,等待各个终端(supervisors)来连接。 worker:在Ten 阅读全文
posted @ 2019-06-01 20:25 Baby-Lily 阅读(1249) 评论(0) 推荐(0) 编辑
摘要: 1.创建图 在tensorflow中,一个程序默认是建立一个图的,除了系统自动建立图以外,我们还可以手动建立图,并做一些其他的操作。 下面我们使用tf.Graph函数建立图,使用tf.get_default_graph函数来获取图,使用reset_default_graph对图进行重置。 上述的代码 阅读全文
posted @ 2019-06-01 16:35 Baby-Lily 阅读(9177) 评论(1) 推荐(0) 编辑
摘要: 1.共享变量用途 在构建模型时,需要使用tf.Variable来创建一个变量(也可以理解成节点)。当两个模型一起训练时,一个模型需要使用其他模型创建的变量,比如,对抗网络中的生成器和判别器。如果使用tf.Variable,将会生成一个新的变量,而我们需要使用原来的那个变量。这时就是通过引入get_V 阅读全文
posted @ 2019-05-27 23:01 Baby-Lily 阅读(3362) 评论(0) 推荐(1) 编辑
摘要: 1.张量 张量可以说是TensorFlow的标志,因为整个框架的名称TensorFlow就是张量流的意思,全面的认识一下张量。在TensorFlow程序使用tensor数据结构来代表所有的数据,在计算图中,操作之间的数据都是Tensor,Tensor可以看做n维的数组或列表,每个tensor包含了类 阅读全文
posted @ 2019-05-27 19:59 Baby-Lily 阅读(1426) 评论(0) 推荐(0) 编辑
摘要: TensorFlow提供了一个可视化工具TensorBoard,它能够将训练过程中的各种绘制数据进行展示出来,包括标量,图片,音频,计算图,数据分布,直方图等,通过网页来观察模型的结构和训练过程中各个参数的变化。 Tensorboard通过一个日志展示系统进行数据可视化,在session运行图的时候 阅读全文
posted @ 2019-05-27 16:13 Baby-Lily 阅读(4487) 评论(0) 推荐(0) 编辑
摘要: 1.检查点 保存模型并不限于在训练模型后,在训练模型之中也需要保存,因为TensorFlow训练模型时难免会出现中断的情况,我们自然希望能够将训练得到的参数保存下来,否则下次又要重新训练。 这种在训练中保存模型,习惯上称之为保存检查点。 2.添加保存点 通过添加检查点,可以生成载入检查点文件,并能够 阅读全文
posted @ 2019-05-27 14:36 Baby-Lily 阅读(11281) 评论(0) 推荐(1) 编辑
摘要: 我们在训练好模型的时候,通常是要将模型进行保存的,以便于下次能够直接的将训练好的模型进行载入。 1.保存模型 首先需要建立一个saver,然后在session中通过saver的save即可将模型保存起来,具体的代码流程如下 # 前面的是定义好的模型结构 2.载入模型 将模型保存后,在保存的路径中,可 阅读全文
posted @ 2019-05-26 00:03 Baby-Lily 阅读(12456) 评论(1) 推荐(1) 编辑
摘要: 1.指定GPU运算 如果安装的是GPU版本,在运行的过程中TensorFlow能够自动检测。如果检测到GPU,TensorFlow会尽可能的利用找到的第一个GPU来执行操作。 如果机器上有超过一个可用的GPU,除了第一个之外的其他的GPU默认是不参与计算的。为了让TensorFlow使用这些GPU, 阅读全文
posted @ 2019-05-25 23:05 Baby-Lily 阅读(20448) 评论(2) 推荐(0) 编辑
摘要: 0.tensorflow中的模型运行基础 tensorflow的运行机制属于定义和运行相分离,在操作层面可以抽象成两种:模型构建和模型运行。 在模型构建中的常见概念: 张量(tensor):数据,即某一类型的多为数组 变量(Variable):常用于定义模型中的参数,是通过不断训练得到的值 占位符( 阅读全文
posted @ 2019-05-25 22:17 Baby-Lily 阅读(980) 评论(0) 推荐(0) 编辑
摘要: 代码函数详解 tf.random.truncated_normal()函数 tf.truncated_normal函数随机生成正态分布的数据,生成的数据是截断的正态分布,截断的标准是2倍的stddev。 zip()函数 zip() 函数用于将可迭代对象作为参数,将对象中对应的元素打包成一个个元组,然 阅读全文
posted @ 2019-05-25 21:04 Baby-Lily 阅读(407) 评论(0) 推荐(0) 编辑