随笔分类 - tensorflow & horovod源码分析
摘要：1. Optimizer 简单用法 最小化y = (x-1)^2的代码如下： 其中，minimize() = compute_gradients() + apply_gradients()，如果想在apply gradients之前对gradients做些处理，那么可以拆分成计算梯度和应用梯度两个步
阅读全文
摘要：1. embedding_lookup用法 输出结果： embedding_lookup([a,b,c], ids=[0,1,2,3])是从列表[a,b,c]中取[0,1,2,3]这4个元素， 从结果（len(ids) x 4 = 4 x 4）来看，取的顺序是： 0：取了a的第1行[ 0 1 2 3
阅读全文
摘要：这篇博客介绍比较详细：http://lynnapan.github.io/2017/09/04/distributed%20tensorflow/ 同步和异步训练是由optimizer来决定的。 1. 同步训练 同步训练需要使用SyncReplicasOptimizer，参考https://www.
阅读全文
摘要：tensorflow提供了3种参数分配策略： 1. 循环ps放（_RoundRobinStrategy） 2. 每次变量放的时候随机选一个（RandomStrategy） 3. 每次初始化像负载最小的ps放（GreedyLoadBalancingStrategy） 问题：在tensorflow中所有
阅读全文
摘要：tf.train.MonitoredSession 简介 tf.train.MonitoredTrainingSession()解析【精】 浅显易懂的分布式TensorFlow入门教程 深度学习中Batch size对训练效果的影响 如何理解深度学习分布式训练中的large batch size与l
阅读全文
摘要：目前总共4篇： tensorflow源码学习之一 -- tf架构 tensorflow源码学习之二 -- client tensorflow源码学习之三 -- master tensorflow源码学习之四 -- worker 待补充。。。
阅读全文
摘要：目前总共4篇： tensorflow源码学习之一 -- tf架构 tensorflow源码学习之二 -- client tensorflow源码学习之三 -- master tensorflow源码学习之四 -- worker master根据session.run()传递的参数来填充和优化数据流图
阅读全文
摘要：目前总共4篇： tensorflow源码学习之一 -- tf架构 tensorflow源码学习之二 -- client tensorflow源码学习之三 -- master tensorflow源码学习之四 -- worker Client根据用户编写的训练代码构建数据流图。 在构建数据流图时，会根
阅读全文
摘要：目前总共4篇： tensorflow源码学习之一 -- tf架构 tensorflow源码学习之二 -- client tensorflow源码学习之三 -- master tensorflow源码学习之四 -- worker tensorflow的架构图如下： 我们主要使用的是Python cli
阅读全文
摘要：目前总共4篇： tensorflow源码学习之一 -- tf架构 tensorflow源码学习之二 -- client tensorflow源码学习之三 -- master tensorflow源码学习之四 -- worker 待补充。。。
阅读全文
摘要：目前总共4篇： tensorflow源码学习之一 -- tf架构 tensorflow源码学习之二 -- client tensorflow源码学习之三 -- master tensorflow源码学习之四 -- worker 1. Client根据用户编写的训练代码构建数据流图。 在构建数据流图时
阅读全文
摘要：目前总共4篇： tensorflow源码学习之一 -- tf架构 tensorflow源码学习之二 -- client tensorflow源码学习之三 -- master tensorflow源码学习之四 -- worker master根据session.run()传递的参数填充、优化数据流图，
阅读全文
摘要：工具： cloc 结果：
阅读全文
摘要：转自：https://blog.csdn.net/daydayup_668819/article/details/80006229 一、单机单卡 单机单卡是最普通的情况，当然也是最简单的，示例代码如下： 二、单机多卡 单机多卡，只要用device直接指定设备，就可以进行训练，SGD采用各个卡的平均值
阅读全文
摘要：一、从源码编译安装tensorflow System information 1. git clone https://github.com/tensorflow/tensorflow 2. ./configure 3. bazel build --config=opt --config=cuda
阅读全文
摘要：运行object detection报错如下： Failed to find any matching files for /a-a/model.ckpt 原因是/a-a路径找不到。
阅读全文
摘要：目前总共7篇： horovod使用学习准备之一 -- 为tf添加新操作 horovod使用学习准备之二 -- tf.IndexedSlices horovod使用学习准备之三 -- HorovodGlobalState horovod使用学习准备之四 -- MPI_Gather和MPI_Allgat
阅读全文
摘要：目前总共7篇： horovod使用学习准备之一 -- 为tf添加新操作 horovod使用学习准备之二 -- tf.IndexedSlices horovod使用学习准备之三 -- HorovodGlobalState horovod使用学习准备之四 -- MPI_Gather和MPI_Allgat
阅读全文
摘要：目前总共7篇： horovod使用学习准备之一 -- 为tf添加新操作 horovod使用学习准备之二 -- tf.IndexedSlices horovod使用学习准备之三 -- HorovodGlobalState horovod使用学习准备之四 -- MPI_Gather和MPI_Allgat
阅读全文
摘要：目前总共7篇： horovod使用学习准备之一 -- 为tf添加新操作 horovod使用学习准备之二 -- tf.IndexedSlices horovod使用学习准备之三 -- HorovodGlobalState horovod使用学习准备之四 -- MPI_Gather和MPI_Allgat
阅读全文
