随笔分类 -  TensorFlow源码阅读与架构梳理

分享记录Google开源的TensorFlow框架架构梳理,源码阅读笔记以及优化best practice
摘要:背景 作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 使用GPU训练时,一次训练任务无论是模型参数还是中间结果都需要占用大量显存。为了避免每次训练重新开辟显存带来 阅读全文
posted @ 2019-05-04 23:00 DeepLearningStack 阅读(10018) 评论(0) 推荐(8)
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 本篇是TensorFlow通信机制系列的第二篇文章,主要梳理使用gRPC网络传输部分模块的结构和源码。如果 阅读全文
posted @ 2019-03-10 00:53 DeepLearningStack 阅读(7388) 评论(4) 推荐(3)
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 在TensorFlow源码中我们经常能看到一个奇怪的词——Rendezvous。如果从仔细统计该单词出现的 阅读全文
posted @ 2019-02-08 22:31 DeepLearningStack 阅读(6857) 评论(5) 推荐(2)
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 在经过TensorFlow的Placer策略模块调整之后,下一步就是根据Placement信息对Graph 阅读全文
posted @ 2018-12-16 23:25 DeepLearningStack 阅读(6321) 评论(0) 推荐(2)
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 在前一篇文章中,我们梳理了TensorFlow中各种异构Device的添加和注册机制,通过使用预先定义好的 阅读全文
posted @ 2018-11-25 21:46 DeepLearningStack 阅读(7995) 评论(2) 推荐(1)
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 受限于单个Device的计算能力和存储大小,许多深度学习模型都有着使用模型分片或相关策略的需求。模型分片的 阅读全文
posted @ 2018-10-28 19:55 DeepLearningStack 阅读(5383) 评论(1) 推荐(3)
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 作为一款优秀的异构深度学习算法框架,TensorFlow可以在多种设备上运行算法程序,包括CPU,GPU, 阅读全文
posted @ 2018-07-15 20:35 DeepLearningStack 阅读(5041) 评论(0) 推荐(5)