Fork me on GitHub

随笔分类 -  Distributed System

分布式系统
TopN热门新闻计算
摘要：采用flink实时计算topn热门新闻，主程序参考自http://wuchong.me/blog/2018/11/07/use-flink-calculate-hot-items/，稍微整理了一下程序，数据可以从参考链接中下载。 import org.apache.flink.api.common. 阅读全文
posted @ 2020-03-11 18:12 石头木 阅读(347) 评论(0) 推荐(0) 编辑
使用horovod构建分布式深度学习框架
摘要：最近一直在尝试着分布式深度学习的架构，主要的原因一方面是几台机子全是1060卡，利用深度网络在较大数据样本上训练的效率极其低下，所以尝试着将几台机子做成分布式，看看能否提高训练效率；第二方面是有人习惯使用tensorflow，有人习惯使用keras，也有人喜欢使用pytorch等，虽然这些框架各自都 阅读全文
posted @ 2019-12-11 22:11 石头木 阅读(2757) 评论(2) 推荐(0) 编辑

点击右上角即可分享
微信分享提示