上一页 1 ··· 11 12 13 14 15 16 17 18 19 ··· 37 下一页
摘要: 论文:https://www.cs.toronto.edu/~ranzato/publications/DistBeliefNIPS2012_withAppendix.pdf 译文:大规模分布式深度网络 摘要 最近,无监督特征学习和深度学习的相关工作表明,训练大模型可以显著提高模型的性能。本文,我们 阅读全文
posted @ 2019-08-08 10:34 happyyoung 阅读(284) 评论(0) 推荐(0) 编辑
摘要: https://gcc.gnu.org/onlinedocs/gcc/Optimize-Options.html 阅读全文
posted @ 2019-08-05 10:44 happyyoung 阅读(235) 评论(0) 推荐(0) 编辑
摘要: 参考链接 https://wiki.python.org/moin/ExtensionTutorial 阅读全文
posted @ 2019-08-04 18:26 happyyoung 阅读(1785) 评论(0) 推荐(0) 编辑
摘要: NUMA(Non Uniform Memory Access Architecture,非统一内存访问架构) socket:多个core的封装,对应于cpu插槽。名字没啥特殊含义,感觉是随便起的。 core:cpu物理核。 超线程:cpu虚拟化技术。通常一个物理核会虚拟化成两个逻辑核(process 阅读全文
posted @ 2019-08-03 10:18 happyyoung 阅读(653) 评论(0) 推荐(0) 编辑
摘要: request-reply 可以先启动client,再启动server。 publish-subscribe parallel pipeline http://zguide.zeromq.org/page:all https://github.com/zeromq/libzmq 阅读全文
posted @ 2019-07-31 21:04 happyyoung 阅读(162) 评论(0) 推荐(0) 编辑
摘要: Parameter Server Postoffice类 阅读全文
posted @ 2019-07-18 19:24 happyyoung 阅读(259) 评论(0) 推荐(0) 编辑
摘要: RDMA 阅读全文
posted @ 2019-07-11 22:15 happyyoung 阅读(110) 评论(0) 推荐(0) 编辑
摘要: 论文:https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/mapreduce-osdi04.pdf 译文: MapReduce:大规模集群上的简化数据处理 阅读全文
posted @ 2019-07-09 15:50 happyyoung 阅读(98) 评论(0) 推荐(0) 编辑
摘要: 参考链接:http://www.cs.cmu.edu/~muli/file/ps.pdf http://www.cs.cmu.edu/~muli/file/parameter_server_osdi14.pdf http://www.cs.cmu.edu/~muli/file/parameter_s 阅读全文
posted @ 2019-07-03 17:24 happyyoung 阅读(206) 评论(0) 推荐(0) 编辑
摘要: BytePS是一个高性能通用的分布式训练框架。支持TensorFlow,Keras,PyTorch和MXNet,可以跑在TCP和RDMA(Remote Direct Memory Access,远程直接内存访问)网络上。BytePS的性能比现有的开源分布式训练框架都好很多,例如,在流行的公有云上,用 阅读全文
posted @ 2019-07-02 14:33 happyyoung 阅读(1871) 评论(0) 推荐(0) 编辑
上一页 1 ··· 11 12 13 14 15 16 17 18 19 ··· 37 下一页