随笔分类 - 011_分布式机器学习
分布式机器学习
摘要：在前文中，我们介绍了PipeDream的总体架构和Profile阶段，本文我们继续介绍计算分区阶段。
阅读全文
摘要：继 GPipe 之后，我们开一个流水线并行训练新系列，介绍微软的PipeDream。本文介绍其总体思路，架构和Profile阶段。
阅读全文
摘要：GPipe是一个基于 Google Brain 开发的，支持超大规模模型的神经网络训练并行库，本文介绍其重计算功能，同时可以和其他实现一起印证。
阅读全文
摘要：梯度累积是一种增大训练时 batch size的技术，在本地使用 micro-batch 多次进行正向和反向传播积累梯度后，再进行梯度规约和优化器更新，这是用来均摊通信成本的一种常用策略。本文通过几个框架/库的实现对比，让大家对这个技术有进一步的了解。
阅读全文
摘要：GPipe 是一个基于 Lingvo （Lingvo 是 Google 基于 TensorFlow 二次开发的重点针对序列模型的框架）开发的，支持超大规模模型的神经网络训练并行库，本文介绍其基本功能和流水线机制。
阅读全文
摘要：Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式，用于解决机器学习的问题。前文介绍了PyTorch 的数据处理部分，本文接着介绍Paracel的数据处理部分，正好可以与PyTorch做一下印证。
阅读全文
摘要：为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载，主要是从分布式的角度进行切入。本文介绍 DataLoader。
阅读全文
摘要：为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载（因为字数太长，所以拆成两篇），主要是从分布式的角度进行切入。本文介绍 DistributedSampler。
阅读全文
摘要：Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式来解决机器学习的问题。本文主要分析其SSP的实现。
阅读全文
摘要：Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式来解决机器学习的问题，本文介绍其主体结构。
阅读全文
摘要：本文是参数服务器的第四篇，介绍KVWorker, KVServer。
阅读全文
摘要：本文是参数服务器第三篇，介绍ps-lite的Customer模块。
阅读全文
摘要：本文是参数服务器系列第二篇，介绍ps-lite的通信模块 Van。
阅读全文
摘要：参数服务器是机器学习训练一种范式，是为了解决分布式机器学习问题的一个编程框架。本文是参数服务器系列第一篇，介绍ps-lite的总体设计和基础模块 Postoffice。
阅读全文
摘要：本文是 horovod on k8s 的最后一篇，看看 MPI-Operator 可能被如何改进。
阅读全文
摘要：Horovod 是一款基于 AllReduce 的分布式训练框架。本文是 Horovod on k8s 第二篇，介绍MPI-Operator。
阅读全文
摘要：Horovod 是一款基于 AllReduce 的分布式训练框架。本文是 Horovod on k8s 第一篇，介绍kubeflow tf-operator。
阅读全文
摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十七篇，看看horovod 的容错机制。
阅读全文
摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是第十六篇，看看 horovod **弹性训练**中 worker 的生命周期。
阅读全文