2021 年 8月随笔档案 - 罗西的思考

摘要：GPipe是一个基于 Google Brain 开发的，支持超大规模模型的神经网络训练并行库，本文介绍其重计算功能，同时可以和其他实现一起印证。阅读全文

posted @ 2021-08-30 19:43 罗西的思考阅读(4415) 评论(3) 推荐(2) 编辑

摘要：梯度累积是一种增大训练时 batch size的技术，在本地使用 micro-batch 多次进行正向和反向传播积累梯度后，再进行梯度规约和优化器更新，这是用来均摊通信成本的一种常用策略。本文通过几个框架/库的实现对比，让大家对这个技术有进一步的了解。阅读全文

posted @ 2021-08-26 08:27 罗西的思考阅读(2346) 评论(0) 推荐(2) 编辑

摘要：GPipe 是一个基于 Lingvo （Lingvo 是 Google 基于 TensorFlow 二次开发的重点针对序列模型的框架）开发的，支持超大规模模型的神经网络训练并行库，本文介绍其基本功能和流水线机制。阅读全文

posted @ 2021-08-23 08:24 罗西的思考阅读(7472) 评论(4) 推荐(4) 编辑

摘要：Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式，用于解决机器学习的问题。前文介绍了PyTorch 的数据处理部分，本文接着介绍Paracel的数据处理部分，正好可以与PyTorch做一下印证。阅读全文

posted @ 2021-08-21 09:11 罗西的思考阅读(431) 评论(0) 推荐(0) 编辑

摘要：为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载，主要是从分布式的角度进行切入。本文介绍 DataLoader。阅读全文

posted @ 2021-08-18 08:12 罗西的思考阅读(3831) 评论(2) 推荐(1) 编辑

摘要：为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载（因为字数太长，所以拆成两篇），主要是从分布式的角度进行切入。本文介绍 DistributedSampler。阅读全文

posted @ 2021-08-15 10:32 罗西的思考阅读(8896) 评论(0) 推荐(1) 编辑

摘要：Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式来解决机器学习的问题。本文主要分析其SSP的实现。阅读全文

posted @ 2021-08-13 20:16 罗西的思考阅读(572) 评论(0) 推荐(0) 编辑

摘要：Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式来解决机器学习的问题，本文介绍其主体结构。阅读全文

posted @ 2021-08-10 19:26 罗西的思考阅读(563) 评论(0) 推荐(0) 编辑

摘要：本文是参数服务器的第四篇，介绍KVWorker, KVServer。阅读全文

posted @ 2021-08-07 10:31 罗西的思考阅读(613) 评论(0) 推荐(0) 编辑

摘要：本文是参数服务器第三篇，介绍ps-lite的Customer模块。阅读全文

posted @ 2021-08-04 20:26 罗西的思考阅读(788) 评论(0) 推荐(0) 编辑

摘要：本文是参数服务器系列第二篇，介绍ps-lite的通信模块 Van。阅读全文

posted @ 2021-08-02 20:11 罗西的思考阅读(970) 评论(0) 推荐(0) 编辑

08 2021 档案