我的随笔

[论文翻译] 分布式训练 Parameter sharding 之 ZeRO

罗西的思考 2022-01-11 10:13 阅读:4584 评论:6 推荐:1 编辑

[源码解析] PyTorch 分布式之 ZeroRedundancyOptimizer

罗西的思考 2022-01-10 16:47 阅读:4323 评论:0 推荐:2 编辑

[源码解析] 快手八卦 --- 机器学习分布式训练新思路(3)

罗西的思考 2022-01-06 20:13 阅读:944 评论:5 推荐:0 编辑

[源码解析] 快手八卦 --- 机器学习分布式训练新思路(2)

罗西的思考 2022-01-05 21:08 阅读:852 评论:0 推荐:0 编辑

[源码解析] 快手八卦 --- 机器学习分布式训练新思路(1)

罗西的思考 2022-01-04 19:18 阅读:1323 评论:0 推荐:0 编辑

[源码解析] PyTorch 分布式之弹性训练(7)---节点变化

罗西的思考 2021-12-31 14:31 阅读:707 评论:0 推荐:0 编辑

[源码解析] PyTorch 分布式之弹性训练(6)---监控/容错

罗西的思考 2021-12-29 18:02 阅读:2195 评论:0 推荐:0 编辑

[源码解析] PyTorch 分布式之弹性训练(5)---Rendezvous 引擎

罗西的思考 2021-12-28 09:55 阅读:1347 评论:0 推荐:0 编辑

[源码解析] PyTorch 分布式之弹性训练(4)---Rendezvous 架构和逻辑

罗西的思考 2021-12-27 10:15 阅读:2106 评论:0 推荐:0 编辑

[源码解析] PyTorch 分布式之弹性训练(3)---代理

罗西的思考 2021-12-25 10:15 阅读:1506 评论:0 推荐:0 编辑