上一页 1 2 3 4 5 6 7 8 9 ··· 30 下一页
2022年2月
[源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现
摘要： NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。 阅读全文
posted @ 2022-02-08 16:31 罗西的思考 阅读(9084) 评论(3) 推荐(1) 编辑
[源码解析] 模型并行分布式训练Megatron (2) --- 整体架构
摘要： NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。本文将对 Megatron 的基本架构做一下梳理。 阅读全文
posted @ 2022-02-07 20:12 罗西的思考 阅读(11985) 评论(2) 推荐(0) 编辑
2022年1月
[源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础
摘要： NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架，用来训练超大Transformer语言模型，其通过综合应用了数据并行，Tensor并行和Pipeline并行来复现 GPT3，值得我们深入分析其背后机理。 阅读全文
posted @ 2022-01-27 18:50 罗西的思考 阅读(22952) 评论(2) 推荐(1) 编辑
[源码分析] Facebook如何训练超大模型--- (5)
摘要： FSDP是Facebook 深度借鉴微软ZeRO之后提出的PyTorch DDP升级版本，可以认为是对标微软 ZeRO，目标是训练超大规模模型，本文我们介绍 Activation recomputation 相关知识。 阅读全文
posted @ 2022-01-26 08:47 罗西的思考 阅读(1403) 评论(0) 推荐(0) 编辑
[源码分析] Facebook如何训练超大模型---(4)
摘要： FSDP是Facebook 深度借鉴微软ZeRO之后提出的PyTorch DDP升级版本，可以认为是对标微软 ZeRO，目标是训练超大规模模型，之前文章之中我们谈到了FSDP支持混合精度训练，所以我们再来看看相关知识。 阅读全文
posted @ 2022-01-24 18:44 罗西的思考 阅读(1392) 评论(3) 推荐(0) 编辑
[源码分析] Facebook如何训练超大模型 --- (3)
摘要： FSDP是Facebook 深度借鉴微软ZeRO之后提出的PyTorch DDP升级版本，可以认为是对标微软 ZeRO，目标是训练超大规模模型。前文我们介绍了 FSDP 如何使用，本文从源码角度来介绍 FSDP 如何实现 offload。 阅读全文
posted @ 2022-01-21 14:35 罗西的思考 阅读(3608) 评论(6) 推荐(0) 编辑
[源码分析] Facebook如何训练超大模型 --- (2)
摘要： FSDP是Facebook 深度借鉴微软ZeRO之后提出的PyTorch DDP升级版本，可以认为是对标微软 ZeRO，目标是训练超大规模模型。前文我们介绍了 FSDP 如何使用，本文从源码角度来介绍 FSDP 如何实现参数分区。 阅读全文
posted @ 2022-01-19 19:53 罗西的思考 阅读(2989) 评论(2) 推荐(0) 编辑
[源码分析] Facebook如何训练超大模型---(1)
摘要： FSDP（Fully Sharded Data Parallel）是Facebook 深度借鉴微软ZeRO之后提出的PyTorch DDP升级版本，可以认为是对标微软 ZeRO，其本质是 parameter sharding。 阅读全文
posted @ 2022-01-17 19:47 罗西的思考 阅读(4697) 评论(0) 推荐(0) 编辑
[论文翻译] 分布式训练 Parameter Sharding 之 Google Weight Sharding
摘要： 本文以Google 论文 [Automatic Cross-Replica Sharding of Weight Update in Data-Parallel Training]为主来学习Parameter Sharding。 阅读全文
posted @ 2022-01-13 19:48 罗西的思考 阅读(1166) 评论(2) 推荐(0) 编辑
[论文翻译] 分布式训练 Parameter sharding 之 ZeRO
摘要： 本文以论文和官博为主来进行分析ZeRO，这是微软开发的一个可以高效利用显存的优化器，其会将模型状态量（优化器状态，梯度和模型参数）分布在多个并行 GPU 之上，目的是在不使用模型并行的情况下对让数十亿参数模型进行训练。 阅读全文
posted @ 2022-01-11 10:13 罗西的思考 阅读(5373) 评论(6) 推荐(1) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 30 下一页
点击右上角即可分享
微信分享提示