我的随笔

[源码解析] 模型并行分布式训练 Megatron (4) --- 如何设置各种并行

罗西的思考 2022-02-10 18:42 阅读:6544 评论:0 推荐:2 编辑

[源码解析] 模型并行分布式训练 Megatron (3) ---模型并行实现

罗西的思考 2022-02-08 16:31 阅读:7378 评论:3 推荐:1 编辑

[源码解析] 模型并行分布式训练Megatron (2) --- 整体架构

罗西的思考 2022-02-07 20:12 阅读:9446 评论:0 推荐:0 编辑

[源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础

罗西的思考 2022-01-27 18:50 阅读:18400 评论:2 推荐:1 编辑

[源码分析] Facebook如何训练超大模型--- (5)

罗西的思考 2022-01-26 08:47 阅读:1262 评论:0 推荐:0 编辑

[源码分析] Facebook如何训练超大模型---(4)

罗西的思考 2022-01-24 18:44 阅读:1249 评论:3 推荐:0 编辑

[源码分析] Facebook如何训练超大模型 --- (3)

罗西的思考 2022-01-21 14:35 阅读:3352 评论:6 推荐:0 编辑

[源码分析] Facebook如何训练超大模型 --- (2)

罗西的思考 2022-01-19 19:53 阅读:2636 评论:2 推荐:0 编辑

[源码分析] Facebook如何训练超大模型---(1)

罗西的思考 2022-01-17 19:47 阅读:4315 评论:0 推荐:0 编辑

[论文翻译] 分布式训练 Parameter Sharding 之 Google Weight Sharding

罗西的思考 2022-01-13 19:48 阅读:1065 评论:2 推荐:0 编辑