推荐排行榜

[源码解析] 模型并行分布式训练 Megatron (4) --- 如何设置各种并行

罗西的思考 2022-02-10 18:42 阅读:8049 评论:0 推荐:2 编辑

[源码解析] PyTorch 分布式之 ZeroRedundancyOptimizer

罗西的思考 2022-01-10 16:47 阅读:5073 评论:0 推荐:2 编辑

[源码解析] PyTorch分布式优化器(2)----数据并行优化器

罗西的思考 2021-12-08 19:36 阅读:1529 评论:0 推荐:2 编辑

[源码解析] PyTorch 分布式 Autograd (2) ---- RPC基础

罗西的思考 2021-11-30 19:50 阅读:1154 评论:0 推荐:2 编辑

[源码解析] PyTorch 分布式 Autograd (1) ---- 设计

罗西的思考 2021-11-29 20:18 阅读:1776 评论:0 推荐:2 编辑

公告

★关于生活和技术的思考★

欢迎关注公众号,您将会得到及时的文章推送信息：

昵称：罗西的思考
园龄： 5年4个月
粉丝： 263
关注： 0

<

2025年3月

>

日

一

二

三

四

五

六

23

24

25

26

27

28

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

1

2

3

4

5

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论

1. Re:探秘Transformer系列之（1）：注意力机制
@八月神释谢谢支持，争取在2个月内完成这个系列的大部分内容。...
--罗西的思考
2. Re:探秘Transformer系列之（7）--- embedding
感谢
--hannj
3. Re:探秘Transformer系列之（7）--- embedding
支持一下！
--hantangblog
4. Re:探秘Transformer之（8）--- 位置编码
支持一下！
--hantangblog
5. Re:探秘Transformer系列之（1）：注意力机制
深度好文
--新新人類