评论排行榜

[源码解析] NVIDIA HugeCTR，GPU 版本参数服务器 --(1)

罗西的思考 2022-02-15 19:29 阅读:2724 评论:2 推荐:0 编辑

[源码解析] 模型并行分布式训练Megatron (2) --- 整体架构

罗西的思考 2022-02-07 20:12 阅读:12052 评论:2 推荐:0 编辑

[源码解析] 模型并行分布式训练Megatron (1) --- 论文 & 基础

罗西的思考 2022-01-27 18:50 阅读:23087 评论:2 推荐:1 编辑

[源码分析] Facebook如何训练超大模型 --- (2)

罗西的思考 2022-01-19 19:53 阅读:2997 评论:2 推荐:0 编辑

[论文翻译] 分布式训练 Parameter Sharding 之 Google Weight Sharding

罗西的思考 2022-01-13 19:48 阅读:1169 评论:2 推荐:0 编辑

公告

★关于生活和技术的思考★

欢迎关注公众号,您将会得到及时的文章推送信息：

昵称：罗西的思考
园龄： 5年4个月
粉丝： 272
关注： 0

<

2025年3月

>

日

一

二

三

四

五

六

23

24

25

26

27

28

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

1

2

3

4

5

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论

1. Re:探秘Transformer系列之（1）：注意力机制
太好了作者加油
太喜欢这种文章了
--ShuangLian
2. Re:探秘Transformer系列之（1）：注意力机制
@八月神释谢谢支持，争取在2个月内完成这个系列的大部分内容。...
--罗西的思考
3. Re:探秘Transformer系列之（7）--- embedding
感谢
--hannj
4. Re:探秘Transformer系列之（7）--- embedding
支持一下！
--hantangblog
5. Re:探秘Transformer之（8）--- 位置编码
支持一下！
--hantangblog