会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
诸葛村夫
博客园
首页
新随笔
联系
订阅
管理
随笔 - 68
文章 - 0
评论 - 1
阅读 -
23230
11 2023 档案
深度学习模型训练并行问题
摘要:并行这个概念一方面是是加快模型训练,一方面是解决显存不够的问题的并行策略 数据并行(最常用的),即每张卡上都放一个完整的模型,主要用于单机多卡的数据并行。 模型并行,将模型的不同部分进行手动的分割,然后分别放在不同的卡上。注意,模型要放在卡上不光是需要保存模型参数,因为模型训练过程中不仅涉及数据一层
阅读全文
posted @
2023-11-24 21:45
诸葛村夫CC
阅读(98)
评论(0)
推荐(0)
编辑
公告
昵称:
诸葛村夫CC
园龄:
2年10个月
粉丝:
4
关注:
0
+加关注
<
2025年2月
>
日
一
二
三
四
五
六
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1
2
3
4
5
6
7
8
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
随笔分类
(57)
课程笔记(38)
论文笔记(19)
随笔档案
(68)
2024年1月(1)
2023年12月(4)
2023年11月(1)
2023年8月(1)
2023年7月(1)
2023年6月(6)
2023年4月(10)
2023年3月(2)
2022年11月(6)
2022年10月(3)
2022年9月(5)
2022年8月(1)
2022年6月(1)
2022年5月(2)
2022年4月(24)
阅读排行榜
1. 世界大洋及中国海温盐密分布(1905)
2. 海洋中的热收支和水平衡(1716)
3. 流体的物理性质和描述流体运动的物理量(1367)
4. 海洋中的波动(1246)
5. 大洋环流与水团(1229)
评论排行榜
1. ViT(1)
最新评论
1. Re:ViT
自己实现的ViT效果太差 跑了一下:
--ddfsdfds
点击右上角即可分享