会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
吴建明
博客园
首页
新随笔
联系
订阅
管理
2024年8月15日
分布式训练策略杂谈
摘要: 分布式训练策略杂谈 5.1 常见的分布式并行策略 5.1.1 为什么分布式训练越来越流行 近年来,深度学习被广泛应用到各个领域,包括计算机视觉、语言理解、语音识别、广告推荐等。在这些不同的领域中,一个共同的特点就是模型规模越来越大,比如 GPT-3 模型的参数量达到1750亿。即使用1024张 80
阅读全文
posted @ 2024-08-15 07:49 吴建明wujianming
阅读(11)
评论(0)
推荐(0)
编辑
公告