06 2024 档案

摘要:字节megascale论文学习笔记 阅读全文
posted @ 2024-06-29 18:27 SunStriKE 阅读(403) 评论(0) 推荐(1) 编辑
摘要:大模型训练 数据并行相关的学习笔记, 主要内容 zero, zero++ 阅读全文
posted @ 2024-06-28 22:25 SunStriKE 阅读(498) 评论(0) 推荐(0) 编辑
摘要:张量并行相关原理的学习笔记 阅读全文
posted @ 2024-06-27 17:22 SunStriKE 阅读(362) 评论(0) 推荐(0) 编辑
摘要:流水线并行相关原理的学习笔记 阅读全文
posted @ 2024-06-26 22:06 SunStriKE 阅读(809) 评论(0) 推荐(1) 编辑
摘要:GPU进行卡间通信/多机通信的算法简介 阅读全文
posted @ 2024-06-17 19:56 SunStriKE 阅读(179) 评论(0) 推荐(0) 编辑
摘要:在CUDA程序中, 访存优化个人认为是最重要的优化项. 往往kernel会卡在数据传输而不是计算上, 为了最大限度利用GPU的计算能力, 我们需要根据GPU硬件架构对kernel访存进行合理的编写. 阅读全文
posted @ 2024-06-17 15:31 SunStriKE 阅读(1528) 评论(0) 推荐(1) 编辑
摘要:介绍CUDA的基本概念和架构,帮助读者建立对CUDA的初步认识,包括硬件架构/CUDA基础等内容 阅读全文
posted @ 2024-06-06 19:49 SunStriKE 阅读(438) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示
more_horiz
keyboard_arrow_up light_mode palette
选择主题