2024年11月13日
大模型--Megatron TP张量并行-15
摘要： 目录1. 参考2. 介绍3. 权重的切分3.1 按行切分权重3.2 按列切分权重4. MLP层5. Self-Attention层6. Embedding层7. Cross-entropy层8. 张量模型并行 + 数据并行 1. 参考 https://zhuanlan.zhihu.com/p/622 阅读全文
posted @ 2024-11-13 18:14 jack-chen666 阅读(10) 评论(0) 推荐(0) 编辑