华为大模型的处理方案

 

1.大模型对运维的要求也是相对严格特别是光模块对环境的要求相对严格。

2.大模型训练的影响因素

分布式训练切法：Tensor模型并行：pipeline并行，数据并行。和称PTD并行。all to all专家并行（华为优化方案分层分级）

补充QKV

以及LayerNorm深入理解NLP中LayerNorm的原理以及LN的代码详解-CSDN博客

具体的一些处理方式

 

 

训练业务流程

 典型的训练组网

 CANN大模型运维平台

 

posted @   ITJAMESKING  阅读(32)  评论(0)  编辑  收藏  举报
相关博文：
·  pytorch模型迁移介绍
·  pyTorch模型调优NPU
·  大规模模型训练tricks集锦
·  课程5-笔记-书生浦语大模型实战营-5
·  聊一聊大模型
阅读排行：
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型，支持深度思考和联网搜索！
· 基于 Docker 搭建 FRP 内网穿透开源项目（很简单哒）
· ollama系列01：轻松3步本地部署deepseek，普通电脑可用
· 25岁的心里话
· 按钮权限的设计及实现
点击右上角即可分享
微信分享提示
SQL AI 助手