2024年7月23日
pytorch模型迁移与调优CANN
摘要： 简单概念对应情况 具体版本支持 核心的设计dispatch pytorch Adapter 逻辑架构图 阅读全文
posted @ 2024-07-23 17:41 ITJAMESKING 阅读(3) 评论(0) 推荐(0) 编辑
昇腾AI基础软硬件平台介绍
摘要： 面向训练场景的有Ascend 910系列 和Ascend 310系列 AI CORE是昇腾AI处理器的计算核心，采用华为自研究的达芬奇架构。 具有矩阵计算单元，向量计算单元，标量计算单元，累加器 CANN逻辑架构介绍。 是华为针对AI推出的异构计算架构。 服务层 计算编译层 阅读全文
posted @ 2024-07-23 17:09 ITJAMESKING 阅读(21) 评论(0) 推荐(0) 编辑
华为ai系统基础概念
摘要： 现在大模型训练主要用BF16 构建多卡训练系统主要考虑：算力，网络，存储。 阅读全文
posted @ 2024-07-23 16:36 ITJAMESKING 阅读(7) 评论(0) 推荐(0) 编辑
华为大模型的处理方案
摘要： 1.大模型对运维的要求也是相对严格特别是光模块对环境的要求相对严格。 2.大模型训练的影响因素 分布式训练切法：Tensor模型并行：pipeline并行，数据并行。和称PTD并行。all to all专家并行（华为优化方案分层分级） 补充QKV 以及LayerNorm深入理解NLP中LayerNo 阅读全文
posted @ 2024-07-23 16:28 ITJAMESKING 阅读(20) 评论(0) 推荐(0) 编辑