pytorch模型迁移介绍

迁移的基本流程

 第一步：算子满足度分析

方法一

 

在pytorch profiler在GPU上提取算子

方法二 使用CANN分析迁移工具

 第二步：

配置相关硬件环境，在pytorch的基础上安装pytorch adapt;

模型迁移-手工迁移（单Device代码迁移）

导入NPU相关库（pyTORCH1.8）

将device类型修改为npu

将训练脚本中的cuda接口替换为NPU接口

 hccl和nccl的区别

DP和DDO的区别

推荐的使用方式

 关于混合精度

CUBE仅仅支持FP16，对于FP32的矩阵运算，无法调用CUBE的高算力。

整网使用FP16,数值范围小容易导致梯度消失。

可以使用自动混合精度，通过梯度scale以及回落FP32消除FP16的影响。