pyTorch模型调优NPU
性能分析工具pyTorch Profiling
CANN Profiling
看task duration
调优手段1：使用亲和的数据类型
用AMP训练
AICore不支持torch.long.Tensor类型，会自动切换AICPU,影响训练。
调优手段2：优化调度耗时（融合tensor）
融合算子
昇腾要求输入tensor连续，所以进行非连续内存转连续内存
使用自动调优工具AOE
绑核，提升cpu性能（对于ARM服务器提升较大，对于x86一般）
具体算子调优
roll算子运行时间过长
了解其功能用相同语义替换。
具体模块优化
PATCH
NPU可以理解为c++全部一起编译
GPU来一行编译一行
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型，支持深度思考和联网搜索！
· 基于 Docker 搭建 FRP 内网穿透开源项目（很简单哒）
· ollama系列01：轻松3步本地部署deepseek，普通电脑可用
· 25岁的心里话
· 按钮权限的设计及实现
2022-07-24 本周计算机知识总结