随笔分类 - AI推理
摘要：一、问题复现 将模型放到GPU上推理时时发生的异常。 OrtSessionOptionsAppendExecutionProvider_CUDA(session_options, 0); ... ort_outputs = session_.Run(Ort::RunOptions{ nullptr
阅读全文
摘要：一、概念 静态Shape:指在网络执行阶段Tensor的shape没有发生变化； 动态Shape:指在网络执行阶段Tensor的shape发生变化。 二、动态shape引起的原因 输入shape不固定； 网络执行过程中有引发shape变化的API； 控制流不同分支引入shape上的变化。 三、规避策
阅读全文
摘要：1 原因 torchscript runtime在第一阶段会进行优化 2 解决办法 #include <torch/csrc/jit/python/update_graph_executor_opt.h> torch::jit::setGraphExecutorOptimize(false); 参考
阅读全文
摘要：1、原因 模型向GPU拷贝时发生异常 model = torch::jit::load(ptFile); if (isHalf) { model.to(torch::kHalf); } model.to(device);//GPU版异常，可能模型并没有完全放到GPU上 2、解决方法 model =
阅读全文
摘要：一、查看cuda和cudnn的安装版本 1.1 查看cuda的版本信息 nvcc --version # 输出 nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2020 NVIDIA Corporation Built on Thu_
阅读全文
摘要：## 一 、CPU与GPU的异同 CPU：延迟导向内核，所谓延迟，指指令发出到得到结果中间经历的时间。 GPU：吞吐导向内核，所谓吞吐量指单位时间内处理的指令数量。其适合于计算密集或者数据并行的场合。 ## 二、CUDA ### 2.1 简介 CUDA（Compute Unified Device
阅读全文
