随笔分类 - Paddle
摘要:目录 紧凑的模型结构设计 分组卷积 分解卷积 C.ReLU[7]结构 SqueezeNet[8]结构 神经网络搜索[18]低秩近似/分解模型剪枝 (pruning)模型量化 知识蒸馏卷积算法优化 总体压缩效果评价指标有哪些?几种轻量化网络结构对比网络压缩未来研究方向有哪些?目前有哪些深度学习模型优化
阅读全文
摘要:输入数据NCHW [in, ic, ih, iw]: in=batch;ic=input channel ;ih=input height; iw=input width 输出数据 [on,oc,oh,ow]:on=output batch;oc=output channel;oh=output h
阅读全文
摘要:本节讲述图的解析以及pass图优化。 模型文件使用protobuf保存。它的嵌套关系如下:block->operator->var。 block中保存了很多operator,而operator则包含了自身的参数定义等。 一般情况下,大多数operator都放置在block0中,block1和2中一般
阅读全文
摘要:在编译时,添加-DWITH_TESTING=ON,将单测编入whl包中 安装whl包 ctest -N | grep test_range 查找是否包含对应单测 ctest -R test_range -V 运行单测
阅读全文
摘要:英特尔的 Math Kernel Library (MKL)是科学计算领域广泛使用的数学库,但它对竞争对手 AMD 的 CPU 非常不友好,即使 AMD CPU 支持 AVX2 或 SSE3-SSE4,MKL 也只用 SSE1。如果要让 MKL 更好的支持 AMD CPU,用户需要修改系统环境变量,
阅读全文
摘要:本节介绍预测处理的流程。预测处理流程主要分为3部分,包括准备输入数据、执行、获取输出数据。 一、放入输入数据 简单的使用方法如下所示: vector<string> input_names = predictor->GetInputNames(); unique_ptr<Tensor> input_
阅读全文
摘要:本节介绍Operator定义注册机制 简介 所有的Op都继承自OperatorBase(operator.h),且所有的Op都是无状态的,每个Op包含的 成员变量只有四个:string& type、const VariableNameMap& inputs、const VariableNameMap
阅读全文
摘要:这一部分开始介绍创建Predictor过程, 以下代码均位于paddle/fluid/inference/api目录下 1、对外暴露的接口均在paddle_inference_api.h中 namespace paddle_inferusing Config = paddle::AnalysisCo
阅读全文
摘要:本文针对代码版本为Paddle/2.2,主要针对预测流程的梳理。 一、简要使用流程 paddle inference的使用较为简单,其基本代码如下: // 创建predictor std::shared_ptr<Predictor> InitPredictor() { Config config;
阅读全文
摘要:一、cpp预测 1、编译: 文档地址:https://github.com/PaddlePaddle/PaddleOCR/blob/develop/deploy/cpp_infer/readme.md 编译脚本:deploy/cpp_infer/tools/build.sh OPENCV_DIR=~
阅读全文
摘要:1、更换Tensorflow版本后,horovodrun有问题,说没有安装MPI或Gloo。解决:按步骤全部重新安装一遍。理解:不知道Horovod到tensorflow有什么依赖关系。可能也和版本有关系,我尝试了多遍。目前使用tensorflow 1.14.0版本/MPI 4.0.0版本安装环境没
阅读全文
摘要:打开nccl的错误信息: export NCCL_DEBUG=WARN 错误1.docker容器内运行pytorch多gpu报错 RuntimeError: NCCL Error 2: unhandled system error在启动容器的时候加上 -e NVIDIA_VISIBLE_DEVICE
阅读全文
摘要:1、打开python paddle的c++堆栈信息: 打开paddle的c++堆栈信息:export FLAGS_call_stack_level=2 2、内部使用glog的VLOG来打印调试信息,因此可以使用 export GLOG_v=5来打开 export GLOG_vmodule=opera
阅读全文
摘要:1、源码编译文档 https://paddle-inference.readthedocs.io/en/master/user_guides/source_compile.html 2、编译选项 3、如何编译paddle inference lib库 编译时,打开-DON_INFER=ON,就会在m
阅读全文