摘要: deeplearning搜索空间 搜索空间是神经网络搜索中的一个概念。搜索空间是一系列模型结构的汇集, SANAS主要是利用模拟退火的思想在搜索空间中搜索到一个比较小的模型结构或者一个精度比较高的模型结构。 paddleslim.nas 提供的搜索空间 根据初始模型结构构造搜索空间: MobileN 阅读全文
posted @ 2021-02-21 11:30 吴建明wujianming 阅读(130) 评论(0) 推荐(0) 编辑
摘要: deeplearning算法优化原理目录· 量化原理介绍 · 剪裁原理介绍 · 蒸馏原理介绍 · 轻量级模型结构搜索原理介绍 1. Quantization Aware Training量化介绍1.1 背景近年来,定点量化使用更少的比特数(如8-bit、3-bit、2-bit等)表示神经网络的权重和 阅读全文
posted @ 2021-02-21 10:47 吴建明wujianming 阅读(247) 评论(0) 推荐(0) 编辑
摘要: deeplearning模型库 1. 图像分类 数据集:ImageNet1000类 1.1 量化 分类模型Lite时延(ms) 设备 模型类型 压缩策略 armv7 Thread 1 armv7 Thread 2 armv7 Thread 4 armv8 Thread 1 armv8 Thread 阅读全文
posted @ 2021-02-21 07:23 吴建明wujianming 阅读(210) 评论(0) 推荐(0) 编辑
摘要: 硬件delay评估表 硬件延时评估表用于快速评估一个模型在特定硬件环境和推理引擎上的推理速度。 Bw 主要用于定义PaddleSlim支持的硬件延时评估表的格式。 概述 硬件延时评估表中存放着所有可能的操作对应的延时信息,该表中的一个操作包括操作类型和操作参数,比如:操作类型可以是conv2d,对应 阅读全文
posted @ 2021-02-21 07:05 吴建明wujianming 阅读(104) 评论(0) 推荐(0) 编辑
摘要: Deeplearning知识蒸馏 merge paddleslim.dist.merge(teacher_program, student_program, data_name_map, place, scope=fluid.global_scope(), name_prefix='teacher_ 阅读全文
posted @ 2021-02-21 06:56 吴建明wujianming 阅读(116) 评论(0) 推荐(0) 编辑
摘要: deeplearning量化 量化配置 通过字典配置量化参数 TENSORRT_OP_TYPES = [ 'mul', 'conv2d', 'pool2d', 'depthwise_conv2d', 'elementwise_add', 'leaky_relu' ] TRANSFORM_PASS_O 阅读全文
posted @ 2021-02-21 06:49 吴建明wujianming 阅读(195) 评论(0) 推荐(0) 编辑
摘要: 卷积层通道剪裁 Pruner classpaddleslim.prune.Pruner(criterion="l1_norm") 对卷积网络的通道进行一次剪裁。剪裁一个卷积层的通道,是指剪裁该卷积层输出的通道。卷积层的权重形状为 [output_channel, input_channel, ker 阅读全文
posted @ 2021-02-21 06:37 吴建明wujianming 阅读(270) 评论(0) 推荐(0) 编辑
摘要: 搜索空间参数配置 通过参数配置搜索空间。 参数: input_size(int|None):- input_size 表示输入 feature map 的大小。 input_size 和 output_size 用来计算整个模型结构中下采样次数。 output_size(int|None):- ou 阅读全文
posted @ 2021-02-21 06:30 吴建明wujianming 阅读(234) 评论(0) 推荐(0) 编辑
摘要: deeplearning模型分析 FLOPs paddleslim.analysis.flops(program, detail=False) 获得指定网络的浮点运算次数(FLOPs)。 参数: program(paddle.fluid.Program) - 待分析的目标网络。更多关于Program 阅读全文
posted @ 2021-02-21 06:16 吴建明wujianming 阅读(120) 评论(0) 推荐(0) 编辑