随笔分类 - AI编译器

5、模型量化

摘要：1、”PTQ Post Training Quantization 是训练后量化，也叫做离线量化，根据量化零点 xzero_pointxzero_point 是否为 0，训练后量化分为对称量化和非对称量化；根据数据通道顺序 NHWC(TensorFlow) 这一维度区分，训练后量化又分为逐层量化和阅读全文

posted @ 2023-12-05 20:25 多一些不为什么的坚持阅读(88) 评论(0) 推荐(0) 编辑

4、后端优化之算子分为计算和调度

摘要：1、算子调度 2、调度空间 3、调度树 4、调度转换参考资料：如何对算子IR表示？算子是如何分开计算和调度两部分？【AI编译器】后端优化02篇_哔哩哔哩_bilibili 阅读全文

posted @ 2023-11-05 23:53 多一些不为什么的坚持阅读(65) 评论(0) 推荐(0) 编辑

3、推理引擎-Kernel优化-内存布局方式

摘要：1、基本介绍 2、什么是内存对齐？ C/C++内存对齐详解 - 知乎 (zhihu.com) 3、Tensor的内存布局参考资料：推理引擎内存布局方式【推理引擎】Kernel优化第06篇_哔哩哔哩_bilibili 阅读全文

posted @ 2023-03-23 00:02 多一些不为什么的坚持阅读(51) 评论(0) 推荐(0) 编辑

2、推理引擎-Kernel优化-Im2Col算法

摘要：1、介绍一下通用的卷积过程阅读全文

posted @ 2023-03-22 00:07 多一些不为什么的坚持阅读(49) 评论(0) 推荐(0) 编辑

1、01AI编译器后端优化介绍

摘要：1、AI编译器架构准备好用Caffe、Tensorflow等训练好的神经网络模型。神经网络模型转换成Graph IR，然后经过Graph Optimizer的一系列Pass优化，列如：图算融合、数据排布转换、内存优化、死代码消除等接着由Graph IR转成Tensor IR，然后经过Ops 阅读全文

posted @ 2023-02-12 16:29 多一些不为什么的坚持阅读(298) 评论(0) 推荐(0) 编辑