摘要: (本文首发于公众号,没事来逛逛) 今天讲一点量化训练中关于 STE (Straight Through Estimator) 的问题,同时介绍两种应对问题的方法:DSQ 和 QuantNoise。分别对应两篇论文:Differentiable Soft Quantization: Bridging 阅读全文
posted @ 2022-05-21 21:48 大白话AI 阅读(1568) 评论(0) 推荐(0) 编辑
摘要: (本文首发于公众号,没事来逛逛) 有读者让我讲一下 LSQ (Learned Step Size Quantization) 这篇论文,刚好我自己在实践中有用到,是一个挺实用的算法,因此这篇文章简单介绍一下。阅读这篇文章需要了解量化训练的基本过程,可以参考我之前的系列教程。 LSQ 是 IBM 在 阅读全文
posted @ 2022-04-24 23:21 大白话AI 阅读(1987) 评论(0) 推荐(2) 编辑
摘要: (本文首发于公众号,没事来逛逛) 前面两篇文章介绍 Data-Free Quantization,这篇文章准备用 pytorch 实现一遍 weight equalize 算法,并捋一下刚踩的新坑。 Weight Equalization 其实 pytorch 官方有一个 weight equali 阅读全文
posted @ 2022-04-01 16:36 大白话AI 阅读(369) 评论(0) 推荐(0) 编辑
摘要: (本文首发于公众号,没事来逛逛) 上一篇文章介绍了高通 Data-Free Quantization 的基本思想,但我在代码实现的时候发现有个问题没有解决,因此这篇文章对前文打个补丁 (果然没有落实到代码层面都不能说自己看懂了论文)。 Depthwise Conv如何equalize 在前面的文章中 阅读全文
posted @ 2022-03-29 09:17 大白话AI 阅读(407) 评论(0) 推荐(0) 编辑
摘要: (本文首发于公众号,没事来逛逛) 前面介绍了一些后训练量化的基本方法,从这篇文章开始我们来学习一些高阶操作。 首先登场的是高通提出的一篇论文:Data-Free Quantization Through Weight Equalization and Bias Correction。之所以介绍它是因 阅读全文
posted @ 2022-03-23 12:50 大白话AI 阅读(1298) 评论(0) 推荐(0) 编辑
摘要: (本文首发于公众号,没事来逛逛) 这篇文章简单聊聊后训练量化的一些常规操作。 一些基础知识 在此之前,还是需要先了解一下后训练量化 (下面简称 PTQ,Post-training Quantization) 是啥?具体细节这里就不展开了,不熟悉的读者欢迎看回我之前的文章 (神经网络量化入门--后训练 阅读全文
posted @ 2022-03-21 13:00 大白话AI 阅读(1769) 评论(0) 推荐(1) 编辑
摘要: (本文首发于公众号,没事来逛逛) 之前写的关于网络量化的文章都是基于 per-layer 实现的,最近有小伙伴询问关于 per-channel 量化的问题,我发现有些同学对这个东西存在一些误解,包括我以前也被 per-channel 的字面意义误导过,所以今天简单聊一下 per-channel 量化 阅读全文
posted @ 2022-03-18 09:49 大白话AI 阅读(2409) 评论(0) 推荐(1) 编辑
摘要: (本文首发于公众号,没事来逛逛) Pytorch1.8 发布后,官方推出一个 torch.fx 的工具包,可以动态地对 forward 流程进行跟踪,并构建出模型的图结构。这个新特性能带来什么功能呢?别的不说,就模型量化这一块,炼丹师们有福了。 其实早在三年前 pytorch1.3 发布的时候,官方 阅读全文
posted @ 2022-03-17 09:49 大白话AI 阅读(1799) 评论(0) 推荐(0) 编辑
摘要: 本文首发于公众号 之前写过一系列网络量化相关的文章,它们都出自 Google 在 2018 年发表的一篇论文,目前也是 tflite 和 pytorch 等框架中通用的量化标准。不过,最近有读者在后台问我,说他看到的一些论文和我文章中的方法差别很大,被搞懵了。因此,今天想整理一下网络量化的发展脉络, 阅读全文
posted @ 2022-03-11 12:58 大白话AI 阅读(2080) 评论(0) 推荐(1) 编辑
摘要: 本文首发于公众号 在之前的文章中提到过可以把 ReLU 合并到 Conv 中加速量化推理,当时只是用一个例子简单介绍一下过程,逻辑上存在一些漏洞。本文打算从数学上深入剖析一下其中的原理,并进一步扩展到其他激活函数,看看在网络量化中激活函数一般是怎么处理的。 温故知新 为了简单起见,假设我们是量化到 阅读全文
posted @ 2021-02-28 17:59 大白话AI 阅读(2147) 评论(0) 推荐(1) 编辑