08 2020 档案
摘要:本文首发于公众号 上一篇文章介绍了如何把 BatchNorm 和 ReLU 合并到 Conv 中,这篇文章会介绍具体的代码实现。本文相关代码都可以在 github 上找到。 Folding BN 回顾一下前文把 BN 合并到 Conv 中的公式: \[ \begin{align} y_{bn}&=\
阅读全文
摘要:本文首发于公众号 上一篇文章介绍了量化训练的基本流程,本文介绍量化中如何把 BatchNorm 和 ReLU 合并到 Conv 中。 Folding BatchNorm BatchNorm 是 Google 提出的一种加速神经网络训练的技术,在很多网络中基本是标配。 回忆一下,BatchNorm 其
阅读全文