摘要: TensorRT量化工具,支持PTQ和QAT量化 基本流程:读取模型-》转化为IR进行图分析,做一些优化策略 一、TensorRT量化模式 TensorRT有两种量化模式:分别是implicitly以及explicitly量化,前者是隐式量化,在7.0及之前版本用的较多;后者显式量化在8.0版本后才 阅读全文
posted @ 2023-12-23 16:37 jimchen1218 阅读(1170) 评论(0) 推荐(0) 编辑