模型量化

简介

在尽量保证模型精确度的同时，降低模型的计算和内存要求，从而提高运行时性能。

AIMET可以将现有的32位浮点模型量化为8位定点模型，而不会牺牲太多精度，也无需对模型进行微调。