2023年12月9日
模型量化
摘要： 简介 在尽量保证模型精确度的同时，降低模型的计算和内存要求，从而提高运行时性能。 AIMET可以将现有的32位浮点模型量化为8位定点模型，而不会牺牲太多精度，也无需对模型进行微调。 阅读全文
posted @ 2023-12-09 11:52 浪矢-CL 阅读(25) 评论(0) 推荐(0) 编辑