cv 量化业务 方法

1，挑选校准数据集，如测试集，bad case数据

2，每层量不量化对最后一层输出的cos影响，影响大的，设置成fp16或者int16

3，部分cos较低的层，想办法从源头提高cos，如加上一个BN，换上adam优化器，而不是adamw

4，brecq/qdrop，或者we，或者联合使用

6，多分支量化，在分支连接处的层，对量化比较敏感，可以设置16bit

7，repvgg量化，可以用特殊的优化器训练，或者有的层比较敏感，可以设置16bit

8，qat，关闭相关norm的统计参数。

9，步骤很多的工作，每一步都要自检，不要犯低级错误

10，vit-qat中，可能有效的方案：a) 激活函数前，先做一个clip。b)优化器用adam。c) 可以选择自蒸馏。4) 数据量不够的情况，需要增加数据增强。5) 关闭相关的norm的统计参数