摘要:
深度学习模型优化方法有: (1)模型压缩:模型权重量化、模型权重稀疏、模型通道剪枝 (2)优化推理引擎:TVM、tensorRT、OpenVINO 模型压缩 (1)quantization:模型权重量化 (2)sparsification:模型权重稀疏 (3)channel pruning:模型通道 阅读全文
摘要:
浮点峰值计算 定义:计算单位时间内,乘法和加法的最大总吞吐量,单位是GFLOPS或者TFLOPS。 如1:Sandy Bridge架构的理论浮点峰值就等于(8Mul + 8Add) 核心频率 核心数:i7 2600k 是 (8+8) 3.4 4=217.6 GFLOPS 如2:Haswell架构的理 阅读全文