摘要： 一、模型蒸馏 1.1 蒸馏简介 知识蒸馏是指通过教师模型指导学生模型训练，通过蒸馏的方式让学生模型学习到教师模型的知识，最终使学生模型达到或媲美教师模型的准确度。 在模型压缩中，教师模型是一个预训练好的复杂的模型，而学生模型是一个规模较小的模型。如分类任务中，由训练好的教师模型在相同的数据下，通过将 阅读全文