2020年10月4日
知识蒸馏基本知识及其实现库介绍
摘要： 1 前言 知识蒸馏，其目的是为了让小模型学到大模型的知识，通俗说，让student模型的输出接近(拟合)teacher模型的输出。所以知识蒸馏的重点在于拟合二字，即我们要定义一个方法去衡量student模型和teacher模型接近程度，说白了就是损失函数。 为什么我们需要知识蒸馏？因为大模型推理慢难 阅读全文
posted @ 2020-10-04 18:09 infgrad 阅读(3730) 评论(0) 推荐(2) 编辑