摘要： 背景 需要对3B模型进行蒸馏，一张4090的卡无法完成实验。完成这个实验的前提是需要两张卡，一张用来加载学生模型，一张用来加载教师模型。 多卡使用 这里的多卡使用并不是像以往的方式，使用dataloaderparallel等方式，这种是数据并行的策略，不适合蒸馏的场景，因为蒸馏是一个模型做推理，一个 阅读全文