摘要： 前言： 在计算机视觉的论文中，常常看到一个部分是Ablation Study（消融研究）。这个部分想表达什么意思呢？有什么作用？ quora上关于消融研究的解释：消融研究通常是指删除模型或算法的某些“功能”，并查看其如何影响性能。 在论文中一般来说会提出多个创新方法，或者新型结构模块，或注意力模块等 阅读全文

摘要： 知识蒸馏是一种在繁琐的模型中提炼知识并将其压缩为单个模型的方法，以便可以将其部署到实际应用中。AI的教父Geoffrey Hinton和他在Google的两个同事Oriol Vinyals和Jeff Dean于2015年引入了知识蒸馏。 ​ 知识蒸馏是指将笨拙的模型（教师）的学习行为转移到较小的模型 阅读全文