Ablations

消融实验(ablation study)是什么？

太长不看版：

说白了就是设立对照组/控制变量法的意思，通过去除/增加某个模块的作用，来证明该模块的必要性，如果消融实验后得到性能结果大幅变化，说明该模块起到了作用。

 

——————————————————————————

严谨版：

Robert Long对消融研究（或消融实验）定义：通常用于神经网络，尤其是相对复杂的神经网络，如R-CNN。我们的想法是通过删除部分网络并研究网络的性能来了解网络

“消融”的原始含义是手术切除身体组织。

ablation
解释: 通过机械方法切除身体组织，如手术，从身体中去除，尤指器官、异常生长或有害物质。

“消融研究”这一术语的根源于20世纪60年代和70年代的实验心理学领域，其中动物的大脑部分被移除以研究其对其行为的影响。
在机器学习，特别是复杂的深度神经网络的背景下，已经采用“消融研究”来描述去除网络的某些部分的过程，以便更好地理解网络的行为。

自从Keras深度学习框架的主要作者Francois Chollet在2018年6月发布twtter以来，该术语受到了关注：

消融研究对于深度学习研究至关重要。理解系统中的因果关系是产生可靠知识的最直接方式（任何研究的目标）。消融是一种非常省力的方式来研究因果关系。
如果您采用任何复杂的深度学习实验设置，您可能会删除一些模块（或用随机的模块替换一些训练有素的功能）而不会降低性能。消除研究过程中的噪音：进行消融研究。
如果您无法完全理解您的系统？很多活动部件，想确定它的工作原因是否与您的假设密切相关？尝试删除东西。花费至少约10％的实验时间来诚实地反驳你的论文。

 

举个例子会理解直观些：

       Girshick及其同事描述了一个由三个“模块”组成的物体检测系统：第一个使用选择性搜索算法提出图像区域，在该区域内搜索物体。进入一个大的卷积神经网络（有5个卷积层和2个完全连接的层），进行特征提取，然后进入一组支持向量机进行分类。为了更好地理解该系统，作者进行了一项消融研究，其中系统的不同部分被移除 - 例如，移除CNN的一个或两个完全连接的层导致性能损失惊人地少。

这使作者得出结论：

CNN的大部分代表性力量来自其卷积层，而不是来自更大的密集连接层。

是什么

消融实验是一种科学研究方法，用于确定一个条件或参数对结果的影响程度。当研究者提出了一个新的方案或方法时，消融实验通过逐一控制一个条件或参数，来观察结果的变化，以确定哪个条件或参数对结果的影响更大。

举个例子，假设在目标检测系统中，使用了A、B、C三种方法相加取得了不错的效果。但是我们并不知道这个效果是由于A、B还是C起的作用。为了确定哪个方法对结果的影响更大，我们可以保留A、B，移除C进行实验，观察结果的变化。通过这样的消融实验，我们可以最终确定到底是哪个方法对结果的影响更大。

总结来说，消融实验类似于"控制变量法"，通过逐一控制条件或参数来观察结果的变化，以确定它们对结果的影响程度。

优势与劣势

消融实验的优点是可以帮助研究人员理解模型的不同组成部分对整体性能的贡献。通过逐步消除模型中的某些组件或功能，研究人员可以评估这些组件或功能对模型性能的影响。这有助于揭示模型的关键组件和关键功能，以及它们在任务中的作用。

消融实验的局限性在于，它可能无法完全反映真实世界的情况。通过消除某些组件或功能，消融实验可能会导致模型在特定任务上的性能下降，但在实际应用中，这些组件或功能可能是必要的。此外，消融实验可能无法考虑到组件之间的相互作用和复杂性，因此结果可能不完全准确。

总的来说，消融实验是一种有用的方法，可以帮助研究人员理解模型的工作原理和性能贡献，但需要谨慎解释和应用其结果

案例

一文搞懂什么是ablation study
Mask-Guided Attention Network for Occluded Pedestrian Detection

总结

消融实验是希望探究某一个单一变量对于系统的影响。针对可以去除的部分/模块/选项，可以采用去除的方式来设计实验；而针对不可以去除的变量/超参数等，可以采用grid search等方法来展示参数对于系统的影响。好的论文离不开详实的消融实验来让读者更好地了解作者的贡献，以及加深对于新提出的模块的作用的理解。总而言之，设计消融实验时，应该注意单尺度叙事原则，即一次只控制一个变量，进而研究该变量对于系统的影响。

Reference：

Girshick, R., Donahue, J., Darrell, T. and Malik, J., 2014. 《Rich feature hierarchies for accurate object detection and semantic segmentation》. In Proceedings of the IEEE conference on computer vision and pattern recognition (580-587页).

消融实验(ablation study)是什么？-CSDN博客