Proj CMI Paper Reading: Magma: A Ground-Truth Fuzzing Benchmark

Abstract

本文：Magma
任务：能够实现统一模糊器评估和比较的真实模糊测试基准。
特点：

1. 通过将真实的错误引入真实的软件，Magma 允许针对广泛的目标对模糊器进行真实的评估。通过检测这些错误，Magma 还可以独立于模糊器收集以错误为中心的性能指标。
2. Magma 是一个开放基准，由七个目标组成，这些目标执行各种输入操作和复杂计算，对最先进的模糊器提出了挑战。

实验：
时间：超过 200,000 CPU 小时
数据集：Magma
工具：七种广泛使用的基于突变的 fuzzer（AFL、AFLFast、AFL++、FairFuzz、MOpt-AFL、honggfuzz 和 SymCC-AFL）。
效果：
根据到达、触发和检测到的错误数量，我们得出关于模糊器的探索和检测能力的结论。这提供了对 fuzzer 性能评估的深入了解，突出了基本事实在执行更准确和有意义的评估中的重要性。