DriveMLLM：一个专为自动驾驶空间理解任务设计的大规模基准数据集

2024-11-20， 由武汉大学、中国科学院自动化研究所、悉尼科技大学、牛津大学等合创建了DriveMLLM数据集，该数据集是自动驾驶领域首个专为评估多模态大型语言模型（MLLMs）空间理解能力而设计的基准，对于推动自动驾驶技术的发展具有重要意义。

一、研究背景：

自动驾驶技术的发展需要对3D环境有全面的理解，以支持运动预测、规划和地图构建等高级任务。尽管在对象中心识别任务上取得了巨大进展，但在自动驾驶中对象间空间关系的推理却被忽视了，这对于实现全面的3D场景理解至关重要。

目前遇到困难和挑战：

1、现有的多模态大型语言模型（MLLMs）在理解驾驶环境中复杂的空间关系方面存在局限性。

2、缺乏专门针对自动驾驶空间理解任务的基准数据集，难以评估和提升MLLMs的空间推理能力。

3、需要更先进的MLLMs基础空间推理方法，以支持自动驾驶领域的进一步研究。

 

二、让我们一起来看一下DriveMLLM数据集

DriveMLLM是一个专为自动驾驶空间理解任务设计的大规模基准数据集，包含2734张前置摄像头图像，并引入了绝对和相对空间推理任务。

DriveMLLM数据集基于nuScenes数据集构建，包含了880张经过精心筛选的图像，这些图像涵盖了丰富的交通情况、天气场景和一天中不同时间，确保了模型在多样化的真实驾驶情境下进行测试。

 

数据集的构建：

包括从nuScenes数据集中提取图像、应用过滤标准以确保图像质量、手动审查以进一步优化数据集，以及为每个对象生成标准化的自然语言描述。

数据集特点：

DriveMLLM数据集的特点在于其多模态性，结合了视觉图像和自然语言问题，以及其专注于空间理解的任务设计，包括对象定位、边界框确定、相机到对象的距离估计等。

研究人员可以使用DriveMLLM数据集来评估和训练MLLMs，通过提供图像和相应的自然语言问题，模型需要输出符合指定格式的答案。

 

基准测试 ：

基准测试包括多种评估MLLMs空间理解能力的指标，如二分类准确度、距离测量准确度、位置定位准确度等，以及一个综合准确度得分（AccS）。

 

 

三、让我们一起展望DriveMLLM数据应用场景

比如你是一名自动驾驶技术的研发工程师，你们团队正在开发一款新的自动驾驶系统。你们的目标是让这个系统能够在各种复杂的交通环境中安全、准确地导航。为了测试和优化你们的系统，你们需要一个强大的数据集来评估系统的性能，特别是在零样本学习的情况下。

场景描述： 你们选择了DriveMLLM数据集来进行零样本性能测试。这个数据集基于nuScenes数据集构建，包含了6019个经过精心注释的帧，这些帧覆盖了各种真实世界的驾驶场景，从城市街道到高速公路，从白天到夜晚，从晴天到雨天。

DriveMLLM数据集的应用：

1、数据集准备：

你们首先从nuScenes数据集中提取了相关的图像和传感器数据，这些数据包括了车辆、行人、交通信号等关键信息。

2、系统测试：

你们将这些数据输入到你们的自动驾驶系统中，系统需要在没有见过这些具体场景的情况下，做出正确的驾驶决策。这就像是给系统一个“考试”，测试它在真实世界中的表现。

3、性能评估：

你们使用DriveMLLM数据集来评估系统的决策准确度。在零样本测试中，你们的系统在验证集上达到了0.395的决策准确度。这意味着系统能够在没有事先训练的情况下，正确地理解和响应这些复杂的驾驶场景。

4、结果分析：

通过分析测试结果，你们发现系统在某些特定场景下表现不佳，比如在能见度低的雨夜或者在交通拥堵的市中心。这些信息对你们来说非常宝贵，因为它帮助你们识别了系统的弱点，并指导你们进行针对性的优化。

5、系统优化：

根据测试结果，你们对系统进行了调整和优化。你们改进了系统的感知模块，使其在低光照条件下也能准确地识别行人和车辆。同时，你们也增强了系统的决策算法，使其能够更好地处理复杂的交通流量。

通过使用DriveMLLM数据集，你们的自动驾驶系统在零样本性能测试中取得了显著的进步。这个数据集不仅帮助你们评估了系统的性能，还为你们提供了宝贵的反馈，指导你们进行系统优化。