首个支持多地图和多相机的长期校园环境视觉惯性定位数据集

2024-12-06,由浙江大学工业控制技术国家重点实验室联合杭州师范大学信息科学与工程学院以及香港科技大学的研究人员共同创建了一个多相机、多地图的视觉惯性定位系统数据集，该数据集通过提供长期、一致且无漂移的位置反馈，对机器人的自主导航和控制领域具有重要意义。

一、研究背景：

随着自主机器人技术的快速发展，基于地图的定位系统（VILO）对于机器人的实时位置估计至关重要。然而，现有的VINS和SLAM系统无法直接集成到机器人的控制回路中，导致在实际控制中无法利用未来的信息更新当前姿态，限制了其在长期操作中的准确性和可靠性。

目前遇到困难和挑战

• 现有的VINS系统虽然能够提供高频位置估计，但在长期操作中会累积漂移。
• SLAM系统虽然能够提供无漂移的轨迹输出，但这种输出是后处理的，具有因果性问题，无法用于实时控制。
• 现有的SLAM评估系统在测量准确性时需要对整个轨迹进行对齐，忽略了里程计起始框架和真实框架之间的变换误差。

二、让我们一起看一下Multi-cam Multi-map VILO Campus Dataset

Multi-cam Multi-map VILO：多相机多地图视觉惯性定位系统数据集

这是一个包含长期校园环境变化的多相机、多地图视觉惯性定位系统数据集，用于评估和提升机器人在复杂环境中的定位性能。

数据集收集自浙江大学紫金港校区，覆盖了9个月的时间跨度，包括了265,000平方米的区域和超过55公里的轨迹。

 

数据集构建：

数据集通过设计多相机IMU硬件设置进行收集，包含了同步的多相机图像流，以及IMU和外部传感器数据，如LiDAR和GPS。

数据集特点：

1、多相机视角：数据集包含了多个相机的视角，提供了更广阔的视野和更多的特征点。

2、多地图支持：数据集支持使用多个不重叠的地图，提高了定位的灵活性和准确性。

3、长期变化：数据集捕捉了校园环境的长期变化，包括季节变化、建筑施工等。

基准测试：

数据集提供了与系统和算法性能评估相关的基准测试，包括映射精度、匹配精度和

拟议的 VILO 系统框架概述。在测绘模式下，系统接收实时多传感器数据输入到在线测绘模块中进行初始测绘构建，并向用户提供测绘质量反馈，以便及时调整数据采集策略。然后离线建图模块进行两阶段高精度建图，支持密集重建输出。在定位模式下，系统使用在映射模式下构建的单个或多个孤立的地图，进行基于地图的一致、准确和实时的状态估计。具体细节见第三节。LCD：闭环检测，SFM：运动结构，BA：光束每个帧的插图。在建议的系统中有两种观测值，局部观测值（蓝色阴影部分）和地图观测值（粉红色阴影部分）。

 

三、让我们一起展望数据集应用场景

比如，浙江大学的校园里，有一个名叫“小Z”的自动驾驶小车。小Z的任务是在校园里自由穿梭，给同学们送快递或者进行巡逻。但是，小Z要完成这个任务，首先得知道自己在校园里的确切位置，这就好比我们出门在外需要知道自己在哪儿一样。

这时候，Multi-cam Multi-map VILO 数据集就派上用场了。这个数据集就像是给小Z提供了一本详细的“地图册”，里面记录了校园里的每一条路、每一栋建筑，甚至是每一棵树的位置。这个“地图册”可不简单，它包含了长达9个月的数据，覆盖了265,000平方米的区域，轨迹总长度超过55公里。这意味着，无论小Z在校园的哪个角落，只要参考这个数据集，就能知道自己的准确位置。

现在，假设小Z要从图书馆出发，去艺术学院送一份紧急文件。小Z会先查看“地图册”，找到自己当前的位置，然后规划出一条最佳路线。在路上，小Z会用到数据集中的多摄像头和多地图信息，这些信息能帮助它应对校园里的变化，比如新修的建筑、季节变化导致的树木生长，甚至是突然闯入的行人或车辆。

小Z在行进过程中，会不断地用摄像头捕捉周围的景象，然后和“地图册”里的数据进行比对，这样就能实时更新自己的位置。如果小Z发现实际景象和“地图册”里有出入，比如一条路因为施工被临时封闭了，它就能立刻调整路线，绕道而行。

最终，小Z顺利到达艺术学院，完成了送文件的任务。这一切都要归功于Multi-cam Multi-map VILO 数据集，它让小Z在复杂的校园环境中也能自如导航，就像一个真正的老司机一样。