AdaR2R：包含9个导航任务，覆盖3个不同的Matterport3D场景，专注于支持在连续室内环境中进行视觉语言导航的研究，特别是涉及动态障碍物的路径规划。

2024-11-28，由NVIDIA、上海大学和新加坡科技学院联合创建的AdaR2R数据集，旨在通过在连续室内环境中引入移动的人类障碍物，提升机器人导航任务的复杂性和现实世界适应性。

 

一、研究背景：

视觉语言导航（VLN）是一项挑战机器人根据自然语言指令在现实环境中导航的任务。尽管先前的研究主要集中在静态环境中，但现实世界的导航往往需要应对动态的人类障碍物。因此，研究者们提出了Adaptive Visual Language Navigation（AdaVLN）任务，以缩小模拟环境与现实世界之间的差距。

 

目前遇到困难和挑战：

1、现实世界中的导航任务远比静态环境复杂，需要处理动态障碍物，如移动的人类。

2、现有的VLN任务数据集和模拟器大多缺乏现实世界中的动态复杂特征，例如移动障碍物和变化的空间。

3、机器人在导航时需要预测这些动态障碍物的未来位置，并在推理时相应调整路线，这对机器人的路径规划和环境理解提出了更高要求。

 

二、让我们一起来看一下AdaR2R数据集

AdaR2R是一个样本数据集，包含9个导航任务，覆盖3个不同的Matterport3D场景，专注于支持在连续室内环境中进行视觉语言导航的研究，特别是涉及动态障碍物的路径规划。

 

数据集构建：

基于Matterport3D环境，通过引入动态障碍物（如移动的人类）来模拟真实世界的导航场景。数据集包含了多个导航任务，每个任务中机器人需遵循自然语言指令在连续的室内环境中导航，同时避免与动态障碍物发生碰撞。数据集的构建过程中，使用了AdaSimulator，这是一个基于IsaacSim的扩展模拟器，支持物理启用的3D环境和动画人类模型的直接集成

数据集特点

1、动态障碍物引入：AdaR2R数据集的主要特点在于其对动态障碍物的引入，这使得导航任务更加复杂和真实。

2、详细路径配置：数据集中的每个导航任务都包含了详细的动态障碍物路径和生成点配置，这些配置确保了障碍物与机器人路径的交互性。

3、支持“冻结时间”功能：数据集支持“冻结时间”功能，这一机制在机器人进行决策时暂停模拟时间，从而消除了硬件性能差异对实验结果的影响。

 

数据集使用：使用AdaR2R数据集时，研究者可以利用AdaSimulator进行实验，该模拟器提供了物理启用的3D环境和动态障碍物的集成。研究者可以通过模拟器获取机器人在每个导航步骤中的RGB-D观察结果，并根据这些观察结果和自然语言指令生成导航动作。数据集还支持ROS2接口，便于研究者提取模拟器中的RGB-D观察结果并发送控制命令。

 

基准测试 ：

AdaR2R数据集被用于评估和开发在动态环境中进行视觉语言导航的算法和模型。研究者们用几个基准模型进行实验，以评估新任务，并分析这些额外复杂性对代理行为和性能的影响

 

 

Jetbot 在动态的 Matterport3D 环境中导航，并有移动的人类障碍物。

 

 

AdaSimulator 在 ISAAC Sim 中的 GUI 扩展

 

 

顶部：RGB 观测值，底部：提供给代理的深度观测值。请注意，为清楚起见，此图像中的深度观测范围已限制为 0 到 10 之间。

 

 

上图：环境：进行 9 集导航时所处的环境。人类在整个导航情节中沿着指示的路径无限循环。请注意，这些路径是故意选择的，以干扰机器人将采用的最佳路径。

 

 

顶部：机器人和人类在模拟过程中采用的路径样本（由线条表示）。坐标原点基于 MP3D GLB 文件中提供的 X-Y，该文件已缩放为 1 个单位：1 米。如果机器人的线条围绕一个点来回移动，则机器人会卡在与墙壁的碰撞中。

 

三、让我们一起展望AdaR2R数据集的应用场景

 

比如，我家有一个刚学会走路的小宝宝，

以前家里的机器人小M，它工作起来可真是让人操心。它就像那种老式的扫地机器人，只会按照预设的路径走，不懂得看路。记得有一次，我家宝宝，那个刚学会走路的小不点儿，正在客厅中间摆弄他的小玩具。小M呢，它接到了命令要去把地上的书捡起来放到书架上。结果，它直勾勾地就冲着宝宝去了，完全没注意到宝宝就在它的路上。我当时那个心啊，提到了嗓子眼，一个箭步冲过去，把宝宝抱开，才避免了一次“交通事故”。小M呢，它就那么愣愣地停在那里，直到我手动把它挪开。这种事儿发生多了，我就开始想，这机器人是不是太笨了点。

但是现在，小M好像突然开了窍，变得聪明伶俐了。

这都得归功于那个AdaR2R数据集，它让小M学会了如何在复杂的家里环境中灵活导航。就比如上周末，宝宝又在客厅里摇摇摆摆地走来走去，小M接到了新任务，要把地上的玩具捡起来。这次，它没有直接冲过去，而是先停下来，用它的传感器四处看了看。它发现了宝宝就在它的路上，于是小M就自动改变了路线，从宝宝的侧面绕了过去。它的动作很温柔，一点也没有打扰到宝宝的玩耍。宝宝还好奇地看着小M，好像在想：“这个大家伙在跟我玩捉迷藏吗？”小M就这样，顺利地避开了宝宝，把玩具捡起来，然后稳稳当当地放到了玩具箱里。

还有昨天，我在厨房忙着做饭，宝宝在客厅里玩他的小火车。我喊了一声：“小M，去把宝宝的奶嘴从盒子里拿出来。”小M应声而动，但它没有直接冲向沙发，而是先扫描了一下客厅的情况。它发现宝宝正蹲在沙发旁边玩，如果直接过去，可能会吓到宝宝。于是小M就轻轻地绕了一个圈，从另一边接近沙发，小心翼翼地伸出它的机械臂，把奶嘴捡起来，然后轻轻地递给宝宝。宝宝抬起头，看到奶嘴，开心地笑了，还伸手摸了摸小M的头，好像在说：“谢谢你，小M！”

现在的小M,现在它不仅仅是一个机器人，更像是我们家的一员，懂得照顾宝宝，懂得避开障碍，让我们家的生活变得更加轻松和安全