Baxter’s Homunculus: Virtual Reality Spaces for Teleoperation in Manufacturing Jeffrey

Baxter’s Homunculus: Virtual Reality Spaces for Teleoperation in Manufacturing

视频：https://www.youtube.com/watch?v=4a-W3Od5-t8

Paper: https://arxiv.org/abs/1703.01270
0. 摘要

昂贵的专用系统阻碍了用于制造系统的远程机器人系统的开发。在本文中，我们演示了一种远程机器人系统，该系统可以通过利用商业虚拟现实（VR）技术并将其与现有的机器人控制软件集成来降低该系统的成本。该系统使用现成的VR硬件在商业游戏引擎上运行。该系统可以部署在多种网络体系结构上，从有线局域网到Internet上的无线网络连接。该系统基于人脑模型，其中我们将用户嵌入到虚拟现实控制室中。控制室允许显示多个传感器，在用户和机器人之间进行动态映射，不需要为机器人或其环境生产对偶。控制室映射到机器人内部的空间，以提供机器人内部的同位感。我们将系统与用于组装任务的最新自动化算法进行了比较，显示出系统的成功率为100％，而自动化系统的成功率为66％。我们证明了我们的系统可用于拾取和放置，组装和制造任务。

1.介绍

我们相信，制造业的未来将需要机器人和人的结合，在物理和虚拟世界中进行交互，以使人和机器人能够彼此增强能力。人类可以从远处监督机器人，并在必要时将其无缝连接到机器人的任务空间。在这里，他们可以控制机器人执行任务，教导机器人执行新任务或帮助机器人从故障或意外情况中恢复过来。我们演示了一种使用人脑思维模型实现此类人机协作的系统。 “笛卡尔剧场”对笛卡尔的心身二元论的批评[1] [2]中阐明了同质论是一种逻辑上的谬误。据说是坐在人头内的控制室里，通过人的眼睛看，控制他们的行为的东西。这是一个非终止的递归定义，因为它暗示着在每个直方内部都有另一个较小的直方。尽管这是对人类智能的可怕定义，但它是对遥控机器人的智能的恰当定义。机器人内部有一个人，他在控制室内意识到自己的眼睛并控制其动作。我们以人类学为灵感的方法使人类用户可以拥有与机器人相同的视点和感觉，而无需用户和机器人具有紧密耦合的状态。

与当前和过去将VR系统应用于远程操作的尝试不同，我们的系统使用虚拟现实控制室（VRCR）来分离用户和机器人的输入和输出，并在它们之间提供可调整的映射。 该VRCR映射到机器人系统空间内部的空间。 我们的系统使用当前的消费者虚拟现实（VR）系统，使我们能够利用现有的商业解决方案以及游戏基础设施来执行制造任务。 我们在远程操作机器人系统的同时，从本地机器为用户提供感官刺激。 这样一来，我们就可以在本地有线网络，同一建筑物内的无线连接上运行，并通过另一个城市的酒店无线连接来控制机器人。

我们测试了我们的系统，使它可以拣选一个项目并将其堆叠以进行组装，从而具有更高的准确性，并且其速度可与最新的手工对象定位（IOL）系统相媲美[3]。 我们的系统在20个试验中的成功率为100％，平均时间为52秒，而最新算法的成功率为66％。 我们还使用该系统执行无需固定装置的组装任务，并使用商用钉书机将电线操纵并固定到木结构上。 该系统可以利用VR基础架构和人类智慧来拾取螺钉，处理柔性材料和复杂形状。

在本文中，我们做出了贡献：

一种为远程操作系统应用心智的单模模型以实现用户和机器人虚拟协同定位的方法

一种新的基于虚拟现实的遥控机器人体系结构，用于控制机器人系统

远程机器人系统的一系列演示，并与当前的自动化技术进行了比较。

3. 

4. 模态模型系统

对于我们的特定系统，我们使用Oculus Rift作为VR耳机和触摸控制器，以及Baxter机器人。 在开发的早期，Razer hydra控制器也用于手动控制器。 我们选择Baxter机器人是因为它很容易获得，尽管它看起来很像人形，但手臂的距离和自由度显然不像人类。 百特在每个手臂上都提供了一个摄像头和距离传感器。 百特机器人配置有两个平行的板状夹具或一个夹具和一个装钉枪。 将两台Logitech C930e摄像机作为立体声摄像机进纸器放置在Baxter的头上。

如图2所示，每个手臂的传感器信息都显示为视频屏幕和进度条，指示距离传感器的值。 这些显示在中央窗口的两侧。 这样一来，用户便可以通过手持摄像机查看，读取距离传感器值并同时看到手臂的立体图。

为了表示手臂的控制界面，我们在空间中为每个手臂放置了一个发光球以及一个用于手臂当前状态的标记。 如果命令机器人达到无法获得的配置，则该球为红色；如果命令该机器人到达有效的位置和方向，则该球为蓝色。 添加了每个手臂当前位置和方向的标记，以允许用户比较位置的变化。 另外，将虚拟网格空间放置在VRCR中作为虚拟参考表面。

我们允许用户通过更改控制器的握持方式来更改制图MHG以适应任务（请参阅算法1。通常，像Baxter这样的机器人会将抓手朝下朝向表面，这对人类来说是个不舒服的位置。 通过选择不同的变换形式，用户可以将抓手与手的位置和方向相匹配的形式切换到简单的匹配位置，并将方向固定在向下的位置，这使得该系统更易于在拾取和放置操作中使用。 在触摸系统上，如果用户在食指指向时抓住控制球，则系统会尝试模仿用户手的位置和方向；如果相反，用户用整只手抓住控制球，则手臂只会 模拟位置，同时保持向下的方向。

图2显示了系统图。由于Oculus和其他消费者VR耳机使用Unity框架，因此用户需要Windows PC。由于Baxter使用ROS和Ubuntu，因此我们需要一个消息传递系统，该消息传递系统可以快速地在系统之间进行通信。麻省理工学院和密歇根大学开发的轻量级通信和编组（LCM）被证明是一个足够的解决方案[19]。但是，LCM只能在小型子网（同一路由器上的IE）上工作。为了实现网络间的操作，Canopy框架用于在不同网络上的ROS主节点之间中继ROS消息[20]。 Canopy框架订阅ROS主题，将其广播到服务器，然后将其传输到连接到具有相同组的同一服务器的其他ROS主节点。这允许具有独立主节点的多个ROS网络相互通信。这在图2中表示为传输元件。与用户的网络会将LCM消息和ROS命令相互转换以进行重新广播。对于高清视频，LCM / ROS基础设施不足。我们使用NewTek的NDI系统从高清摄像机发送和接收压缩的高清视频流。然后将这些流作为纹理集成到Unity中。两个平面，每只眼睛都显示一个平面，在它们上面覆盖了摄像机的提要，以提供VRCR主窗口之外的立体视图。

5. 结果与讨论

为了测试系统，我们设计了一系列任务供专业用户执行。 我们专注于系统的组装，拾取和放置以及制造任务。 对于拾取和放置操作，我们测试了该系统处理不同形状和合规性对象的能力。 用户的任务是捡起每个项目，将它们从左手转移到右手，然后将其存放到垃圾箱中。 这就要求用户确定从中抓住物体，对齐双手，重新握紧并转移到垃圾箱的位置。 对于机器人系统来说，这是一组不平凡的操作，因为它必须能够预测布料在抓握时的运动，了解卷筒上悬垂物的存在，并计划将卷筒拖动到某个位置 可以从侧面抓住它。 相比之下，用户可以通过利用直觉来响应对象对刺激的反应，从而在远程操作框架中快速执行这些任务。

对于用户来说，既可以通过立体窗口可视化整个空间，又可以通过手持摄像机看一下以测量对准感和到目标抓握位置的距离，这对用户很有用。 在补充视频中，我们看到一个专业的用户能够使用手持摄像机和虚拟窗口来将螺丝钉放到垃圾箱中，然后提起并放置电线。 总体而言，该系统能够处理许多不同类型的物品。 我们对8个不同的对象进行了评估。 通过将MVR分离为单模模型的MGG和MDS，可以使这种操作模式成为可能。 通过将用于机器人的控件与机器人的虚拟表示分离开，可以将多个大型显示器放置在虚拟空间中距用户较远的位置，并且可以将控件限制在适当映射的感兴趣区域中。

麻省理工学院的研究人员最近要求百特（Baxter）进行一次大会
bly任务使用带有主要感测器的手内对象定位（IOL）。一旦抓住了手中的物体，就将其定位以提高组装任务的准确性[3]。我们使用Homonculus系统进行了相同的实验（参见图4），并在20项试验中测量了性能。在表I中，我们可以看到使用百特硬质平行板抓手来抓握和组装大块的成功率。虽然最新的IOL算法可以极大地提高任务的成功率，但人类用户在类似的执行时间上却拥有完美的性能。用户平均花费52秒完成任务，标准偏差为15秒。为了完成任务，将百特的手放在桌子上很有用。我们改变MHG的能力可以帮助用户完成这项任务。通过按下Razer的按钮，MHG会忽略用户手中的旋转信息，而只会跟踪位置。这使得从上方抓取物体更加舒适。图5显示了该任务的一种变体。在这里，用户可以在两个不同的MHG之间切换以完成无固定装置的组装任务。当从桌子上抓取物品时，旋转信息是固定的，但是当在自由空间中组装或将物品放到两手之间时，用户的手的旋转将直接映射到机器人。

为了完成任务，我们让用户将电线钉在板上。我们还测试了手持摄像机相对实用性的重要性。用户需要能够用一根手臂将电线拾取并放置到板上，用另一只手臂放置钉枪，然后开枪数次以将电线锁定到位。如图6所示，钉枪作为末端执行器安装在机器人手臂的侧面。这在对准钉书钉枪时阻止了手持摄像机的使用。使用手持摄像机时，用户能够轻松地对准并拾取导线。没有手持摄像机时，订书钉枪的对准是不准确的，并且用户需要进行5次固定2个订书钉的尝试。尽管存在此障碍，但用户仍能够使用虚拟窗口中的3D深度信息将手对准线并装订对象。该系统的未来版本可能包括压力传感器和显示器，以允许用户知道他们施加在表面上的力以及接触表面上的压力图。这将允许用户确保工具在表面上以足够的力均匀放置。

为了测试多种网络体系结构上的系统能力，我们在几种不同的网络配置中控制了机器人。 上面的测试是在本地网络上使用有线连接完成的。 我们还通过无线连接通过不同的网络通过同一网络控制了同一建筑物中的机器人。这需要将手持摄像机的更新速率降低到5Hz。 作为对远程通讯的测试，该系统是在弗吉尼亚州阿灵顿的凯悦水晶城举行的，用于2016年国家机器人计划的PI会议。 在那里，用户可以通过酒店的无线互联网在MIT上试用百特。 这要求将手持摄像机的帧速率限制为1Hz，范围更新为5Hz，并将立体声摄像机的分辨率降低为800x600。 这样做是为了满足连接上的5 Mbps上限。

6. 总结

在本文中，我们已经开发了一种基于智人心智模型的基于VR的远程机器人系统的系统。 该系统在网络架构和带宽分配之间具有高度的灵活性。 通过能够快速更改人类输入与机器人状态之间的映射以及机器人状态与人类输入之间的映射，我们可以提高实用性和人体工程学。 该体系结构利用现有的消费级硬件和软件框架来远程操作现有机器人系统的能力使其能够扩展为更广泛的部署。 远程操作机器人系统将使人们能够在当今他们无法完成的规模和环境中工作。 通过将物理性与制造任务脱钩，可以减少诸如身体健康，位置或安全检查之类的工作障碍。