Remote Robot Control with Human-in-the-Loop Over Long Distances using Digital Twins

标题：Remote Robot Control with Human-in-the-Loop Over Long Distances using Digital Twins

通过Internet共享技能使专业人士能够在不耗尽其可用性的情况下，例如通过过度旅行，使他们的专业知识和技能民主化。为了实现这种技能互联，我们提出了一种新颖的Digital Twin（DT）平台，用于对人在环中的机器进行远程控制。远程控制机器的DT有效地充当了操作员和受控机器（例如，机器人手臂）之间的中间层。可以针对特定应用优化DT，以通过直观的低延迟界面与操作员进行交互，另一方面，可以控制和监视远程任务的质量。本质上，操作员控制DT，而DT控制远程机器人。本文介绍了用于远程控制的DT框架。人机-人的控制环分为虚拟现实（VR），远程控制和机器人控制环。所提出的框架实现了低延迟的视觉反馈，并且在操作员和机器人之间具有任意距离的情况下，对于意外更改而言，系统响应时间非常短。在DT框架内，本文提出了一种机器人控制算法，用于控制网络中具有时间延迟和抖动的时间紧迫的机器人应用。拟议的框架已在演示器中实现，该演示器具有机械手及其在VR中的DT。

1. 介绍

在大都市以外或某些国家/地区通常无法获得医生，工程师，教师和其他高素质专业人员的专业知识。通过Internet共享技能可以帮助将专业知识带到世界任何地方。当前的互联网使在任何给定时间或位置的信息获取民主化，而正在进行的触觉互联网研究则致力于在全球范围内使对技能和专门知识的获取民主化，以促进不同性别，年龄，文化背景或性别的人们的平等。身体上的限制。技能互联网络的重要组成部分将是一个系统，该系统可对人为在环的机器进行远程控制，例如用于远程操作[1]和处理紧急情况[2]。已经可以控制机器人进行太空探索[3]并在地球上进行较远距离[4]的控制。尽管有现有的实现方式，但是对远程机器的服务质量和操作员的体验质量的限制还没有得到很好的研究。

有几种远程控制方法，包括使用输入设备（例如操纵杆或控制板），通过手势控制进行的无接触操作以及使用增强或虚拟现实（VR）来促进机器人控制并进行 它更直观[5] – [7]。 我们选择VR作为具有快速视觉反馈的灵活且功能丰富的解决方案。 VR允许创建受控对象的数字孪生（DT）。 使用DT，反馈不受远程链路延迟的影响。 物理机器人孪生的早期想法解决了相同的问题，但需要更多的投资[8]。

VR模型还允许自定义视图和控制界面，以简化远程控制。尽管VR模型努力准确地表示真实的机器人，但VR模型与真实的机器人之间始终存在细微的差异，这可能会导致操作员的反应略有不同。文献[8]提出了一种消除模型与实际机器人之间的差异所引起的误差的方法。其他转向误差可能是由于反馈延迟或人为失误造成的。有几种方法可以补偿转向误差。例如，在[1]中，利用来自插入血管的导管末端的触觉反馈来减少损坏血管壁的风险。传感器和模糊逻辑已在[9]中用于跟踪移动机器人计划路径中的障碍物。在操作太空探索机器人[3]时，还可以通过使用数学算法来考虑在控制回路中引起的长距离滞后。

我们假设在远程机器人的工作现场可以使用对象检测系统。 边缘云（EC）中对象检测的实现允许通过动态扩展计算资源来实现不同的延迟和准确性要求。 EC将通过软件定义网络（SDN）结合网络功能虚拟化（NFV）[10]，[11]来实现。 除了精度作为遥控器的质量评估器外，还有其他重要因素。 人应该有一个方便的界面，并带有很小的视觉反馈，以避免恶心。 机器人通常具有严格的时序要求，无法通过Internet来实现。 为了满足应用，人与机器人的需求，应将人与机器人的控制回路解耦。

本文开发了一种基于数字双胞胎（DT）的远程控制框架，该框架由三个控制回路组成，如图2和3所示。 特别是，我们将人机界面控制回路分为三个回路，并定义了它们之间的接口。 在第一个循环中（图3中的“数字孪生”循环），操作员与DT交互以定义远程机器人的工作。 第二个循环（图3中的“ DT2R”循环）用于DT和Internet上的机器人控制应用程序（RCA，也称为机器人控制算法）之间的交互。 RCA控制作业质量，并允许将时间紧迫的机器人回路与网络的其余部分解耦。 每毫秒，RCA都会在人的命令之间创建过渡点。 在第三个循环中（图3中的“机器人”循环），完成了涉及RCA和机器人的实际工作。本文研究了环环相扣的远程控制系统中服务质量的局限性，并给出了原型实现的结果。图3中的“数字孪生”设置为视觉反馈实现了70 ms的控制循环持续时间。由于图像是在操作员附近的EC中进行处理的，因此该控制周期的持续时间为时间的99％，与操作员与机器人之间的实际距离无关。在剩余的1％的时间内，持续时间可能高达131 ms（如第IV-D节中所述）。通过最小化流量，将DT和RCA之间的等待时间降低到往返ping时间的一半[12]。此等待时间应非常低，因为这是系统对意外更改的反应时间。在紧急情况下，DT可以迫使RCA停止或纠正机器人的运动。操作员也将被告知此类情况，并在DT反应后超过该情况的处理。

2. 问题描述

控制回路Tcc的周期包括从操作人员到受控系统再到人员的路径上的所有延迟。人为反应引起的延迟不在本研究的范围之内。 Tcc影响控制应用程序的可靠性。我们将实时操作定义为即使在受控系统发生意外更改的情况下也能确保控制应用程序达到规定的可靠性水平的功能。意料之外的变化是指违反远程操作员意愿而发生的更改，这些更改可能是也可能不是由远程操作员的操作引起的。通常，只能为预定义的意外变化集保证可靠性，为此可以得出所需的最小反应时间。总而言之，实时能力是通过执行任务的准确性和对意外更改的总体最短反应时间定义的。实时操作为网络延迟和抖动创造了边界。我们不主张设计一种系统来保证特定应用程序的实时运行。相反，我们演示了如何设计一个具有较小Tcc的系统，以方便典型应用。除实时要求外，Tcc还受人和机器人功能的限制。

3. 系统模型

A. 用例

远程控制机器人可以在广泛的远程操作案例中为人类提供帮助，包括在可能危及人类生命的环境中进行操作。 我们专注于通用遥控机器人系统。 特别是，我们研究了一种系统，人类操作员可通过该系统远程控制机械臂以操纵对象。 操作员手持无线遥控器，并通过手部动作来操纵远程机器人手臂。 机器人手臂的端点（即所谓的抓取器）应模仿操作员在3D空间中的手部运动。

我们从图1所示的基本单控制回路设置开始，研究了一系列三个日益复杂的设置。转向信号从人通过Internet传播并通过网关传播到机器人。 在远程端，网络摄像头通过网关和Internet捕获机器人手臂的视频并将其流式传输回人类。 人类使用视觉反馈来适应机器人手臂的运动。 我们考虑实验室条件的一项基本任务：应当拾起机器人前面的桌子上的木制碎片，并将其堆叠起来以建造塔。

图2中的扩展设置应执行相同的任务，但具有更高的精度和更好的操作员体验质量。 在[13]，[14]中提出了类似的系统用于太空探索。 在我们的用例中，我们利用了机器人所处环境的知识，以简化操作员的工作并实现更高的远程控制精度。

我们评估中的关键性能指标是控制循环周期Tcc。 在图1中的设置（在Sec III-B中进行了分析）中，只有一个控制环，它对应于图3中的“主”控制环。在该主环中，操作员的手部运动与 机器人的动作。 由于机器人手臂的严格计时要求，这种单循环设置极具挑战性。 如第III-C节中所述，“主”循环可分为图3中的左侧“远程控制”循环和右侧“机器人”循环，以满足机器人的计时要求。 如Sec III-D中所分析的，我们进一步将“远程控制”循环分为“数字双胞胎”循环和“ DT到机器人”（DT2R）循环，以减少视觉反馈延迟。

B. 基本单回路设置

在图1的单循环设置中，人移动了手柄，该手柄的位置在空间中被跟踪。 机器人复制手柄的动作。 网络摄像头捕获机器人站点的视频并将其流式传输给人类，以提供视觉反馈。 “主”控制回路（图3中的外回路）的周期Tcc由几个延迟组成。

首先，需要将操作员的手部移动或按下按钮转换为相应的机器人命令，从而产生延迟τm。 该命令通过Internet以UDP数据流的形式发送，从而导致网络（转发）延迟τnf。 到达后，命令将在机器人处进行缓冲，直到下一个机器人控制周期开始，从而导致等待延迟τw。 施加运动命令后，将调整机器人的当前速度矢量。

由于有限的加速度和加加速度，需要花费时间τs才能确定对应于人类运动的新速度矢量。 网络摄像机捕获机器人的动作，该摄像机会根据帧每秒的速率插入一个额外的延迟τc[15]。 机器人的实时视频通过UDP套接字流回。 此流比命令流具有更高的数据速率，从而导致更长的网络（向后）延迟τnb>τnf。 因此，控制循环周期可以计算为：

C. RCA: Enabling control loop decoupling 

所使用的机械手臂具有1 kHz的控制周期频率，并且不容许抖动，也不会增加系统延迟。 由于基本单回路控制的周期Tcc（及其变化）肯定大于所需的1毫秒，因此通过将机器人的控制回路与人机界面分离，可以促进机器人手臂的远程操纵 环形。 我们将图3中的主循环分为机械手控制循环和远程控制循环，从而EC执行机械手控制算法（RCA）。 EC具有与两个循环交互的接口。

我们设计了以下RCA。 在初始化期间，该算法会获取机器人手臂的物理极限，例如速度，加速度，加速度，机械手的最大/最小平移/旋转。 在运行时，该算法通过延迟获取网络上的目标点。 1毫秒和相当大的抖动，这在当今的互联网中很常见[12]。 这些点由三个平移值和三个旋转值组成，这些值指定了3D空间中的抓取器矢量位置。 这些点用于计算抓取器转换点，该转换点每毫秒应用一次。 该算法估算从操作员接收到的点之间的机器人轨迹，以产生与1 kHz机器人控制频率相对应的过渡点。 而且，该算法强制执行机器人的物理限制。 逼近的实现方式放松了同步机器人控制回路和远程控制回路的必要性。

该算法将每个平移和旋转视为一个单独的维度，即有六个维度。计算
下面的各个维度分别适用于每个维度。根据初始抓取器位置p0和位置增量D为pa = p0 + D来计算机器人的实际抓取器位置pa，从而p0和D都会随时间变化。位置增量D计算为D =
？ i∈[0，...，I）di·s（φi），其中i表示从DT接收的缓冲运动命令的索引。距离di是根据远程操作员pt的最新目标点，实际位置pa和机器人的当前速度计算的（算法1，第12行）。我们基于“只有最后一个目标位置很重要”的原则设计机器人控制系统。这个原理意味着机器人不需要遵循特定的轨迹；取而代之的是，机器人会努力尽快到达最后的目标位置pt。所有距离的总和di表示如果pt不变，则机器人将沿给定尺寸移动的总距离。函数s（φi）使运动逐渐进行。相位φi，φi∈[0，1]等于时间。分量di·s（φi）描述了当从远程操作员处接收到新的目标点时对D的校正。当φi= 1时，初始位置p0增加di，索引i的移动命令从缓冲区中删除。在我们的系统中，我们使用多项式函数定义s（φi）并通过整形参数n对其进行扩展，该整形参数n根据三元运算符来改变机器人的加速度