利用学习改进雷达和激光雷达之间的外在特性

利用学习改进雷达和激光雷达之间的外在特性

摘要——激光雷达和雷达是自动驾驶系统中常用的两种传感器。二者之间的外在校准对于有效的传感器融合至关重要。这一挑战是由于雷达测量中的低精度和稀疏信息而产生的。本文介绍了一种在自主系统中进行三维雷达激光雷达校准的新解决方案。该方法采用简单的目标生成数据，包括对应注册和一步优化算法。

该优化旨在最大限度地减少重投影误差，同时利用小的多层感知（MLP）对目标周围传感器的返回能量进行回归。所提出的方法使用了PyTorch等深度学习框架，并且可以通过梯度下降进行优化。该实验使用360度Ouster-128激光雷达和360度Navtech雷达，提供原始测量结果。结果验证了所提出的方法在实现外部校准参数的改进估计方面的有效性。

索引术语——雷达、激光雷达、校准、神经网络、NeRF

引言

随着自动驾驶汽车技术的进步，人们越来越需要在雨雪等恶劣天气条件下提供有效的解决方案。虽然CAMERA和LIDAR传感器已被证明在正常条件下是成功的，但恶劣天气会严重影响其性能。雷达传感器，就像Navtech公司生产的传感器一样，提供了一种很有前途的替代品。由于波长较长，雷达传感器受灰尘、雾、雨或雪等小颗粒物的影响较小，这些小颗粒物会损害相机和激光雷达的性能。此外，雷达具有更长的探测范围和穿透材料的能力，能够探测激光雷达传感器视线之外的物体。这些特性使雷达非常适合在恶劣天气条件下使用。

2020年牛津雷达RobotCar数据集的发布为研究人员提供了宝贵的资源，其中包含了丰富的激光雷达、相机和雷达数据。该数据集有助于推进自动驾驶汽车的研究，并在里程计、位置识别和语义分割等领域取得了显著进展。研究人员还可以访问其他数据集，进一步推动了雷达研究的发展。预计雷达及其与其他传感器的集成将在未来成为一个不断增长的研究和应用领域，大量公共数据的可用性将推动雷达的巨大进步。

虽然雷达传感器有可能在恶劣天气下提供稳健的性能，但与激光雷达传感器相比，它们也具有更粗糙的空间分辨率和更高的噪声，这使得校准它们的任务具有挑战性。与激光雷达和相机传感器之间的校准相比，雷达和其他传感器之间的外部校准受到的关注相对较少。

由于雷达测量的三维分辨率和信息损失有限，激光雷达和雷达传感器之间的非本征6-DoF校准可能很困难。以前的方法利用曲线模型来建模高程和雷达截面（RCS）之间的关系。然而，这些模型有局限性，因为它们只考虑了数据的子集，没有考虑影响雷达返回信号的各种因素，如形状、材料、方向以及雷达的功率和频率。神经网络的最新进展，如神经辐射场（NeRF）模型，证明了对传感器、姿势和场景（包括场景几何体）之间的复杂关系进行建模的能力。

这些型号

可以学习使用来自各种视图的图像来表示场景，并在训练过程中估计姿势。在本文中，提出了一种校准激光雷达和雷达的方法，通过使用小型多层感知器（MLP）将目标建模为雷达回波能量的集合。该模型经过训练，可以学习雷达传感器相对于目标的姿态与返回能量之间的相关性，从而用于校准。这被视为一个回归问题。

除了回归损失，还使用重投影损失和射线通过损失来实现校准。这些损失的细节将在III-C中描述。

相关工作

A.多传感器校准

在雷达和其他传感器的校准中，存在两个主要挑战：（1）从雷达和其他感应器中恢复丢失的三维信息，以及（2）确保所有感应器都能看到反射器。传统方法以各种方式解决了这些问题。例如，提出了一种基于传感器几何形状和校准设施的3D重建方法，该方法使用Luneburg透镜和不同颜色的角反射器。[23]设计了一个紧凑的目标，并提出了雷达和激光雷达之间6自由度校准的两步优化。随后，添加了棋盘图案，以实现雷达、激光雷达和相机之间的校准。

利用具有四个圆孔和一个角反射器的泡沫塑料板进行稀疏激光雷达光束检测。最近还出现了雷达到激光雷达校准和OpenCalib等工具，为无目标的多种传感器类型提供校准功能。

 

图1. 铝制cctahdral雷达反射器正面，两侧覆盖两个聚苯乙烯泡沫

新方法与这些现有方法的区别在于，它利用了目标的更全面的表示，而不是只考虑具有最强返回能量的数据。通过训练一个小型神经网络来表示目标来实现这一点，这使方法能够同时考虑检测到的目标中心（以高返回能量为特征）和来自周围邻域的数据。这种创新的方法可以实现更准确、更细致的校准过程，确保多传感器系统的性能得到提高。

雷达与神经网络

深度学习已经在包括自动驾驶在内的各种应用中证明了其有效性。虽然CAMERA和LIDAR受益于广泛的研究，但有限的文献证明，深度学习在雷达中的应用仍有待探索。使用深度学习进行CAMERA和LIDAR校准的著名工作采用了有监督或无监督的方法，但雷达和其他传感器校准的类似研究仍然缺乏。这些方法利用神经网络来识别模态之间的相关性，并在基本事实或无监督损失的指导下学习共同特征。一个有前景的未来方向可能涉及无监督的度量特征学习技术，用于发现雷达和其他模态之间的共享特征，如图所示。

 

图2. 注册激光雷达点云（蓝色）、过滤雷达测量（紫色）、提取目标点云（绿色）

内隐神经

表示最近在表示图像和3D点云的场景方面变得流行。梯度下降允许神经网络从图像数据[20]或点云数据中学习颜色和几何信息，无论是否有姿势信息。然而，据所知，这种方法尚未应用于雷达数据。工作通过探索深度学习在雷达校准中尚未开发的潜力、解决现有研究中的差距并为该领域提供新的贡献而脱颖而出。

方法

 A.校准目标设计校准激光雷达和雷达都需要一个对两个传感器都可见的目标。对于雷达，希望有一个具有高雷达截面积（RCS）的目标，以提高探测率。船用铝制雷达反射器（见图1（a）），价格低廉，易于获得，可以用于此目的，但它们会影响激光雷达测量。

此外，它们的体积小，很难被激光雷达探测到。为了克服这一点，使用两个聚苯乙烯泡沫覆盖反射器的两侧，并构建一个非对称形状，如图1（b）所示，它具有更大的激光雷达可见区域，使其更容易登记和确定反射器在场景中的位置，这将用于校准。

数据收集

为了保证激光雷达和雷达传感器的数据准确无失真，利用从惯性测量单元（IMU）传感器获得的速度信息来识别激光雷达数据和雷达数据中的静态帧。使用FPFH特征[29]和RANSAC全局注册将所有静态激光雷达帧注册在一起，从而产生场景中所有激光雷达数据的初始姿态。然后，使用迭代最近点（ICP）算法细化每个激光雷达帧的姿态，以生成密集的激光雷达点云，然后将其用于目标检测，以防止任何不完整的帧。通过收集多个机器人运动的数据，获得了每个激光雷达帧在注册点云中的位置，从而消除了对每个帧的目标提取的需要。对于雷达目标提取，首先通过设置阈值来过滤掉大部分原始雷达。

然后，使用原始激光雷达和雷达变换来获得原始数据目标测量，这些数据是通过手动测量获得的。将目标中心定义为雷达数据中的第一个测量值。数据采集和预处理结果如图2所示。

 

图3. 对目标中心周围的雷达测量数据（rxi、rdi、ei）进行采样；计算激光雷达目标中心和雷达目标中心之间的数据距离d。

优化

使用PyTorch实现的梯度下降优化框架开发了校准方法。校准目标有三个：1）最小化重投影误差，2）降低MLP的回归误差，以及3）最小化射线通过损耗，该损耗考虑射线是否通过目标。LIDAR和RADAR传感器之间的变换矩阵T可以用多种方式表示。在优化时，旋转矩阵R（w）表示为轴角表示w（so（3）→所以（3））。在评估时，使用欧拉角

 来表示旋转。翻译由三个变量

 表示。

1）重投影损失：为了计算重投影损失，首先将激光雷达目标中心点从激光雷达传感器坐标转换为雷达传感器坐标。

2） 回归损失：由于雷达测量中缺少3D信息，在激光雷达和雷达之间进行6 DoF校准具有挑战性。然而，RCS与目标在雷达坐标系中的三维位置相关，导致本文将RCS与目标位置之间的关系建模为曲线模型。受这项工作和NeRF最新进展的启发，使用小型多层感知器（MLP）对雷达传感器相对于目标的姿态和返回能量之间的关系进行建模。不仅依靠目标中心来建模关系，还结合了目标中心周围的邻域数据，以获得更全面的表示。看见图3，对目标中心周围的雷达测量数据进行了采样，并表示了数据。

3） 光线通过损耗：为了确保优化结果与传感器的特性一致，在优化目标中添加了光线通过损耗。雷达目标测量的高返回能量应该是从雷达传感器原点穿过目标的射线的结果。

 

图4. Clearpath Warthog，带一个Ouster OS1 128通道激光雷达和一个Navtech CIR-DEV雷达。

 

图5. 实验设置：三个固定位置的目标组成一个场景，机器人围绕目标行驶。

A.传感器和实验设置

实验涉及一个Clearpath Warthog移动机器人，该机器人配备了Ouster OS1 3D激光雷达和Navtech环形雷达，如图5所示。激光雷达有128个通道，每个通道2048个点，具有45度垂直视场（FoV），工作频率为10 Hz。雷达的距离分辨率为0.044米，方位分辨率为0.9度，垂直视场为1.8度，工作频率为4赫兹。两个传感器都具有360度水平视场（FoV）。传感器设置如图4所示。一个3D打印的楔形物连接到雷达的底部大约三度的倾斜。

实验使用了三个目标，将机器人定位在不同的位置以收集数据，如图5所示。实验在室外进行，使用了五种不同的目标设置。在III-B中描述的数据处理步骤之后，收集了104对雷达-激光雷达数据。

 

图6. 使用不同损耗配置的雷达激光雷达校准重投影误差直方图

实施

外部校准算法使用PyTorch框架实现，并使用Adam优化器进行优化[30]。MLP由四个线性层组成，每个层的隐藏大小为128，并使用ReLU激活函数。

将0.005的学习率应用于网络，而旋转和平移参数的学习率分别设置为0.005和0.001。在实验过程中，重投影误差、回归和光线通过损失的权重分别设置为1000、1000和100。

为了计算回归损失，对估计雷达目标中心周围0.6米半径内的数据进行了采样。

结果

为了评估校准结果的质量，在具有不同损失函数配置的真实世界数据集上进行了实验：仅包括重投影误差损失（rep）、重投影误差损耗和回归损耗（mlp）、重投射误差损耗、回归损耗和射线通过损耗（mlp+ray）以及重投影误差丢失和射线通断损耗（rep+ray）。表I显示了手动获得的初始校准参数以及使用不同优化目标的校准结果。结果表明，由于雷达测量的局限性，存在差异，特别是在θx、θy和tz方面。然而，如前所述，在安装雷达传感器时有意引入了三度楔。

如表一所示，所有校准结果都反映了这一点。使用RADAR坐标中的重投影误差作为评估度量，图6显示了重投影误差的分布。尽管存在差异，但所有四种设置都具有相似的重投影误差分布，这并不一定表明哪种校准结果更好。

表I. 雷达校准结果

 

为了进一步评估校准结果的质量，检查了目标和雷达射线之间的关系。

从传感器原点到雷达目标中心的雷达射线必须击中目标并返回能量，如高返回能量所示。图7显示了使用校准结果投影后激光雷达目标中心在雷达坐标中的分布。

x轴表示激光雷达目标中心和雷达原点之间的径向距离。相反，y轴表示雷达x-y平面和激光雷达目标中心之间的角度。

 

图7. 激光雷达目标中心分布在雷达坐标系中。x轴表示目标中心和雷达原点之间的径向距离，y轴表示雷达x-y平面和目标中心之间的角度。

两条红色虚线表示雷达射线，可以根据目标的物理尺寸以不同距离击中目标的边界。从图7中，观察到，仅使用重投影误差损失的校准结果在边界外有许多点，这在物理上是不正确的。另一方面，mlp+射线和rep+射线的校准结果具有边界内的大多数投影点。

mlp还具有边界内或边界附近的大多数点，这意味着目标函数是有效的。为了评估方法的稳健性，通过将数据集随机二次采样到其原始大小的50%来进行蒙特卡罗分析，并在不同的二次采样数据集上运行100次优化迭代。结果如图8中的箱线图所示。正如预测的那样，与之前的研究一致，雷达测量很好地表示的参数

 和与其他

 参数相比表现出较低的方差。相反，参数

 显示出较大的方差。

 

图8. 使用不同损耗配置的雷达-激光雷达校准的蒙特卡罗分析结果

rep+射线实验的结果在z中显示出最高的方差，表明射线通过损耗函数对数据量高度敏感。通过合并回归损失，它利用了重投影误差和返回能量与的位置之间的关系

与仅使用重投影误差和射线通过相比，即使使用较少的数据点，也降低了方差。最后，图10证明了位置编码的使用会导致回归中较小的误差。回归的几个例子如图9所示。

结论

在这项研究中，提出了一种新的雷达激光雷达系统的外部6-DoF校准方法。方法使用了一个专门设计的校准目标，使两个传感器都能在各自的操作参数内准确检测和定位目标。校准过程涉及三个优化目标：重投影误差、回归误差和射线通过损耗。所提出的方法使用流行的深度学习框架实现，并通过梯度下降进行优化。在真实世界数据上进行的实验验证了所提出方法的有效性，并显示出在外部校准参数的估计方面的显著改进。

 

图10. 有/无位置编码的MLP回归误差直方图