【开源代码】运动模糊时准确检测和定位线段，通用的帧事件特征融合网络

以下内容来自从零开始机器人SLAM知识星球 每日更新内容

点击领取学习资料 → 机器人SLAM学习资料大礼包

论文##开源代码# Detecting Line Segments in Motion-blurred Images with Events

论文地址：https://arxiv.org/abs/2211.07365

作者单位：武汉大学

开源代码：https://levenberg.github.io/FE-LSD/

使线段检测器在运动模糊下更可靠是视觉 SLAM 和 3D 重建等实际应用中最重要的挑战之一。现有的线段检测方法在发生运动模糊时准确检测和定位线段面临严重的性能下降。虽然事件数据显示出与图像的强烈互补特征，可在高时间分辨率下实现最小的模糊和边缘感知，但可能有利于可靠的线段识别。为了鲁棒地检测运动模糊上的线段，我们提出利用图像和事件的互补信息。为此，我们首先设计了一个通用的帧事件特征融合网络来提取和融合详细的图像纹理和低延迟事件边缘，它由一个基于通道注意力的浅层融合模块和一个基于自注意力的对偶模块组成沙漏模块。然后，我们利用两个最先进的线框解析网络来检测融合特征图上的线段。此外，我们为线段检测提供了一个合成的和真实的数据集，即 FE-Wireframe 和 FE-Blurframe，具有成对的运动模糊图像和事件。

对两个数据集的大量实验证明了所提出方法的有效性。在真实数据集上进行测试时，我们的方法在 FE-Wireframe 上预训练并在 FE-Blurframe 上微调的模型实现了 63.3% 的平均结构平均精度 (msAP)，与在合成模型上训练的模型相比分别提高了 32.6 和 11.3 个百分点 。

本文贡献如下：

1、通过引入事件辅助运动模糊图像进行线段检测，可以鲁棒地解决运动模糊引起的性能下降问题。融合图像和事件的思想充分利用了它们的低延迟事件边缘和详细的图像纹理的互补特性，从而有效地提高了对不同相机运动的直线检测的准确性和鲁棒性。

2、通用的帧事件特征融合网络旨在从图像和事件中提取和融合信息。浅层融合和多尺度解码器融合的串联充分探索了通道注意和自注意机制，从而增强了事件和帧的特征提取。

3、构建了两个帧事件线段检测数据集，即合成 FE-Wireframe 和真实世界 FE-Blurframe，用于运动模糊图像中的线段检测。足够的定性和定量比较证明了所提出方法的有效性和鲁棒性。









以上内容来自从零开始机器人SLAM知识星球 每日更新内容