事件流超分辨率的双边事件挖掘与互补

事件流超分辨率的双边事件挖掘与互补

5.6.1事件流超分辨率的双边事件挖掘与互补概述

事件流超分辨率（ESR）旨在解决事件流中空间分辨率不足的挑战，这对事件相机在复杂场景中的应用具有重要意义。以前的ESR工作通常以混合范式处理积极和消极事件。这种范式限制了他们有效地模拟每个事件的独特特征并通过考虑它们的相关性来相互参照的能力。提出了一种双边事件挖掘和互补网络（BMCNet），以充分利用每个事件的潜力，同时捕获共享信息以相互补充。具体来说，采用双流网络来单独完成每种类型事件的全面挖掘。为了促进两个流之间的信息交换，提出了一个双边信息交换（BIE）模块。此模块分层嵌入在两个流之间，实现了分层全局信息的有效传播，同时减轻了事件固有特性带来的无效信息的影响。实验结果表明，方法在ESR方面优于之前最先进的方法，在真实和合成数据集上的性能提高了11%以上。此外，方法显著提高了基于事件的下游任务的性能，如对象识别和视频重建。

5.6.2 事件流超分辨率的双边事件挖掘与互补技术分析

事件相机是一种新型的仿生异步传感器，具有高动态范围、高时间分辨率和低功耗等优点。

它有可能为各种具有视觉挑战性的场景提供解决方案，并且已经得到了广泛的应用。然而，大多数现有的事件摄像机仍然表现出较低的空间分辨率（例如，分辨率为346××××x××260的DAVIS346），并且容易受到传感器引起的噪声的影响。

在硬件级别提高空间分辨率不可避免地会导致事件丢失和像素响应延迟增加。因此，需要实现事件流的超分辨率和增强，以更好地适应各种复杂场景。

为了解决这个问题，已经提出了几种用于事件流超分辨率（ESR）的方法。一种方法涉及保留事件流的时空分布信息，使用非均匀泊松过程或尖峰神经网络（SNN）在ESR期间同时估计事件流的空间时间分布。或者，可以使用图像帧作为辅助数据，通过光学流估计将事件流的分辨率与高分辨率图像对齐。然而，这些方法在准确估计事件流的时空分布方面面临挑战，需要高质量的图像作为辅助，并且难以实现高因子分辨率的增强。另一种方法是应用基于学习的方法对事件流进行超分辨率处理。通过将事件的数据格式与自然图像统一起来，这些方法可以无缝地利用发达的图像和视频超分辨率方法的经验和技术。然而，所有基于学习的ESR方法都忽略了通过以混合方式直接处理两种不同类型的事件来明确探索两种事件之间的相关性。这些方法虽然简单，但需要精心设计和高容量的模型，因为它们不仅需要通过解决固有特征来有效地模拟每个事件的独特数据分布，还需要同时捕获两个事件之间的互补信息。

基于事件数据的固有特征，提出了ESR模型设计的三个原则：

1）通过解耦事件流获得的正负事件具有独特的分布特征。然而，它们在空间和时间领域也表现出很强的相关性，使它们能够相互补充和增强。因此，ESR模型有效地挖掘每种类型事件的信息并促进它们的相互作用至关重要。

2）事件总是在对象边缘附近触发，导致事件数据主要由全局结构组成。

因此，模型需要能够有效地捕获和交互不同事件之间的全局结构。

3）由于事件中固有的稀疏性和噪声，在事件数据的上下文建模过程中，避免无效信息导致的误导至关重要。

根据ESR的这三个原则，提出了一个双边事件挖掘和互补网络（BMCNET）。除了有效地模拟每个事件的独特特征外，BMCNET还具有在不同事件之间有效地交互和补充全局信息的能力。具体来说，BMCNET由两个并行流组成，分别用于处理正面和负面事件。提出了一种新的双边信息交换（BIE）模块，用于促进两个流之间的信息交换。

使用单个BIE，每个通道都被视为一种结构表示，两个事件之间的相关性是在通道维度而不是空间维度上建模的。通过这种方式，可以有效地捕获每个事件的全局结构，并将其作为补充传输给另一个事件，同时可以减轻空间维度中无效信息造成的潜在误导影响。此外，在BIE中引入了跨层交互表示（CIR），用于存储来自先前层和帧的有用的本地和全局上下文。通过逐层堆叠BIE，可以在两个流之间传播分层信息。此外，BIE可以嵌入到每个流中，并作为交换每个事件的空间和时间信息的桥梁。

创新工作主要内容如下：

（1）提出了BMCNET，这是一个双流网络，它模拟事件流中积极和消极事件的独特特征，同时利用互补的时空背景来相互参照每个事件，从而提高ESR的整体性能。

（2）提出了一种新的双边信息交换（BIE）模块，以促进两类事件之间互补的全球信息交换，同时减轻事件数据中固有的噪声和空像素等无效信息的影响。

（3）实验结果表明，方法在ESR方面实现了超过11%的显著改善，并表现出更接近真实事件流的视觉模糊性。

（4）方法还有效地增强了下游任务，如事件流识别和重建，进一步验证了方法的有效性。

MCNET的总体框架，如图5-20所示。

 图5-20 BMCNET的总体框架

在图5-20中，蓝色/红色分别代表正极性/负极性的事件。BMCNET由两个并行流组成，每个流都致力于挖掘具有不同极性的两个事件的信息。流间BIE用于交换和补充两个事件之间的全局结构。此外，内部流BIE嵌入在每个流中，以对每个事件的时空上下文进行建模。通过逐层引入流间和流内BIE，BMCNET可以有效地模拟不同事件之间的分层时空上下文相关性，从而提高ESR的性能。

新方法的双边信息交换（BIE）模块的架构，如图5-21所示。

 图5-21新方法的双边信息交换（BIE）模块的架构

    合成数据集和真实数据集的定性分析比较，如图5-22所示。

 图5-22 合成数据集和真实数据集的定性分析比较

在图5-22中，上部和下部分别表示NFS syn和EventNFS的44444444超分辨率结果。GT表示44444444真值。BMCNET plain和BMCNET在两个数据集上都表现出卓越的细节恢复和更清晰的边缘。

5.6.3 结论

充分考虑了事件数据的内在特征，为ESR任务提出了一种新的双边事件挖掘和互补网络（BMCNET）。通过同时建模与事件流解耦的正负事件的不同数据分布，并捕获互补信息以相互参照，BMCNET可以有效地重建每种类型事件的清晰结构。

在两个合成数据集和一个真实数据集上进行的广泛实证研究和分析实验证明了BMCNET的有效性和优越性。此外，BMCNET在两个下游任务上进行了评估，取得了

突出成果，进一步突显了其优于其他方法的优势。