Event-Based Sensing and Signal Processing in the Visual, Auditory, and Olfactory Domain: A Review

郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！

Frontiers in Neural Circuits, 2021

 

Abstract

　　神经系统将其主要受体感知到的物理量转化为一系列事件，然后在大脑中进行处理。信息处理中无与伦比的效率长期以来一直激励工程师寻求类似大脑的方法来进行传感和信号处理。神经形态感知所追求的关键原则是摆脱传统的周期性采样方法，转而采用事件驱动方案，该方案模拟神经系统中发生的采样，其中事件优选地在感测到的刺激变化时发出。在本文中，我们重点介绍了基于事件的传感和信号处理在视觉、听觉和嗅觉领域的优势和挑战。我们还提供了涵盖所有三种模式的神经形态传感和信号处理的文献调查。我们的目标是通过提供对先前研究的全面概述以及突出该领域的概念优势、当前进展和未来挑战，促进基于事件的传感和信号处理的研究。

 

Keywords: event based signal processing, signal processing, artificial retina, artificial olfactory, artificial cochlea, machine leading

 

1. INTRODUCTION

　　神经形态计算最近引起了很多兴趣。通过模拟大脑中的信息处理原理，这种新兴技术有望比现有的传感和计算方法提供更低的功耗和更低的延迟。神经形态计算的一个关键概念是基于事件的感知，其灵感来自于神经系统中感觉神经元的特性，该特性优先响应感知量的变化，而不是持续报告其当前水平。后一种方法由既定的周期性采样原理以及基于离散傅立叶变换(DFT)的信号处理工具箱所代表。虽然定期采样/DFT方法非常成功，但它也有几个固有的弱点。首先，由于混叠问题，它实际上仅限于带限信号。其次，当信号只是间歇性变化时，定期采样可能会浪费能量。第三，采样间隔所施加的最小可实现延迟存在固有限制；当使用DFT进行信号处理时，情况会变得更糟，因为它需要一个样本窗口。

　　基于事件的传感代表了一系列采样方案，其中信号驱动采样。当信号超过阈值时，传感元件(例如像素、滤波器组元件或气体传感器)会发出事件。这种采样方案通常称为"增量发送"。其他主要同义词包括"事件驱动采样"、"绝对死带采样"、"Lebesgue采样"等；事件触发的细节允许对算法进行调整(Vasyutynskyy and Kabitzsch, 2010)。之前的工作分析了信号驱动采样方案对不同类型信号的适用性(Liu et al., 2019)，强调发送增量采样方案特别适用于稀疏、间歇和不受带宽限制的信号。

　　事件驱动的传感范式在视觉领域处于领先地位，但最近也发现了进入其他感官模式的方法。在此，我们提供了对基于事件的传感和信号处理方法的调查：视觉、声音和嗅觉。本次调查的目的是将这三种方式放在上下文中，并提供对该领域出版物的概述。

　　在过去十年中，基于事件的视觉传感器已经从几乎只限于少数选定研究实验室的存在发展到现在作为全球多家制造商的商业产品广泛使用，并具有多个成熟的应用领域。它们的仿生操作不同于传统的视觉系统，因为它们的采样机制不是基于帧的和周期性的；相反，每个像素的采样由信号本身驱动。正如视网膜中的神经节细胞在感受野中的某个特征(即亮度)发生变化时发出脉冲一样，基于事件的视觉传感器在像素检测到亮度超过阈值时发出一个事件("增量发送")。视觉信号通常是非常宽带的，可能需要极短的传感器延迟才能被准确捕获，同时在时间上也是稀疏的。这些是基于事件的采样方案的有利条件(Liu et al., 2019)。

　　从周期性采样到事件驱动采样的转变也已在听觉领域实现(Lyon and Mead, 1988)。同样，来自生物听觉系统的密切启发指导了系统开发，模仿生物耳蜗的操作，其机械特性实现了一个滤波器组，可以对音频信号进行频谱分解，随后由毛细胞转换为脉冲。基于事件的硅耳蜗的输出是稀疏的数字地址事件流，代表活动通道的地址，每个通道代表一个频段。从理论上讲，硅耳蜗可以增加对音频信号频谱成分快速变化的敏感性，因为它们不需要窗口傅里叶变换，而窗口傅里叶变换本质上会在信号处理中引入滞后。然而，听觉信号的带宽限制特性有助于选择周期性采样频率，这将允许在信号的预期变化范围内进行有效处理(Liu et al., 2019)。尽管如此，大量研究已经探索了基于事件的硅耳蜗的操作原理和演示用例，我们在下面总结了这些。

　　作为基于事件的感知的第三个例子，我们介绍了嗅觉(Olfaction)。为电子鼻系统寻找生物灵感的历史悠久。一个可能具有代表性的例子是从2008年到2011年运行的NEUROCHEM项目(Marco et al., 2013)。它汇集了来自不同学科的科学家围绕仿生嗅觉系统。嗅觉刺激由湍流扩散携带，这会对空间中给定点的浓度施加宽带波动。湍流过程的物理特性表明，气味扩散会导致间歇性信号，其中长时间的"空白"中夹杂着短暂的宽"气味"(Celani et al., 2014)。这些湍流引起的波动可能非常迅速，并携带有助于定位气味来源的信息——这是觅食或寻找配偶的生物制剂以及机器人气体传感(例如，用于环境和工厂监测或灾害管理)的一项基本任务(Mylne and Mason, 1991; Schmuker et al., 2016)。鉴于嗅觉信号的快速波动携带有用信息，因此嗅觉神经科学的进展最近发现动物可以解码嗅觉刺激中的非常短的瞬变也就不足为奇了(Szyszka et al., 2014; Erskine et al., 2019)。总之，嗅觉信号非常适合基于事件的传感，因为它们将稀疏性和间歇性检测与非常快速的波动相结合。然而，我们在本次调查中涵盖的三种模式中，嗅觉领域的探索也最少，这突显了未来研究的巨大潜力。

 

1.1. Principles of Event-Based Signal Processing

　　一旦通过检测信号中的阈值交叉来生成事件，它就会作为数据结构发出，通常包含两条信息：1. 地址，例如，发出事件的像素的坐标，或滤波器组的索引或气体传感器实例，以及2. 事件创建时间。在实时系统中，时间可以代表自身，只需要传输传感器的地址。该协议通常称为地址-事件表示(AER)。

　　AER信号处理算法在很大程度上独立于周期性采样，因此不会受到混叠的影响。此外，信息采集是由信号本身的时空变化驱动的，因此固有地捕获了底层场景的动态，这与基于帧的系统不同，这些动态首先必须从样本序列中重建。AER算法还具有用于并行化和组合的有前途的特性。AER处理模块具有组装成分层结构的固有能力(Serrano Gotarredona et al., 2009)。这是因为AER模块之间的通信可以完全异步，即不必依赖中央同步。以前的工作已经开发了"粘合模块"，例如将这些单独的处理器连接在一起的AER分离器、合并器和映射器(Gomez-Rodriguez et al., 2006)。

　　尽管有所有这些好处，但传统的信号处理算法不能用于这些系统。释放AER系统的全部潜力通常需要设计新算法，从基于事件的范式中的第一原则开始。因此，审查现有的基于事件的算法是本次调查的一个组成部分。值得注意的是，存在一个围绕基于事件的信号处理和控制的研究社区(Miskowicz, 2016)，但到目前为止，与受大脑启发的基于事件的传感的交叉结合是有限的。

 

1.2. Structure of This Paper

　　在本文中，我们调查了在视觉、听觉和嗅觉传感系统中发表的关于神经形态和基于事件的传感的文献。我们的目标有两个：确定这些模式中基于事件的传感面临的共同挑战，并提供涵盖这三个领域相关工作的参考资料集合，以促进领域之间的研究桥梁。

　　基于事件的视觉是迄今为止关于基于事件的技术和应用的最先进的模式，因此它占据了本文调查部分的大部分空间。基于听觉事件的感知受到的关注要少得多，而嗅觉更是如此。涵盖这些模式的综合评论和调查论文比视觉更难找到，我们希望我们的贡献将帮助有兴趣的读者确定这些领域的相关主要研究。

　　最后，对感觉系统的关注表明在更一般的基于事件的处理领域的研究存在差距。我们在论文末尾讨论了这一点，并指出了一些可能显示基于事件的数据分析方法潜力的领域。

　　本文的其余部分组织如下：在第2节中，我们回顾了关于基于事件的信号处理方法的现有调查。第3节回顾了基于事件的视觉系统的主要文献。第4节介绍了基于事件的听觉系统，第5节介绍了嗅觉系统。第6节提供了所涉及参考资料的摘要。最后，在第7节中，我们通过讨论本次调查的主要内容和该领域未来的潜在工作来总结本文。

　　读者可能希望最初关注第1节和第7节，并将调查第2节至第5节视为可以"深入"每个领域的参考集合。

 

2. PREVIOUS SURVEYS AND BENCHMARKS

　　回顾相关领域的首批论文之一是对神经形态视觉传感器的调查(Etienne-Cummings and Van der Spiegel, 1996)。二十多年前，当该领域仍处于起步阶段时，该调查提供了实现神经形态传感器的历史。最近发表了一项关于硅视网膜和耳蜗的简短调查(Delbruck and Liu, 2012)，提供了该领域最新进展的历史。Delbruck (2016)提出了2002-2016年期间基于事件的视觉传感器、算法和应用的发展前景。关于基于事件的视觉的最新且可能最全面的调查包含关于该主题的"所有曾经写过的东西"(Delbrück, 个人交流；Gallego et al., 2020)。

　　Indiveri (2008)专注于设计用于基于事件的信号处理的VLSI神经形态电路，概述了基于神经形态赢家通吃网络的选择性注意力系统，范围从单芯片视觉传感器到多芯片系统。在另一项工作中，Liu and Wang (2009)对神经形态芯片进行了非常简短的调查，介绍了所需的硬件并总结了应用。

　　Posch et al. (2014)对神经形态光学传感和人工视觉的最新发展进行了很好的讨论。本文介绍了生物视网膜的功能，然后概述了现有的神经形态视觉系统及其实现。然后，论文扩展到对硅视网膜和神经形态视觉设备的设计的讨论。

　　当前对用于视觉、听觉和嗅觉传感器的神经形态方法的小型回顾(Vanarse et al., 2016)对一些最先进的方法进行了有用的回顾，但它只涵盖了该领域的一小部分研究。

　　Kowadlo and Russell (2008)介绍了人工嗅觉系统的文献调查和分类。Moraud and Chicca (2011)对仿生自主导航和神经形态化学传感领域进行了简短回顾。在Chicca et al. (2013)中，可以找到对神经形态嗅觉传感器的简要回顾。Vanarse et al. (2017)对人工嗅觉系统的神经形态方法进行了回顾。

　　为了支持算法和方法的持续改进，需要具有挑战性的基于事件的数据集。现有的基准数据集专门用于帮助使用基于事件的信号处理算法进行模型设计、改进和测试。在Tan et al. (2015)的第一个重大努力中，提出了一些创建神经形态视觉基准和挑战的指南。Gibson et al. (2014a)生成了由动态视觉传感器记录的11个运动场景的数据集。Li et al. (2017)使用动态视觉传感器，将10000个基于帧的图像转换为事件流。转换是通过基于帧的图像的重复闭环平滑移动来执行的。Serrano-Gotarredona和Linares-Barranco (2015)提出发布两组数据用于基于事件的对象识别。一组是通过浏览扑克牌组获得的，另一组是通过显示10000个移动符号生成的。在另一项工作(Hu et al., 2016)中，动作识别或跟踪等动态视觉任务主要针对基准数据收集。Zhu et al. (2018)提出了一个数据集，该数据集具有用于3D感知的同步立体对基于事件的相机系统，该数据集在各种照明、环境和相机安装中收集。Binas et al. (2017)提供了一个数据集，这是DVS摄像头在驾驶应用中的记录。数据是在不同条件下收集的，如白天、夜晚、干燥、潮湿的表面和不同的驾驶速度。可以在jAER (2021)中找到几种基于事件的算法和DVS的卓越JAVA框架。

 

3. EVENT-BASED VISION SYSTEMS

　　迄今为止，机器视觉已经见证了基于事件的传感和信号处理方法的最大应用。有许多开发硅视网膜的方法，其中的例子包括(Etienne-Cummings et al., 2000; Costas-Santos et al., 2007; Delbruck, 2008; Lichtsteiner et al., 2008; Delbrück et al., 2010; Matolin et al., 2010; Sulzbachner and Kogler, 2010; Camunas-Mesa et al., 2011, 2012; Leñero-Bardallo et al., 2011; Posch et al., 2011; Serrano-Gotarredona et al., 2013; Darwish et al., 2015; García et al., 2016; Zheng et al., 2016)。

　　基于事件的视觉与基于帧的方法相比具有明显的优势。首先，基于事件的视觉系统报告相对亮度变化的确切时间，而不是提供视野中所有位置的绝对亮度快照。绝对像素亮度不是环境的不变属性(Lowe, 2004)，并且有人假设这是许多当前算法在不受控制的条件下失败的原因(Reinhard et al., 2010)。

　　其次，定期采样对可以从场景中提取的信息量施加了限制。例如，已经证明人眼可以分辨高达1 KHz的视觉动态，因为这是自然场景包含大部分信息的地方；即使是60 Hz的采样率也会导致大约75%的信息丢失(Akolkar et al., 2015a)。

　　第三，基于事件的传感器可以实现非常短的延迟，这仅受传感器最小响应时间的限制，因为它们仅在发生某些事情时收集数据，而基于帧的系统则被迫遵守固定的帧间间隔。此外，周期性采样在低延迟和高帧间冗余之间进行权衡，而事件驱动的采样方案避免传输时间冗余信息，同时保持对变化的低延迟响应能力。低延迟和避免冗余信息获取也很大程度上消除了运动模糊。

　　这些特性使基于事件的视觉非常适合机器人平台等应用(Mueggler et al., 2014)，在这些应用中，具有相对较高延迟和计算成本高昂的传感和处理流水线的标准相机是次优的。然而需要注意的是，低功耗和低带宽的感知只能在活动稀疏的场景中实现。纹理丰富的视觉场景或具有高水平白噪声的听觉场景可能会导致非常高的事件率，从而导致功耗。

 

3.1. Applications

　　自从提出以来，这些设备已经在许多应用中找到了自己的方式。在此，我们回顾了基于事件的视觉系统的应用。

 

3.1.1. Tracking

　　可以说，由于这些传感器的性质，跟踪是DVS摄像机最直接的应用。使用传统机器视觉算法进行跟踪是一项计算成本高昂的任务。但是，由于DVS摄像机仅传输图像中的变化，因此它们天生就适合跟踪移动物体。因此，在所有应用中，进行跟踪的研究数量最多。

 

3.1.1.1. Object Tracking

　　Gómez-Rodríguez et al. (2011)提出了一种用于跟踪对象的分层神经形态系统，其中两个处理层级联工作，首先检测运动物体，然后用交叉轨迹跟踪它们。在Zong et al. (2018)中，MLS表面拟合和局部平面拟合方法被用来识别由DVS相机收集的图像，用于跟踪对象。该系统在均匀高速运动中进行了测试，结果表明它可以过滤噪声并达到高精度和鲁棒性。

　　随着物体速度的增加，基于帧的跟踪系统变得不太准确。它们也容易受到光照变化的影响。Saner et al. (2014)通过结合DVS和基于帧的相机来解决这个问题，这样跟踪是依托基于帧的系统执行的，但DVS设备用于捕获有关连续帧之间时间间隔内场景变化的信息。

　　Delbruck et al. (2015)设计了人类与计算机的赛车比赛，其中使用DVS摄像头跟踪两辆车并控制赛车的刹车和油门。DVS摄像头提供的低延迟使得计算机始终优于人类驾驶员。

 

3.1.1.2. Satellite Tracking and Space-Situational Awareness

　　Cohen et al. (2019)利用基于事件的相机的高动态范围，在全日光下使用地面望远镜跟踪卫星，还提供了一个数据集(Afshar et al., 2020)。

 

3.1.1.3. Multiple Object Tracking

　　一些工作专门针对多目标跟踪，例如Gómez-Rodríguez et al. (2010)为此目的提出了级联架构。Linares-Barranco et al. (2015)提出了一种格结构FPGA框架，该框架允许去除不相关事件噪声以跟踪多个对象。该系统能够适应快速/慢速和大/小的物体。

 

3.1.1.4. Stereo Tracking

　　大多数跟踪算法使用一个DVS摄像机，它提供环境的2D表示。一些工作尝试使用两个摄像头，以便他们可以构建环境的3D地图，从而产生更好的跟踪系统，例如Schraml et al. (2010b)，旨在以3D方式跟踪人员。该系统能够以高达200 Hz的深度图刷新率检测和跟踪4 m范围内的人员。在另一项工作(Müller and Conradt, 2012)中，两个摄像头独立跟踪一个物体。然后自调整神经网络将2D角坐标映射到对象的笛卡尔3D位置。

 

3.1.1.5. Camera Movement

　　跟踪可用于计算相机移动。在Kim et al. (2008)使用DVS跟踪准确的相机旋转以构建场景的持久马赛克。另一项工作(Reinbacher et al., 2017)提出了全景相机跟踪。作者表明，事件的空间位置足以同时跟踪和映射，不需要出现成像场景点。

 

3.1.1.6. Camera Pose Estimation

　　在贝叶斯滤波框架中使用概率生成事件模型，Gallego et al. (2015, 2016)设计了一种相机姿态估计算法。本研究设计了滤波器中使用的似然函数来处理观察到的事件。基于DVS的物理特性，作者提出使用对比度残差作为估计姿势对观察事件的解释程度的度量。Gallego et al. (2018a)扩展了他们的工作，通过解决基于经典密集重建流水线构建的现有光度深度图对相机进行准确、低延迟跟踪的问题。使用三次样条，在Mueggler et al. (2015c)中，DVS相机的姿态通过刚体运动空间中的平滑曲线估计，轨迹曲线根据传入事件进行优化。

 

3.1.1.7. Feature Tracking

　　在某些任务中，相机会尝试跟踪场景中的某些特征。在Lagorce et al. (2015b)中，DVS相机用于跟踪多个视觉特征。在研究中，使用各种核，例如Gaussian、Gabor、Gabor函数的组合和任意用户定义的核来跟踪传入事件的特征。跟踪器能够通过使用多个跟踪器池来处理位置、比例和方向的变化。Ni et al. (2015)提出了一种模式跟踪算法，其中模式跟踪迭代更新模型位置和方向以根据事件的到达匹配二维图像平面。由于该算法跟踪模式，因此即使对象受到变换，它也能够跟踪对象。另一个使用DVS摄像机跟踪角落事件特征的例子是Alzugaray and Chli (2018a)。

 

3.1.1.8. Micro Particle Tracking

　　Ni et al. (2012)开发了一种基于异步事件的Hough圆变换来跟踪微粒。该系统允许以低计算成本以几 kHz的频率进行稳健的多目标位置检测。湍流流动的测量通常需要高速成像技术。这些系统通常受板载可用内存量的限制。在Drazen et al. (2011)中，DVS相机用于粒​​子跟踪，可将带宽和数据存储减少100倍。一种用于跟踪漂浮肥皂泡的快速流动可视化方法被提出。这项工作中的数据分析依赖于Kalman滤波器将事件与轨迹相关联并重建粒子的路径和速度。

 

3.1.1.9. Sub-atomic Particle Tracking

　　Neri et al. (2015)设计了一个广泛的并行跟踪系统，它允许以<1 μs的延迟进行实时跟踪。视网膜结构分为三个主要块。第一个块是根据保持逻辑存储命中信息的缓存。当下游模块繁忙时，该模块被激活。第二个块是处理命中的引擎池。第三块计算轨道参数。Neri et al. (2017)展示了测试光束结果。

 

3.1.1.10. Car Tracking

　　Litzenberger et al. (2006c)设计了一种用于跟踪汽车的嵌入式视觉系统，提供一毫秒的时间戳分辨率。

 

3.1.1.11. Person Tracking

　　Pikatkowska et al. (2012)解决了在发生高遮挡时多人跟踪的问题。作者将高斯混合模型应用于检测、描述和跟踪个人。

 

3.1.1.12. Robotics

　　在许多机器人应用中，机器人的敏捷性受到其传感流水线的限制。Censi et al. (2013)使用了DVS相机，用于机器人姿态跟踪以提高机器人敏捷性，证明跟踪性能不受快速运动的影响。Jiang et al. (2017)提出了一种自主目标跟踪方法用于蛇形机器人。使用基于脉冲神经网络的Hough变换，目标极点被检测为来自视觉输入的两条平行线。结合机器人的姿态和周期运动特征，基于估计的深度信息开发自适应跟踪。为了设计一个对由于相机和目标在不同速度下的相对运动而引起的时间变化具有鲁棒性的跟踪器，Glover and Bartolozzi (2017)开发了一种新算法。作者开发了一种粒子滤波器，它跟踪时空数据中的目标位置，同时拒绝机器人在环境中移动时发生的杂波事件。跟踪器用于机器人视觉系统。

 

3.1.2. Classification

　　基于事件的相机的一个主要应用是分类。使用基于事件的相机进行分类的首批研究之一是Schraml et al. (2010a)，其中提出了一种行人分类算法，该算法利用密度和距离度量对场景动态生成的异步事件进行聚类。Chen et al. (2012)开发了一种算法，用于对人体姿势进行分类，该算法结合了基于事件的硬件和仿生软件架构。

　　O'Connor et al. (2013)提出了一种基于Siegert近似的方法，用于IF神经元，将离线训练的深度信念网络映射到事件驱动的脉冲神经网络上。他们在分心的情况下使用该系统进行字符识别。基于事件的分类算法的性能远远落后于基于帧的分类算法。Sironi et al. (2018)引用了两个原因，首先是缺乏低级表征和架构，其次是缺乏基于真实世界事件的数据集。为了解决这些问题，作者引入了基于事件的表征并发布了用于对象分类的数据集。

 

3.1.3. Stereo Matching

　　各种计算机视觉应用需要真实世界场景的3D结构。此任务通常由立体视觉执行，立体视觉由两个摄像头从两个不同角度观察同一场景。由于这两个相机拍摄的图片略有不同，因此需要一种算法来匹配图像中相同场景投影的相应像素。在基于帧的方法中，来自两个数码相机的帧逐个像素地处理，并找到在两个立体帧中匹配的模式。使用基于事件的相机时，应该处理事件以产生此类信息。这意味着需要一套全新的算法来执行这项任务。在本文的这一部分中，我们回顾了在该领域进行的工作。

　　Dominguez-Morales et al. (2011)讨论了现有的基于帧的立体匹配算法，然后提出了一种AER立体匹配算法，该算法利用了基于帧的立体匹配中的一些原理。在Kogler et el. (2010, 2011a,b), Kogler (2016)中，接收像素之间的时序差分被用作匹配标准。作者使用了一种全局优化方案，该方案旨在处理稀疏数据以最小化匹配成本。这项工作还设计了一个过滤器，用于分析像素周围的差异。Carneiro et al. (2013)提出了一种新颖的N目3D重建算法，可以保留场景的原始动态。这会导致更稳健的3D重建。

　　在一项研究(Rogister et al., 2012)中，表明当与使用到极线的距离的几何约束相结合时，事件时间的匹配可提供有关3D对象的信息。该方法能够过滤掉不正确的匹配并可以准确地重建深度模型。由于传感器的几何形状，估计对极几何约束很困难。Benosman et al. (2011)表明这些约束是静态帧的结果，使用基于事件的相机可以在某种程度上克服这一限制。作者提出了一种基于异步事件的视觉模型，该模型用于根据像素的时间信息推导出对极几何的新概念。

 

3.1.3.1. Cooperative Neural Networks

　　Piatkowska et al. (2013, 2014)使用了对合作网络的修改，在场景中存储最近活动的历史记录。这用作在事件的视差计算中使用的时空上下文。在这个系统中，网络随着事件的到来而不断演化，网络也在不断演化。然后进一步改进工作(Piatkowska et al., 2017)以将误差减少50%以上。Firouzi and Conradt (2016)使用动态协作神经网络，其中协作单元之间的交互应用跨视差唯一性约束和视差内连续性约束，以异步提取每个新事件的视差。然后Dikov et al. (2017)扩展了这项工作，在SpiNNaker上实现了脉冲神经网络。

　　Osswald et al. (2017)提出了一种不同的方法，统一了感知神经科学和机器视觉领域。在这项研究中，受到Marr and Poggio (1976)合作网络的启发，提出了一种脉冲神经网络，能够从神经形态视觉传感器的视觉流中计算立体对应。由于神经形态神经网络的动态特性、它们的内存和计算的共定位以及它们的大小，这些网络为冯诺依曼瓶颈问题提供了可能的解决方案，这是立体视觉系统的一个有前途的平台。

 

3.1.3.2. Gabor Filter

　　Camuñas-Mesa et al. (2014a)和Camunas-Mesa et al. (2014)研究了Gabor滤波器在提取有关产生事件的对象边缘方向的信息中的使用。作者将匹配算法应用于Gabor滤波器产生的事件而不是DVS产生的事件，因此增加了应用于匹配算法的约束数量。他们的结果表明，这种技术改进了最终的3D重建。

 

3.1.3.3. Using Single Camera

　　在传统的立体匹配算法中，使用一组不同角度的相机来寻找场景的密集3D结构。然而，Rebecq et al. (2016, 2018)研究了如何使用单个DVS相机构建半密集3D结构。DVS相机有两个特性使这成为可能：它们响应边缘，自然地提供关于场景的半密集几何信息，并且提供场景的连续测量。在另一项工作(Kim et al., 2016)中，提出了一种基于三个解耦概率滤波器的单一DVS 3D重建算法，每个滤波器估计6-DoF相机运动、场景对数强度梯度和相对于关键帧的场景逆深度。

 

3.1.3.4. Similarity Measure

　　执行立体匹配需要一种相似性度量，它定义了一个标准，根据该标准找到相应的像素。Schraml et al. (2015)提出了一种成本函数，它使用基于事件分布的相似性度量。Zou et al. (2016)提出了一种新的特征描述子，可以描述事件数据的局部上下文或分布，并为数据匹配构建有效的相似性度量。考虑到传入事件的相关性，在Eibensteiner et al. (2017)中，除了空间信息，事件发生的时间也被用作相似性度量的一部分。在Zihao Zhu et al. (2018)中，相机的速度和一系列视差用于同步事件的位置，就好像它们是在单个时间点捕获的一样。作者提出了对这些时间同步事件视差量的新成本，奖励卷(volume)之间的相似性并惩罚模糊性。在Zhou et al. (2018)中，能量函数的优化旨在利用跨图像平面触发的事件的小基准时空一致性。为了减少估计的不确定性，开发了概率深度融合策略。该方法不需要相机的运动或关于场景的先验知识。

 

3.1.3.5. Verification Approaches

　　与DVS摄像机进行立体匹配是一个新领域，有一个新兴的科学家社区为该问题开发算法和方法。为基于帧的系统提出的现有实况数据和评估平台不能用于基于事件的系统。因此，需要新的度量和验证方法来衡量所提出算法的性能。Sulzbachner et al. (2010)提出了一种用于合成场景生成、实况生成和算法验证的工具。在另一项工作(Kogler et al., 2013)中，提出了一种评估立体匹配算法的新方法。

 

3.1.4. Recognition

　　物体识别是机器视觉的主要领域之一，作为一项新技术，基于事件的相机已经在该领域找到了自己的方式。摄像头传感器网络是一个环境中的摄像头网络，共同捕获和处理视觉信息。由于相机的数量，这些系统需要很高的计算能力。在Teixeira et al. (2006)中，一种模式识别算法是为基于事件的摄像机网络设计的，用于识别一些手势。Ahn et al. (2011)提出了一种裸手手势识别算法，可以识别剪刀石头布游戏中的三个手势。在Amir et al. (2017)中，一个基于事件的相机和一个具有一百万个脉冲神经元的基于事件的处理器被用于人类手势识别。他们报告说，他们的算法识别手势的延迟为105毫秒。Hofstätter et al. (2011)提出了基于事件的数据处理的硬件实现，其中基于事件的相机用于对象识别。

　　Pérez-Carrasco et al. (2010)的目标是使用基于事件的传感器解决纹理识别任务，其中作者表明使用新传感器时识别率没有下降。在Negri et al. (2018)中，基于事件的相机用于识别扑克牌的形状。Ghosh et al. (2014)提出了一种将基于事件的传感器与卷积神经网络相结合的对象识别和方向估计算法，它在实时速度下显示出非常高的准确性。Orchard et al. (2015)提出了一种用于对象识别的脉冲层次模型，该模型表明事件的时间信息可以比传统方法更简单的方式用于对象识别。

　　Reverter Valeiras et al. (2016)使用了基于事件的相机，解决3D姿态估计问题。虽然在基于帧的系统中采样频率为30-60 Hz，但作者利用基于事件的相机设计了一种姿势估计算法，该算法在传统笔记本电脑上实现了数百 kHz的时间分辨率。

 

3.1.5. Detection

　　用于检测的基于事件的摄像机的已发布报告仍然相对稀少。Barua et al. (2016)提出了一种人脸检测算法，其中开发了基于补丁的事件模型。设计的系统能够每秒重建2000帧。Cannici et al. (2018)提出了两种用于对象检测的神经网络架构，其中一种网络将事件集成到表面中，另一种使用卷积层和最大池化层来利用相机事件的稀疏性。Moeys et al. (2016a)设计了视网膜神经节细胞模型的FPGA实现以检测移动物体。作者将此处理与DVS结合使用来推断有关对象位置的信息。Chen (2018)使用DVS提出了一种汽车检测算法，该算法通过使用卷积神经网络来处理运动模糊和光照条件差的问题。

　　Lee et al. (2014)也研究了手势识别，其中使用了神经形态后处理硬件。在这项工作中，手的运动轨迹被检测、分割并转换为离散特征向量。然后通过隐马尔可夫模型对这些特征向量进行分类。在Alzugaray and Chli (2018b)中，基于事件的相机用于角点检测和跟踪。他们以比传统算法高四倍的速度报告了有希望的结果。Clady et al. (2015)也研究了角点检测，其中开发了无亮度方法。

　　使用基于事件的相机，Seifozzakerini et al. (2016, 2017)提出了一种线检测算法，其中Hough变换用于脉冲神经网络。在另一项工作(Brändli et al., 2016)中，提出了一种线段检测器，它试图通过将事件流参数化为一组线段来推断哪些事件是由相同空间特征的运动引起的。

　　在纹理场景中基于事件的处理中，每秒生成数百万个需要强大计算能力的事件。为了解决这个问题，一项研究(Mueggler et al., 2017a)提出了一种将事件流减少到角落事件流的方法。他们设计了一种角点检测算法，将事件率降低了20倍。Vasco et al. (2016)使用了常用的Harris角点检测器，其中帧被流事件替换。该研究在安装在机器人上的DVS摄像机上测试了他们的方法。

　　太阳传感器是航天器中用来检测太阳位置的导航工具。Farian et al. (2015)设计了一种基于事件的传感器，它由两行平行执行的像素和两个对齐在芯片上方的光学狭缝组成。该传感器能够直接检测太阳的位置，因此无需进一步处理。

 

3.1.6. Localization and Odometry

　　快速定位在驾驶和机动等许多应用中至关重要，而传统相机很少提供这些应用。由于其采样速度，基于事件的相机非常适合定位和里程计。Weikersdorfer and Conradt (2012)率先使用基于事件的相机进行定位，其中采用了凝聚粒子滤波器跟踪器，并以低计算成本展示了强大的性能。另一项工作(Weikersdorfer et al., 2013)提出了一种在标准计算硬件上提供实时性能的定位和映射方法。Yuan and Ramalingam (2016)提出了一种快速定位算法，其中开发了一种快速时空分块方案来检测事件中的线条。然后构建世界的3-D模型，用于估计传感器姿态。在Milford et al. (2015)中，基于事件的相机用于同时定位和映射。

　　在基于事件的里程计的主要首次尝试之一中，一种基于图像到模型对齐的新型基于事件的跟踪方法以并行方式与3-D重建算法相结合(Rebecq et al., 2017b)。所提出的系统实时运行并支持具有强烈光照变化的高动态范围输入。

　　里程计用于测量相机的自运动，例如在机器人技术中使用。基于事件的相机在里程计方面具有巨大的潜力，因为它们可以准确地跟踪快速运动而不会出现模糊和量化。但是，需要新的算法来利用传感器的特性。在里程计中使用基于事件的相机的第一个研究是Kueng et al. (2016)和Mueggler et al. (2017b)，其中在灰度帧中检测特征，然后使用事件流进行跟踪。然后将这些特征输入到里程计算法中。Zhu et al. (2017b)提出了一种基于事件的里程计算法，该算法是异步的，并以与相机速度成正比的速率提供测量更新。

　　Horstschäfer (2016)使用加速度计和陀螺仪，提出了一种用于事件相机的图像和事件稳定的技术。然后将相机用于机器人的视觉里程计。Rebecq et al. (2017a)提出了一种里程计算法，通过重叠时空窗口跟踪一组特征以构建运动事件框架。工作中提出的结果表明，他们的算法以低得多的计算成本优于最先进的传统方法。Mueggler et al. (2018)提出了一种算法，其中使用三次样条在刚体运动空间中通过平滑曲线来近似相机轨迹，从而减少了轨迹估计问题中的变量数量。

 

3.1.7. Motion Detection

　　运动检测有很多应用，是机器视觉研究中的一个重要领域。Ruedi (1996)介绍了使用基于事件的相机进行运动检测的第一项研究，其中使用了23 x 23像素的简单视网膜。Barranco et al. (2009)提出了一种新的运动检测算法，通过整合时间特征结果，获得了一种新的高稳定性匹配算法。Schraml and Belbachir (2010)提出了一种聚类方法，该方法利用事件的稀疏时空表示来检测移动对象。Abdul-Kreem and Neumann (2015)采用了Adelson and Bergen (1985)提出的时空滤波方案，使其与事件表征一致。寻找运动信息的代表性特征是Sullivan and Lawson (2017)的另一个研究领域，其中使用传统的神经网络来提取特征。

　　Gallego et al. (2018a)提出了一个统一的框架，其中解决了几个计算机视觉问题：运动、深度和光流估计。通过最大化目标函数，可以找到图像平面上与事件数据最佳对齐的点轨迹。

　　用于运动检测的仿生系统已将视觉系统的机制纳入脉冲网络以实现运动检测(Ridwan and Cheng, 2017; Dalgaty et al., 2018)。

　　光流是场景中物体运动所产生的表观运动模式。在Rueckauer and Delbruck (2016)中，比较了九种基于光流事件的算法。为了进行比较，创建了两个合成样本和三个真实样本的数据集。作者公开了数据集和算法的源代码。一些研究使用神经形态网络来处理基于事件的传感器的输出。Giulioni et al. (2016)提出了一种具有模拟神经形态多芯片系统的鲁棒光流提取架构。该算法采用模拟神经元前馈网络，计算得到脉冲发放时间的支持。根据附近视网膜神经元激活的时间延迟提取光流。

　　Benosman et al. (2014)使用DVS相机寻找光流，其中表明可以使用由协同事件定义的表面上的局部微分方法来估计精确的光流方向和幅度。Bardow et al. (2016)设计了一种算法，可以同时找到图像的光流和亮度。在这项工作中，定义并最小化了一个成本函数，其中包含异步事件数据以及具有时间间隔的滑动窗口内的空间和时间正则化。

　　Liu and Delbrück (2018)提出了一种称为自适应块匹配的光流算法，该算法使用累积事件的时间片，根据输入事件和光流结果自适应旋转。以这种方式执行旋转以确保生成的切片具有足够的匹配特征。

　　基于事件的运动检测的另一个例子包括Barranco et al. (2015a)、Liu and Delbruck (2017)中模仿MPEG中使用的运动估计方法的算法，以及Gallego and Scaramuzza (2017)开发的角​​速度估计方法。

　　Barranco et al. (2014)进行了传统视觉算法和基于事件的相机之间的比较。作者表明，由于基于事件的相机的性质，使用这些传感器进行运动检测要容易得多，并且它们在准确性和速度方面可以轻松胜过计算机视觉方法。

　　据报道，基于事件的相机已被评估用于运动检测应用。例如，Litzenberger and Sabo (2012)询问基于事件的相机是否可以用于运动中的光学运动分析，并取得了积极的结果。在Mueggler et al. (2015a)中，两个DVS相机用于估计被抛向四旋翼飞行器的物体的轨迹。使用具有混合状态空间的扩展Kalman滤波器估计对象的轨迹。

 

3.1.8. Transportation Systems

　　机器视觉算法广泛应用于交通系统。低延迟处理的要求发挥了基于事件的算法的优势。Litzenberger et al. (2006a)描述了视觉系统，用于同时计算高速公路最多四个车道上的车辆。作者报告了快速、低功耗和强大的车辆计数。在另一项研究(Litzenberger et al., 2006b)中，硅视网膜用于车速估计，可在可变光照和大气条件下同时测量四个车道上车辆的速度。Gritsch et al. (2008)描述了一种将车辆实时分类为汽车和卡车的系统，达到了90%以上的准确率。Kogler et al. (2009)提出了在预碰撞警告系统中的应用，其中基于硅视网膜的立体视觉算法在各种光照条件下实现了1 ms的时间分辨率。

 

3.1.9. Healthcare

　　近年来，计算机视觉在医疗保健领域有很多应用，基于事件处理的应用也在这一领域不断涌现。首次尝试包括Fu et al. (2008a, b)发表的工作，其中视觉系统旨在检测老年人家庭护理应用中的意外跌倒。与基于帧的方法相比，该系统以十倍的时间分辨率报告下降，并在传输下降事件时显示带宽效率提高84%。Belbachir et al. (2012)在两台DVS相机上使用立体匹配算法，为跌倒检测提供3D视觉系统，实现超过90%的阳性检测。作者认为，使用DVS摄像机的一个优势是隐私，因为它不会记录场景的真实图像。

　　在Ghaderi et al. (2015)中，一种可穿戴移动设备旨在帮助盲人导航和避开物体。在该系统中，两个DVS摄像头用于提供3D视觉，通过个性化的头部相关转换功能将其转换为3D输出声音。然后Everding et al. (2016)改进了该设备。

　　为了减少视觉和非视觉病历的传输延迟，Chen et al. (2017)采用了DVS摄像头和边缘计算，将传输延迟减少了89.15–86.88%。神经活动的光学记录需要能够以1 kHz的采样率检测小的时间对比度的相机。使用CMOS传感器非常具有挑战性，因为它们需要高达1 Gb/s的高数据速率。为了克服这个问题，Taverni et al. (2017)在任务中使用了DVS相机，这表明在神经记录中长期使用传感器可能非常有益。

　　使用DVS相机，Gaspar et al. (2016)设计了一个系统，可用作视网膜假体或视力增强。这项工作使用基于IF神经元模型的算法来模拟时间对比敏感的视网膜神经节细胞。

 

3.1.10. Industry

　　许多工业应用需要非常高的采样率。例如，监控转速为数千转的涡轮机对基于帧的视觉系统提出了严峻的挑战。在Perez-Peña et al. (2011)中，一种基于DVS的监控视频系统专为超高速工业环境而设计，可监控带有6000 rpm旋转部件的机器，效果良好。

　　风洞测试中的流动可视化对于实际应用至关重要。在Borer (2014)中，DVS相机用于跟踪中性漂浮的肥皂泡。作者使用三个摄像头来构建3D重建，其中两个摄像头提供3D视觉，第三个摄像头提高了在光线不足、背景对比度差或有反射的区域中检测的可靠性。

 

3.1.11. Segmentation

　　分割是将图像分割成多组像素的过程，是计算视觉中的常见任务。在为基于事件的相机设计分割算法的第一次尝试中，Barranco et al. (2015a)提出了一种轮廓检测算法，其中结构化随机森林用于查找轮廓的位置及其边界所有权。这些轮廓用于场景的分割。Surovich et al. (2017)提出了使用带有线性偏振滤波器的DVS的运动对象的动态分割。作者使用小波变换来分析图像的局部时空内容。分割需要很高的计算能力，并且在大多数应用中，执行实时分割非常困难。在Thakur et al. (2017)中，随机游走算法适用于脉冲神经形态处理器来执行场景的实时分割。该系统可以以每秒1000张图像的速度进行分割。

　　分割可以从颜色线索中受益。然而，原始的DVS摄像机不传输颜色信息。在Marcireau et al. (2018)中，因此使用二向色分束器将输入光分解为红、绿和蓝光，然后将它们发送到三个DVS摄像机。然后处理这些相机的输出以执行颜色分割和跟踪。

　　Darwish et al. (2017)提出了一种新的基于事件的协议，它抑制了基于事件的相机的空间冗余。基于事件的相机的活动仅限于场景中的有效和相关信息；因此，数据流量大大减少。作者使用他们的方法提出了一种免费的图像分割。

 

3.1.12. Robotics

　　机器人技术中的许多任务需要可靠且低延迟的传感，因此为应用基于事件的相机提供了一个有前景的领域(Camuñas-Mesa et al., 2014b)。

 

3.1.12.1. Obstacle Avoidance

　　在真正的机器人中使用基于事件的相机的首批研究之一是Clady et al. (2014)，其中这些传感器用于设计快速避障方法。Blum et al. (2017)和Milde et al. (2017)继续在机器人避障问题中使用基于事件的相机，其中作者展示了如何使用混合信号模拟/数字神经形态处理器和基于事件的传感器来实现功能性机器人避障控制策略。
　　Milde et al. (2015)设计了一种基于光流的避障系统。为了提取光流，作者使用了一种平面拟合算法来估计小型时空长方体中的相对速度。然后从平移光流中导出深度结构。

 

3.1.12.2. Balancing and Control

　　Conradt的铅笔平衡机器人使用两个基于事件的视觉传感器以低延迟感知垂直偏差，并在那个时代的众多会议上进行了调试(Conradt et al., 2009a, b)。Mueller et al. (2015a, b)也使用了基于事件的传感器，用于移动机器人系统的反馈控制。Singh et al. (2016)继续进行这项工作，研究使用基于事件的相机二次稳定连续时间线性时不变系统的问题。

 

3.1.12.3. Flying Robots

　　视觉信息的低延迟处理对于飞行机器人至关重要，因为需要快速反应。Conradt (2015)展示了一种新的基于事件的计算微型室内飞行机器人光流的方法，由于其低功率要求和小外形尺寸，可以嵌入到机器人上。在另一项工作(Orchard et al., 2009)中，基于事件的相机用于行星着陆任务。在Hordijk et al. (2017)中，"局部平面拟合"算法被扩展以获得改进的计算效率更高的光流估计方法。开发的算法在四旋翼飞行器上的恒定发散着陆控制器中实现。

 

3.1.12.4. Actuators and Manipulation

　　许多机器人需要视觉来操纵环境。在Linares-Barranco et al. (2007)中，基于事件的相机用于视觉传感、处理和驱动模仿人类行为的机器人。为了重现人体运动，Perez-Peña et al. (2013)提出了一种脉冲处理策略，使用硅视网膜来寻找人类运动的轨迹。在另一项工作中(Jimenez-Fernandez et al., 2009)，机器人的执行器根据来自相机的输入进行控制，以在地板上的一条线上移动机器人。

　　关于物体和操纵器位置的精确信息在抓手缺乏力感应的物体操纵任务中至关重要。为了提供触觉反馈，Bolopion et al. (2012)使用了人造视网膜，提供运动物体的高更新率，并设计了一个基于帧的相机来提供物体的位置。InNi et al. (2012)提出了一种基于事件的迭代壁橱点算法来跟踪微夹具的位置。作者同时使用DVS摄像头和基于帧的摄像头，其中异步硅视网膜的时间精度用于提供触觉反馈以帮助用户执行操作任务，基于帧的摄像头用于检索物体的位置。

　　在抓取物体时，人类手指具有非常灵敏的触摸感受器，使我们能够施加抓取物体所需的精确压力。压力过低会导致抓取失败，压力过大可能会损坏物体。在Rigi et al. (2018)中，基于事件的相机用于开发检测初始滑动、应力分布和物体振动的算法。他们将他们的结果与高速1000 fps相机进行比较，并显示出良好的性能和非常小的延迟(44.1 ms)。

 

3.1.12.5. Maneuvering and Navigation

　　机器人的敏捷性受到其感知延迟的限制。因此，基于事件的相机可用于支持高速机器人操作。为了实现更快的视觉，Mueggler et al. (2014)提出了第一个用于四旋翼高速机动期间6-自由度定位的机载感知系统。Delbruck et al. (2014)使用DVS在导航任务中提取与3D场景结构相关的运动视差线索，其性能优于基于帧的方法。Serres et al. (2016)提出了一种受蜜蜂视觉启发的制导系统，模拟蜜蜂配备了一个复眼，包括10个传感器、两个更新控制信号的光学流量调节器和三个基于事件的控制器。

 

3.1.12.6. Vision and Attention

　　在Klein et al. (2015)中，两个DVS摄像机安装在机器人头部以提供视觉。作者设计了一种图像拼接算法来表示比每个视网膜的视野更大的场景。在另一项工作中(Moeys et al., 2016a)，DVS摄像头被用于跟随猎物机器人的捕食机器人的头部。机器人守门员需要非常快的反应时间，这是基于帧的系统难以实现的。Delbruck and Lang (2013)以及Delbruck and Lichtsteiner (2007)设计了一种快速自校准机器人守门员，它提供低延迟和CPU负载。在另一项工作(Becanovic et al., 2002)中，神经形态模拟VLSI传感器与数字全向视觉系统相结合。该系统在机器人上使用，用于定位球并指导守门员机器人的执行器。为了实现与环境的快速交互，Rea et al. (2013)为类人机器人开发了一个注意力系统。作者报告了注意力任务的低延迟系统。

 

3.2. Algorithms

　　有一些研究提出了处理基于事件的视觉信号的新方法。在本节中，我们回顾了带有DVS相机数据的新算法的论文。

 

3.2.1. Mapping

　　卷积神经网络(LeCun et al., 1989)固有地以基于帧的原则运行。对于许多大型系统，基于事件的处理模块是不切实际的。Pérez-Carrasco et al. (2013)提出了一个中间解决方案。首先，通过分块生成训练帧的数据库，即在固定时间间隔内收集事件。其次，训练一个帧驱动的卷积神经网络来执行对象识别。第三，将帧驱动卷积网络的学习参数映射到事件驱动卷积网络。最后，微调事件驱动网络的时序参数以优化识别任务。

 

3.2.2. Filtering

　　在信号处理中，滤波是指对信号进行特征检测和提取的前置处理。例如，在图像处理中，执行它来查找角、边缘等特征。Ieng et al. (2014)提出了一种用于基于事件的相机的滤波方法。作者提出了异步线性和非线性滤波技术。Bidegaray-Fesquet (2015)研究了噪声和不确定性对事件数据滤波水平的影响。作者根据正态分布的标准差来分析误差。

 

3.2.3. Lifetime Estimation

　　Mueggler et al. (2015b)提出了一种算法，估计来自DVS摄像机的事件的生命周期。估计是基于其在图像平面上的速度来执行的。这种算法的应用是在任何时刻构建锐利的梯度图像。

 

3.2.4. Classification

　　传统的神经网络不能直接应用于基于事件的数据的分类任务。Li et al. (2018)展示了如何将最初优化的CNN学到的深度表征有效地转移到基于事件的分类任务。在该方法中，基于LIF模型的亚阈值动态使用并实现了脉冲事件编码。

 

3.2.5. Compression

　　通过仅发送像素强度的变化，DVS摄像机本质上执行高速视频压缩。Brandli et al. (2014)提出了一种解压缩算法，该算法实时执行事件解码的在线优化。该系统具有自适应压缩比，根据场景中的活动，静止场景可达到1800。

　　为了设计一种基于事件的数据压缩算法，Bi et al. (2018)对脉冲发放机制和DVS产生的脉冲数据的冗余进行了分析。然后作者提出了一种基于立方体的编码框架，包括三种策略，即宏立方体划分结构、地址优先模式和时间优先模式。

　　Doutsi et al. (2015)提出了一种新的静止图像压缩算法，使用基于事件的采样。在该算法中，生物启发滤波器应用于图像，然后视网膜滤波的图像被馈送到采样器。为了重建原始图像，对采样器产生的脉冲序列进行解码。

 

3.2.6. Prediction

　　Gibson et al. (2014b)使用了具有可学习延迟的脉冲神经网络，预测来自DVS摄像机的传入事件的时间序列。该系统能够学习时空事件的时间结构，适应多种尺度，并能够预测视频序列中的未来事件。使用DVS相机，Kaiser et al. (2018)提出了一种方法，从视觉预测中学习运动。所提出的方法由两个阶段组成。首先是学习给定运动的视觉预测模型，其次是最小化视觉预测误差。

 

3.2.7. High-Speed Frame Capturing

　　事件摄像机仅传输场景中的光强变化，因此它们缺乏有关所有像素的信息。Liu et al. (2017b)提出了一种方法，恢复一个场景，其中前景表现出快速运动而背景是静态的。从传统相机获取的帧首先与从DVS相机获取的事件匹配，然后高速事件用于生成连续帧之间的图像序列。基于帧的相机中的运动模糊是指在曝光期间记录的图像的一部分发生变化时，照片中运动物体的明显条纹。在Pan et al. (2018)中，模糊生成过程是通过将事件数据与潜在图像相关联来建模的。该方法称为基于事件的双积分模型，它从单个模糊帧及其事件数据重建高帧率、清晰的视频。

 

3.2.8. Spiking Neural Networks

　　由于事件驱动信号的特定特性，传统的机器学习技术不能直接用于这些信号。因此，应该设计专门适用于这些数据的学习系统。Dhoble et al. (2012)开发了一种新的进化神经网络，使用了秩序脉冲编码(也称为首次脉冲时间)和时序脉冲编码。作者针对来自DVS相机的基于事件的数据的分类问题实现了该系统。Stromatias et al. (2017)提出了一种在脉冲神经网络系统中训练事件驱动分类器的新方法，它使用由先前网络层的任意拓扑提供的活动来构建直方图并在帧域中训练分类器。这种构建直方图的方式可以捕捉到分类器之前的脉冲动态。该系统适用于来自DVS摄像机的数据。

 

3.2.9. Data Transmission

　　通常，脑机接口强调记录信号的忠实传输。Corradi and Indiveri (2015)采用了另一种方法，该方法提出了一种用于压缩数据的神经记录系统。这个基于事件的系统应用信号处理和神经计算从大量收集的原始数据中提取相关信息。它仅将处理的低带宽结果传输到远程计算模块。

 

3.2.10. Fusion

　　为了更准确地处理基于事件的相机的输出，Neil and Liu (2016)将包括卷积和循环神经网络在内的不同网络集成在一起，共同解决识别任务。作者表明，该算法的性能高于单个网络。

 

3.2.11. Hybrid Methods

　　基于事件的视觉系统以低计算要求提供快速的视觉处理。然而，高级视觉处理，例如物体识别，对于这些设备来说仍然是一个挑战。一些研究试图通过结合两个系统的优点来实现这两个目标。然而，主动视觉系统同时需要实时和高级处理。Sonnleithner and Indiveri (2011a, b, 2012)设计了专用的VSLI硬件，该硬件与传统视觉系统相结合，实现了基于事件的脉冲神经元网络，用于实时处理。基于低分辨率事件的系统实时响应移动物体并产生快速反应电机输出。传统的高分辨率机器视觉系统执行物体识别任务。

　　在Weikersdorfer et al. (2014)中，一个DVS和一个基于帧的相机结合起来产生一个稀疏的深度增强3D点流。作者指出，生成的数据量较少，运动的连续表征是该系统的优点。

　　为了结合这两种传感器的优势，Leow and Nikolic (2015)使用了基于帧的视频传感器和基于事件的相机。该系统应用于各种应用，包括视频压缩、移动物体上的注视点成像、物体跟踪和速度估计。

 

3.2.12. Matching

　　Moser (2015)提出了一种基于Hermann Weyl差异范数的匹配事件序列的新方法。

 

3.2.13. Feature Extraction

　　特征提取在许多机器学习应用中起着重要作用。问题是确定应该从信号中提取哪些特征进行处理，以及如何提取。在基于帧的计算机视觉中，特征通常被定义为图像中像素亮度的函数。场景的时间信息通常不存在，例如，因为源素材仅包含静止帧，或者由于基本假设24帧/秒对于仅具有中等快速变化的场景的应用而言足够，因此其精度相对较低。基于事件的相机可以在高精度捕获场景的时间信息时提取不同的特征。从基于事件的信号中提取特征及其在高级计算机视觉中的应用是许多研究的主题，我们将在下面进行回顾。

 

3.2.13.1. Vehicle Detection

　　Bichler et al. (2011, 2012)引入了一个脉冲神经网络，从基于脉冲的动态视觉传感器中提取时间相关特征。在这项工作中使用了脉冲神经网络，其中神经元对具有相关激活时间的像素模式变得敏感。作者采用了一种脉冲时序依赖的可塑性方案，其中对脉冲激活没有贡献的突触被抑制。该系统是为检测通过高速公路的汽车而开发的。

 

3.2.13.2. Gesture Recognition

　　Ahn (2012)使用了局部和全局特征提取方法。首先，局部提取方法使用分割从一长串原始手势事件中提取较少数量的特征。这被称为局部，因为它只考虑相邻事件。全局提取将局部特征转换为构建更高级别的特征。作者使用进化算法进行特征选择步骤。

 

3.2.13.3. Robot Vision

　　Lagorce et al. (2013)提出了一种新的面向时间的视觉特征提取方法，它基于回声-状态网络。该方法是无监督的，适用于高动态环境。

 

3.2.13.4. Hardware Implementation

　　del Campo et al. (2013)提出了一个模数转换器的FPGA设计，它使用匹配追踪和赫布学习从基于事件的信号中学习特征字典。代码稀疏且适用于神经形态处理器。Hoseini and Linares-Barranco (2018)使用FPGA，提出了一种用于实时提取旋转物体频率的数字电路。可以使用此功能以及其他功能来识别带有旋转部件的对象。在Yousefzadeh et al. (2015)中，一个基于2D卷积事件的处理单元，它提出从输入事件流中提取特征。该系统是高度并行的，可以从FPGA阵列中受益。

 

3.2.13.5. Optical Flow

　　Koeth et al. (2013)展示了如何使用精确脉冲间隔的相关性自组织具有时空轮廓的运动特征。作者表明，他们的框架以类似于人脑的方式形成了特征的拓扑组织。

　　Clady et al. (2017)提出了一种无亮度特征提取方法，通过将光流分布沿移动物体的轮廓映射到矩阵中来执行。使用速度调整的时间核，光流在基于速度方向坐标系的网格中局部或全局集成。这确保特征公平地表示相对于移动边缘的正常运动的分布。

　　大多数特征跟踪方法依赖于构建事件模型，然后通过将事件分配给相应模型来计算光流。然而，这会导致较低质量的光流和较短的流轨迹。Zhu et al. (2017a)提出了一个用概率建模的软数据关联，它是在期望最大化方案中计算的。为了实现更长的轨迹，该方法还计算相对于初始点的仿射变形，并使用产生的残差作为持久性的度量。因此，该方法实现了每个特征不同的时间积分。

 

3.2.13.6. Feature Extraction Algorithms

　　Gabor滤波器在图像上的卷积是传统特征提取中的标准技术。Tsitiridis et al. (2015)使用脉冲神经网络来利用信号的时间性质。这种方法提出了一种受生物学启发的Gabor特征方法。神经网络具有层次结构，并提供了一种减少计算量的灵活方法。Lagorce et al. (2015a)提出了一种用于学习和编码时空特征的新计算架构，基于一组预测性循环储藏器网络，通过赢家通吃的选择进行竞争。该方法中的特征是在无监督方案中学习的。

　　Chandrapala and Shi (2016)提出了一种称为基于事件的生成自适应子空间自组织映射的新型架构，用于特征提取。该系统受到视觉处理的皮层模型的启发，并基于稀疏和时间缓慢的概念。在这个模型中，单元层可以级联来学习不同复杂度的特征提取器。

　　Peng et al. (2017)提出了一种基于事件概率论的特征提取方法。在这种方法中，每个对象都表示为事件的联合概率分布。作者声称有五个主要优点：首先，该算法使用具有良好数学基础的统计学习方法。其次，它只有一个超参数，因此减少了在参数调整上花费的精力。第三，它是一种在线学习算法，不需要收集数据。第四，它实时提供有竞争力的结果。最后，该方法需要非常简单的加法和乘法运算。

　　Negri (2017)提出了一个新特征，该特征是基于扩展的局部二值模式(LBP)算子计算的。该特征表征了二维空间中异步事件的连通性。该特征也可以在直方图上进行组织，并与其他特征结合作为定向事件的直方图。

　　Lagorce et al. (2017)提出了一组称为时间面的新特征，可用于创建分层模式识别架构。在这个模型中，层次结构中的后续层使用越来越大的时空窗口提取越来越抽象的特征。这项工作的想法是使用时间信息以时间面的形式创建上下文，以表示当地社区的时间活动。该层次结构中的第一层对一组像素进行操作，随后的每个层特征单元对前一特征单元的输出进行操作。

 

3.2.13.7. Hybrid Cameras

　　为了将基于事件的相机的优点与基于帧的技术相结合，提出了DAVIS相机，它由一个基于帧的相机和一个DVS相机组成，用于填补连续帧之间的信息空白。Tedaldi et al. (2016)针对这些类型的相机提出了一种新的特征提取方法，其中首先处理帧并检测特征。然后使用事件在帧之间的盲时间跟踪这些特征。该系统使用迭代几何配准方法进行特征跟踪。

 

3.3. Analysis and Modeling

　　对人工视网膜的行为进行分析和建模有助于理解并因此设计改进其性能的方法在本节中，我们将对这一研究领域进行概述。

 

3.3.1. Analysis

　　Yousefzadeh et al. (2018)对扫视进行了一项研究，结果表明在不同方向上进行更多的扫视可以导致更准确的对象识别。由于添加更多的扫视会增加延迟和功耗，作者提出了一种智能扫视运动范式，可以在不牺牲识别准确性的情况下减少必要的扫视次数。然后，作者使用一种神经网络算法来学习控制扫视，从而进一步减少延迟。

 

3.3.2. Modeling

3.3.2.1. Modeling Retinal Ganglion Cells

　　Katz et al. (2012a)开发了一个基于事件的系统，对视网膜神经节细胞的行为进行建模。DVS相机将事件发送到微控制器处理单元，该单元实现接近敏感视网膜神经节细胞(AS-RGC)的中断驱动模型。Lorach et al. (2012)研究了视网膜信息处理的准确建模，其中对哺乳动物视网膜中神经节细胞的空间和时间特性进行了建模。在这项工作中，DVS相机与拉动非线性子单元的模型相结合，以重现视网膜中发生的并行滤波和时间编码。

　　人们通常认为神经形态技术，即模仿生物神经元计算架构的技术，可能有助于理解神经系统的功能。然而，现有的神经形态系统通常无法代表真实行为的生物传感器和神经元。为了克服这个问题，Argüello et al. (2013)提出了一种基于神经的神经节视网膜细胞模型，能够再现光感受器对光照反应的基本特征。Kawasetsu et al. (2014)开发了一个实时视觉系统模拟器，作为硬件视网膜模拟器和SpiNNaker芯片的组合，模拟视网膜和视觉皮层的神经活动。

　　Liu et al. (2017a)研究了对接近暗物体的早期检测进行建模，这是一种视网膜神经节细胞的功能。对这类细胞进行了Java软件和FPGA硬件实现，表明该模型在注意力系统的开发中具有应用价值。

 

3.3.2.2. Modeling Event-Based Sensors

　　在Katz et al. (2012b)中，一个高帧率USB摄像头用于模拟DVS摄像头的行为。PS3-Eye相机以125 fps的速度运行，并集成到jAER (2021)软件中，该软件执行基于实时事件的传感器处理。Munda et al. (2018)提出了一个变分模型，准确地模拟了DVS摄像机的行为，该行为是基于每个事件制定的，其中有关事件的异步性质的信息通过事件的相对时间戳引起的事件流形合并。该模型可以实时重建具有任意帧速率的强度图像。

 

3.3.2.3. Modeling of Cortical Mechanisms

　　Tschechne et al. (2014)提出了一种新的方法来建模运动检测的皮层机制。该模型结合了具有时空和方向特异性的滤波器。然后使用该模型记录测试刺激、关节运动和自我运动。

 

3.4. Hardware Design

　　存在开发专用于处理基于事件的视觉信号的硬件系统的若干努力。Indiveri (2000)提出了一种在VLSI芯片上实现的选择性注意力机制的硬件模型，该模型与模拟神经形态电路一起使用。该器件可用作多芯片神经形态视觉系统的收发器模块。Serrano-Gotarredona et al. (2006)提出了一种神经形态皮质层微芯片，它计算基于事件的视觉数据的二维卷积过程。该微芯片能够处理128 × 128像素，并且可以拼贴以获得更高的分辨率。在另一项工作(Vogelstein et al., 2007)中，设计了一种混合信号VLSI系统用于基于脉冲的视觉处理。该模型利用多芯片架构中单元之间的任意和可重新配置的连接。

　　Serrano-Gotarredona et al. (2009)开发了一种名为CAVIAR的新视觉硬件系统，为了提出计算神经科学和机器视觉，允许构建模块化、多层、分层和可销售的感觉处理学习和驱动系统。该系统是一个大规模并行硬件，由视网膜、可编程内核、WTA芯片、时空处理芯片、AER映射和分裂FPGA和计算机-AER接口FPGA组成。

　　Bartolozzi et al. (2011)提出了一种机器人视觉系统，它包括两个带有专用处理器的DVS相机、一个通用地址事件处理器和一个将传感器连接到处理器的FPGA。软件模块收集事件以供进一步处理。该系统能够与现实世界实时交互。

　　Serre et al. (2007)提出了HMAX模型来真正模拟视觉皮层(Riesenhuber and Poggio, 1999, 2000a, b)。Folowosele et al. (2011)提出了基于事件的模型实现，展示其对基本形状进行分类的能力。

 

4. EVENT-BASED AUDITORY SYSTEMS

　　数字音频记录设备使用经典的数字信号处理技术分解信号。在生物听觉系统中，声音信号通过耳蜗基底膜的机械特性被分解为频带。毛细胞将带通成分转换为神经脉冲，然后传播到大脑中更高的听觉区域。语音、音乐和环境噪音等听觉信息是按时间结构的。与单纯的发放率代码相比，大脑被认为通过利用动作电位的时间来编码信息来获得计算优势。因此，一些研究探索了基于事件的处理在听觉处理中的潜力，我们将在本节中进行回顾。

　　用于信号处理目的的硅耳蜗的开发已经取得了重大进展。有兴趣的读者可以参考Chan et al. (2007), Wen and Boahen (2009), Liu et al. (2010), Koickal et al. (2011), Wang et al. (2015), Yang (2015)和Jiménez-Fernández et al. (2017)。

 

4.1. Applications

4.1.1. Localization

 

4.1.2. Echolocation

 

4.1.3. Micro-Doppler Sonar

 

4.1.4. Speech Recognition

 

4.1.5. Speaker Identification

 

4.1.6. Sound Recognition

 

4.1.7. Sensor Fusion

 

4.1.8. Feature Extraction

 

5. EVENT-BASED OLFACTORY SYSTEMS

　　嗅觉在许多活动中起着至关重要的作用，例如食物觅食、追踪、交配、结合、导航和威胁检测。人工嗅觉在许多领域具有巨大潜力，包括危害检测、食品安全、工业和环境监测、灾害管理、作物监测、医学诊断等。然而，气体传感器技术仍然远远落后于视觉和听觉领域。设计人工嗅觉系统面临许多挑战，包括应对缓慢的传感器恢复、传感器漂移补偿、浓度不变识别、气味模式的正交化、混合物分离以及针对复杂背景和干扰物的气味识别等(参见Pearce et al., 2003进行审查)。基于事件的方法可以帮助缓解其中一些问题。

　　脊椎动物嗅觉系统的前端由大量嗅觉感受器神经元组成，它们在遇到吸入空气中的挥发性化学物质时会激发动作电位。人类有大约500万个嗅觉受体细胞，每个细胞只表达大约350种可能的嗅觉受体中的一种。不同的嗅觉受体的分子接收范围不同。一种类型的受体可能对一系列气味剂产生反应，而一种气味剂通常会引起一系列受体的反应。出现了一个组合代码，它通过激活的嗅觉受体模式对气味的身份进行编码(Bieri et al., 2004)。

　　人工嗅觉系统遵循类似的原理，其中具有部分重叠响应特性的传感器阵列以基于帧的方式组合，然后进行处理以提取可分配给特定气味的激活模式。在实践中，气体传感器信号通常是在很长一段时间内收集的，比如几十秒到几分钟，然后取平均值以消除湍流引起的信号变化和其他噪声。这种方法总是会引入延迟并从信号中去除任何包含湍流引起的信息的信息。相比之下，基于事件的嗅觉系统试图模仿生物嗅觉的关键原理，仅在气体浓度发生变化时才传输事件。

　　在此，我们回顾了直接使用生物学灵感的气体传感方法，用于神经形态气体传感的专用硬件系统，以及已建议使用神经形态原理改进气体传感的算法。

 

5.1. Bio-Inspired Olfaction Systems

5.1.1. Vertebrate Olfactory System

 

5.1.2. Insect Olfactory System

 

5.1.3. Honeybee Olfactory System

 

5.1.4. Stereo Olfaction

 

5.2. Hardware Systems

 

5.2.1. Hardware Design

 

5.2.2. VLSI

 

5.2.3. Gas Recognition

 

5.3. Modeling and Algorithms

 

5.3.1. Accelerated Event-Based Gas Sensing

 

5.3.2. Event-Based Source-Distance Estimation

 

5.3.3. Neural Networks

 

5.3.4. Neuromorphic Design

 

5.3.5. Computational Modeling

 

5.3.6. Contrast Enhancement

 

5.3.7. Spike Latency

 

 

6. SUMMARY OF REVIEWED RESEARCH

　　在本文中，我们回顾了基于事件的信号处理的研究，重点是视觉、听觉和嗅觉系统。我们没有试图涵盖基于事件的控制系统，因为该领域是一个独立的领域，有大量的研究需要单独审查。还有很多关于神经形态工程的研究，由于范围和规模的限制，我们没有在本文中介绍；如此倾向的读者可以参考其他优秀的调查论文(Cauwenberghs, 1998; Liu and Wang, 2009; Liu et al., 2009; Nawrocki et al., 2016; Vanarse et al., 2016; James et al., 2017; Schuman et al., 2017)。

　　在过去的二十年中，基于事件的视觉、听觉和嗅觉系统的已发表研究量有一个有趣的趋势(图1)。在2006年之前发表的论文很少，当时人们的兴趣显著增加，出版物数量激增。2006年后，该课题的研究稳步增加，表明该技术的潜力已被发现。

 

7. CONCLUSION AND DISCUSSION

　　基于事件的传感和信号处理已应用于许多应用，具有可喜的结果和若干概念优势。首先，基于事件的系统只收集有意义的信息；因此，不会传输和处理冗余数据，从而实现更高效的编码方案。这些系统可以异步方式运行，不受全局时钟引起的约束的限制。其次，与基于采样率进行量化的定期采样系统相比，信息是即时报告的。此外，可以捕获非常短的时间尺度上的时间信息，而不受Nyquist定理的限制。第三，基于事件的传感器在采样稀疏信号时提供了低功耗操作的潜力，这在移动设备或医疗植入物等功耗受限的场景中可能是一个优势。第四，许多基于事件的系统以模块化方式实现，允许通过组合和并行来增加计算能力。

　　尽管如此，基于事件的系统仍处于起步阶段，尤其是在听觉和嗅觉领域。这项技术提供了广阔的潜力，但也带来了一系列独特的挑战，概述如下。

　　神经形态感知发展的最大瓶颈可能是尚未出现正式描述和分析基于事件的感知和信号处理算法的综合理论框架。这阻碍了基于事件的算法和应用的开发。来自以工程为重点的基于事件的研究社区的交叉结合可能会提供一条前进的道路。

　　缺乏理论框架也使传统机器学习算法从基于帧的领域转换为基于事件的领域变得复杂。尽管此类转换的尝试取得了成功，但与基于帧的实现相比，它们总是会导致性能损失(尽管这种损失有时可能非常小)。相反的方向也是一个挑战：将异步、基于事件的系统与基于帧的时钟数字系统连接起来。一种简单的方法是从基于事件的信号表示中简单地创建帧，但显然这不是最佳的，因为它可能会使基于事件的传感和信号处理的优势失效。因此，未来的研究预计将侧重于开发专为基于事件的系统设计的机器学习技术。一条有前景的研究线可以利用基于事件的传感与脉冲网络的内在兼容性，可能与加速神经形态硬件系统的操作相结合。

　　除了从基于帧的算法到基于事件的领域的转换之外，传统的机器视觉和信号处理方法已经提供了大量的工具和技术来帮助解决许多常见的任务，例如图像增强、图像恢复、深度识别等，这些都可以在广泛使用且文档齐全的软件包中轻松获得。然而，构建基于事件的方法的研究人员通常必须从头开始。因此，在基础研究之外的任务中采用基于事件的技术的障碍相当高，有时可能会认为成本太高而无法超过收益。用于基于事件的信号处理的标准工具箱可能是改变游戏规则的资产，以提高这项有前途的技术的可访问性。

　　大多数基于视觉事件的信号处理应用都是简单的检测和跟踪任务。传统的机器视觉算法现在被开发用于更复杂的任务。有趣且相关的任务，如人脸识别、人类行为分析、医学诊断、产品检验等，目前远远超出了基于事件的视觉所能合理实现的任务。这可能不是由于基于事件的方法的固有限制；毕竟，人脑可以执行所有这些任务，并且它以事件驱动的方式运行。相反，需要改进神经形态硬件，也许更重要的是，需要事件驱动算法来与最先进的机器视觉、语音识别和气体传感解决方案竞争。

　　迄今为止，绝大多数基于事件的系统都是为视觉设计的，听觉领域的应用不断涌现，原型已在嗅觉中得到证明。其他没有明确处理物理量感知的数据处理领域在基于事件的信号处理社区中探索较少，尽管它们固有地适用于处理方案；例如，互联网安全、流量数据分析、人类行为分析、金融、物理实验、医疗保健数据、社交媒体、视频监控等领域，会生成可以解释为事件的数据。例如，交通系统中的数据包括一些可以在基于事件的方案中处理的事件，如事故、中断、转弯等。在金融领域，大型货船卡住并阻塞主要贸易路线等事件会影响石油价格。在医疗保健领域，血压、血糖、心跳率的变化可能表明存在特定问题。这些领域的研究尚未渗透到基于事件的数据处理策略。

　　基于事件的传感和信号处理还提供了一些有趣的研究途径，这些途径可能对该领域的未来发展至关重要；例如，探索基于事件的噪声和噪声容限、基于事件的感知的"反模式"、信号压缩和密码学。

　　虽然之前已经解决了基于事件的视觉中的降噪问题(Padala et al., 2018; Xie et al., 2018)，但仍然需要对该问题进行理论处理。此外，还应研究噪声对现有算法的影响。未来的算法应该对这种噪声具有鲁棒性。

　　用于基于事件的信号处理的"反模式"是指特定类型的数据或环境，其中基于事件的方法会遇到困难或失败，而传统方法可以很好地应对或经过设计以克服问题。例如，纹理化的视觉场景可能会导致极高的事件计数，从而使事件传输结构过载。这个问题有效地限制了作为总线容量函数的基于事件的视觉传感器的像素数。类似的反模式可能存在于基于事件的嗅觉和音频处理中，但尚未被识别、研究并提供解决方案。通常，对神经科学的观察可能会提出有希望的解决方案。例如，哺乳动物视网膜在产生任何脉冲信号之前就已经提供了丰富的信号处理能力(Baden et al., 2016)。

　　基于事件的域中的信号压缩是一个有趣的话题。与周期性和时间冗余采样相比，稀疏信号的事件驱动采样本质上实现了输入信息的压缩。仍然需要对这些传感器的数据压缩进行更多研究，尤其是在视觉领域，在使用高分辨率传感器时，即使是稀疏信号的事件计数也会非常迅速地增长。我们回顾了这方面的一些方法，但更多的理论分析和实用算法可以帮助开发更有效的压缩机制。

　　在处理敏感数据时，密码学发挥着重要作用。许多算法可用于对敏感的音频和视频信号进行有效加密。在基于事件的研究社区的当前趋势中，这一研究领域大多不存在。然而，基于事件的信号可能很敏感，因此需要在传输前加密。专门为基于事件的数据设计的加密算法是一个尚未成为目标的重要领域。

　　最后，对于嗅觉而言，一个巨大的挑战是强大传感器的可用性。当前的气体传感技术落后于动物甚至昆虫的嗅觉能力。一个特殊的问题是时间分辨率，至少在需要便携性和低功耗的情况下是这样。存在基于事件的方法来缩小技术与生物学之间的差距(例如Drix and Schmuker, 2021)。气体传感技术的改进无疑也将促进基于事件的嗅觉的进步。