Insect-inspired Spatio-temporal Downsampling of Event-based Input
Insect-inspired Spatio-temporal Downsampling of Event-based Input
复制标题
基于事件输入的受昆虫启发的时空下采样
DOI：
10.1145/3589737.3605994
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Ghosh A
中科院分区：
文献类型：
--
作者：
Ghosh A
作为自主系统的视觉传感器，基于事件的相机提供了许多优于传统相机的优点，包括更高的动态范围和时间分辨率以及更低的带宽和功率要求。然而，尽管下采样经常用于标准计算机视觉中，但没有可靠的技术来对事件数据进行下采样，从而导致基于事件的计算机视觉系统的瓶颈。在这里，我们扩展了我们以前的工作，解释了任何有效的基于事件的下采样算法需要克服的挑战，并提出了一种新的生物启发过程，与原始分辨率相比，该过程可以熟练地将事件流下采样高达16倍。我们表明，我们的下采样事件流实现了高保真度与一个假设的低分辨率事件相机，并提高分类性能的高度下采样版本的DVS手势数据集。此外，我们还证明了与基于事件的朴素下采样相比，我们的方法大大减少了下游神经形态处理器必须处理的尖峰数量。
As vision sensors for autonomous systems, event based cameras provide numerous benefits over conventional cameras including higher dynamic range and temporal resolution as well as lower bandwidth and power requirements. However, while downsampling is regularly used in standard computer vision, there are no reliable techniques to do this for event data, resulting in a bottleneck for event-based computer vision systems. Here we extend our previous work, explain the challenges that need to be overcome by any effective event-based downsampling algorithm and present a novel biologically-inspired process that can adeptly downsample event streams by factors of up to 16 times compared to the original resolution. We show that our downsampled event streams achieve high fidelity with a hypothetical low-resolution event camera and improve classification performance on highly downsampled versions of the DVS gesture dataset. Furthermore, we demonstrate that compared to a naïve event-based downsampling, our approach massively reduces the number of spikes that downstream neuromorphic processors have to handle.
登录
查看更多内容
影响因子：
4.3
作者：
Pehle C;Billaudelle S;Cramer B;Kaiser J;Schreiber K;Stradmann Y;Weis J;Leibfried A;Müller E;Schemmel J
通讯作者：
Schemmel J
用于通过蝗虫中已识别的视觉神经元计算物体接近度的局部电路
DOI：
--
发表时间：
1998
期刊：
The Journal of comparative neurology
影响因子：
--
作者：
F. C. Rind;P. Simmons
通讯作者：
P. Simmons
基于事件的相机输出的神经形态下采样
DOI：
--
发表时间：
2023
期刊：
Neuro Inspired Computational Elements Workshop
影响因子：
--
作者：
Charles P. Rizzo;C. Schuman;J. Plank
通讯作者：
J. Plank
影响因子：
3.5
作者：
Knight JC;Komissarov A;Nowotny T
通讯作者：
Nowotny T
基于事件的时空下采样
DOI：
--
发表时间：
2022
期刊：
UKRAS22 Conference "Robotics for Unconstrained Environments" Proceedings
影响因子：
--
作者：
Anindya Ghosh;Thomas Nowotny;James C. Knight
通讯作者：
James C. Knight