RetinoSim: an Event-based Data Synthesis Tool for Neuromorphic Vision Architecture Exploration
RetinoSim: an Event-based Data Synthesis Tool for Neuromorphic Vision Architecture Exploration
复制标题
RetinoSim：用于神经形态视觉架构探索的基于事件的数据合成工具
DOI：
10.1145/3546790.3546805
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Andreou, Andreas
中科院分区：
文献类型：
--
作者：
Sengupta, Jonah;Liu, Susan;Andreou, Andreas
神经形态视觉传感器（NVS），也被称为硅视网膜，通过将入射光电流转导成指示强度正和负变化的异步尖峰流来捕捉哺乳动物视网膜的生物功能方面。目前最先进的设备可以在各种环境中有效利用，但在向高性能环境过渡时仍然存在明显的缺点，例如空间和自主性。本文提供了一个数据合成工具的概述和演示，该工具可以从视网膜收集特征，使用户不仅可以将传统视频转换为神经形态数据，还可以表征设计权衡并为未来的努力提供信息。我们的视网膜形态模型，RetinoSim，结合了当前NVS的各个方面，允许准确的数据转换，同时提供生物学启发的功能，以改进这一基线。RetinoSim是在MATLAB中实现的，具有图形用户界面前端，允许快速的视频转换和架构探索。我们证明了该工具可以用于稀疏事件流的实时转换，前端配置的探索以及现有事件数据集的复制。
Neuromorphic vision sensors (NVS), also known as silicon retina, capture aspects of the biological functionality of the mammalian retina by transducing incident photocurrent into an asynchronous stream of spikes that denote positive and negative changes in intensity. Current state-of-the-art devices are effectively leveraged in a variety of settings, but still suffer from distinct disadvantages as they are transitioned into high performance environments, such as space and autonomy. This paper provides an outline and demonstration of a data synthesis tool that gleans characteristics from the retina and allows the user to not only convert traditional video into neuromorphic data, but characterize design tradeoffs and inform future endeavors. Our retinomorphic model, RetinoSim, incorporates aspects of current NVS to allow for accurate data conversion while providing biologically-inspired features to improve upon this baseline. RetinoSim was implemented in MATLAB with a Graphical User Interface frontend to allow for expeditious video conversion and architecture exploration. We demonstrate that the tool can be used for real-time conversion for sparse event streams, exploration of frontend configurations, and duplication of existing event datasets.
登录
查看更多内容
用于物体检测和跟踪的视网膜神经节细胞软件和 FPGA 模型实现
DOI：
--
发表时间：
2016
期刊：
International Symposium on Circuits and Systems
影响因子：
--
作者：
Diederik Paul Moeys;T. Delbrück;A. Rios;A. Linares
通讯作者：
A. Linares
事件摄像机的反馈控制
DOI：
--
发表时间：
2021
期刊：
2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)
影响因子：
--
作者：
T. Delbrück;Rui Graça;M. Paluch
通讯作者：
M. Paluch
使用图谱聚类进行基于事件的视觉的移动物体检测
DOI：
--
发表时间：
2021
期刊：
2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW)
影响因子：
--
作者：
Anindya Mondal;R. Shashant;Jhony H. Giraldo;T. Bouwmans;A. Chowdhury
通讯作者：
A. Chowdhury
现场演示：基于事件的视觉传感器的行为仿真
DOI：
--
发表时间：
2012
期刊：
2012 IEEE International Symposium on Circuits and Systems
影响因子：
--
作者：
Matthew L. Katz;K. Nikolic;T. Delbrück
通讯作者：
T. Delbrück
影响因子：
20.6
作者：
Abshire, P;Andreou, AG
通讯作者：
Andreou, AG