Event-driven proto-object based saliency in 3D space to attract a robot's attention.
Event-driven proto-object based saliency in 3D space to attract a robot's attention.
复制标题
DOI：
10.1038/s41598-022-11723-6
复制
发表时间：
2022-05-10
影响因子：
4.6
通讯作者：
Bartolozzi, Chiara
中科院分区：
文献类型：
--
作者：
Ghosh, Suman;D'Angelo, Giulia;Glover, Arren;Iacono, Massimiliano;Niebur, Ernst;Bartolozzi, Chiara
为了与环境进行交互，在3D空间中工作的机器人需要根据对象或其感知前体（原型对象）来组织其视觉输入。在其他视觉线索中，深度是用于将注意力引导到视觉特征和对象的子模态。当前基于深度的原型对象注意力模型已经被实现用于产生同步帧的标准RGB-D相机。相比之下，事件相机是神经形态传感器，其通过以非常高的时间分辨率对每像素亮度变化进行异步编码来松散地模仿人类视网膜的功能，从而提供诸如高动态范围、效率（由于其高度的信号压缩）和低延迟等优点。我们提出了一个生物启发的自下而上的注意力模型，利用事件驱动的传感生成基于深度的显着性图，允许机器人与复杂的视觉输入进行交互。我们使用安装在iCub人形机器人的眼睛事件摄像机直接提取边缘，视差和运动信息。现实世界的实验表明，我们的系统可以在存在杂波和动态场景变化的情况下稳健地选择机器人附近的显着对象，以利于对象分割、跟踪和机器人与外部对象交互等下游应用。
To interact with its environment, a robot working in 3D space needs to organise its visual input in terms of objects or their perceptual precursors, proto-objects. Among other visual cues, depth is a submodality used to direct attention to visual features and objects. Current depth-based proto-object attention models have been implemented for standard RGB-D cameras that produce synchronous frames. In contrast, event cameras are neuromorphic sensors that loosely mimic the function of the human retina by asynchronously encoding per-pixel brightness changes at very high temporal resolution, thereby providing advantages like high dynamic range, efficiency (thanks to their high degree of signal compression), and low latency. We propose a bio-inspired bottom-up attention model that exploits event-driven sensing to generate depth-based saliency maps that allow a robot to interact with complex visual input. We use event-cameras mounted in the eyes of the iCub humanoid robot to directly extract edge, disparity and motion information. Real-world experiments demonstrate that our system robustly selects salient objects near the robot in the presence of clutter and dynamic scene changes, for the benefit of downstream applications like object segmentation, tracking and robot interaction with external objects.
登录
查看更多内容
影响因子：
8.2
作者：
Gomez MA;Skiba RM;Snow JC
通讯作者：
Snow JC
影响因子：
4.3
作者：
D'Angelo, Giulia;Janotte, Ella;Bartolozzi, Chiara
通讯作者：
Bartolozzi, Chiara
影响因子：
3.1
作者：
Firouzi, Mohsen;Conradt, Joerg
通讯作者：
Conradt, Joerg
DOI：
10.1109/tpami.2018.2815601
发表时间：
2019-03-01
影响因子：
23.6
作者：
Bylinskii, Zoya;Judd, Tilke;Durand, Fredo
通讯作者：
Durand, Fredo
DOI：
10.1109/34.730558
发表时间：
1998-11-01
影响因子：
23.6
作者：
Itti, L;Koch, C;Niebur, E
通讯作者：
Niebur, E