Finding any Waldo with zero-shot invariant and efficient visual search.
Finding any Waldo with zero-shot invariant and efficient visual search.
复制标题
DOI：
10.1038/s41467-018-06217-x
复制
发表时间：
2018-09-13
影响因子：
16.6
通讯作者：
Kreiman G
中科院分区：
文献类型：
--
作者：
Zhang M;Feng J;Ma KT;Lim JH;Zhao Q;Kreiman G
在杂乱的场景中寻找目标物体构成了日常视觉的基本挑战。视觉搜索必须具有足够的选择性，以区分目标和干扰物，不受目标外观变化的影响，有效避免对图像进行详尽的探索，并且必须具有泛化性，以便通过零射击训练定位新的目标物体。先前的视觉搜索工作集中在经过广泛的特定类别训练后搜索目标的完美匹配。在这里，我们首次展示了人类可以在复杂的场景中高效而不变地搜索自然物体。为了深入了解指导视觉搜索的机制，我们提出了一个受生物学启发的计算模型，该模型可以在没有详尽采样的情况下定位目标，并且可以推广到新对象。该模型提供了在自然场景中搜索过程中自下而上和自上而下信号集成的近似机制。视觉搜索需要“不变地”识别一个物体，尽管它的外观发生了变化。在这里，作者展示了人类可以在复杂场景中高效且不变地搜索物体，并引入了一个受生物学启发的零射击模型，该模型可以捕捉人类在搜索过程中的眼球运动。
Searching for a target object in a cluttered scene constitutes a fundamental challenge in daily vision. Visual search must be selective enough to discriminate the target from distractors, invariant to changes in the appearance of the target, efficient to avoid exhaustive exploration of the image, and must generalize to locate novel target objects with zero-shot training. Previous work on visual search has focused on searching for perfect matches of a target after extensive category-specific training. Here, we show for the first time that humans can efficiently and invariantly search for natural objects in complex scenes. To gain insight into the mechanisms that guide visual search, we propose a biologically inspired computational model that can locate targets without exhaustive sampling and which can generalize to novel objects. The model provides an approximation to the mechanisms integrating bottom-up and top-down signals during search in natural scenes. Visual search requires recognizing an object “invariantly”, despite changes in its appearance. Here, the authors show that humans can efficiently and invariantly search for objects in complex scenes and introduce a biologically-inspired zero-shot model that captures human eye movements during search.
登录
查看更多内容
DOI：
10.1109/tpami.2012.89
发表时间：
2013-01-01
影响因子：
23.6
作者：
Borji, Ali;Itti, Laurent
通讯作者：
Itti, Laurent
影响因子：
1.9
作者：
FUKUSHIMA, K
通讯作者：
FUKUSHIMA, K
影响因子：
5.4
作者：
Cristino, Filipe;Mathot, Sebastiaan;Gilchrist, Iain D.
通讯作者：
Gilchrist, Iain D.
影响因子：
16.2
作者：
Buschman, Timothy J.;Miller, Earl K.
通讯作者：
Miller, Earl K.
DOI：
10.1109/34.730558
发表时间：
1998-11-01
影响因子：
23.6
作者：
Itti, L;Koch, C;Niebur, E
通讯作者：
Niebur, E