Image visual attention computation and application via the learning of object attributes
Image visual attention computation and application via the learning of object attributes
复制标题
通过对象属性学习的图像视觉注意力计算和应用
DOI：
10.1007/s00138-013-0558-1
复制
发表时间：
2013-10
影响因子：
3.3
通讯作者：
Jungong Han
中科院分区：
文献类型：
--
作者：
Junwei Han;Dongyang Wang;Ling Shao;Xiaoliang Qian;Gong Cheng;Jungong Han
视觉注意的目的是从视觉输入中选择一个显著的子集进行进一步的处理，而忽略冗余的数据。视觉注意力计算的主导观点是基于这样的假设，即自下而上的视觉显著性，如局部对比度和兴趣点驱动场景观看中的注意力分配。然而，在本文中，我们主张注意力的部署主要是直接由对象引导的，因此提出了一个新的框架来探索图像视觉注意力通过学习对象属性fromeye跟踪数据。本文主要解决三个问题：（1）像素级视觉注意力计算（显著图）;（2）图像级视觉注意力计算;（3）计算模型在图像分类中的应用。我们首先采用对象库的算法来获取图像中每个位置上的多个对象检测器的响应，从而形成一个特征描述符来指示在一个像素处或在一幅图像中出现的各种对象。接下来，我们将从眼动跟踪数据中的注视中推断出感兴趣的物体与周围物体之间的竞争相结合，以解决第一个问题。我们进一步提出了一个计算模型来解决第二个问题，并通过对象属性和从眼动跟踪数据中获得的观察者间视觉一致性之间的映射来估计每个图像的兴趣度。最后，我们将所提出的像素级视觉注意力模型应用于图像分类任务。对公开的基准和国家的最先进的方法的比较的综合评价表明，所提出的模型的有效性。
Visual attention aims at selecting a salient subset from the visual input for further processing while ignoring redundant data. The dominant view for the computation of visual attention is based on the assumption that bottom-up visual saliency such as local contrast and interest points drives the allocation of attention in scene viewing. However, we advocate in this paper that the deployment of attention is primarily and directly guided by objects and thus propose a novel framework to explore image visual attention via the learning of object attributes fromeye-tracking data. We mainly aim to solve three problems: (1) the pixel-level visual attention computation (the saliency map); (2) the image-level visual attention computation; (3) the application of the computation model in image categorization. We first adopt the algorithm of object bank to acquire the responses to a number of object detectors at each location in an image and thus form a feature descriptor to indicate the occurrences of various objects at a pixel or in an image. Next, we integrate the inference of interesting objects from fixations in eye-tracking data with the competition among surrounding objects to solve the first problem. We further propose a computational model to solve the second problem and estimate the interestingness of each image via the mapping between object attributes and the inter-observer visual congruency obtained from eye-tracking data. Finally, we apply the proposed pixel-level visual attention model to the image categorization task. Comprehensive evaluations on publicly available benchmarks and comparisons with state-of-the-art methods demonstrate the effectiveness of the proposed models.
登录
查看更多内容
DOI：
10.1007/978-3-642-35749-7_5
发表时间：
2010-09
期刊：
--
影响因子：
--
作者：
Li-Jia Li-Li-Jia-Li-2040091191;Hao Su;Yongwhan Lim;Li Fei-Fei-Li-Fei-Fei-48004138
通讯作者：
Li-Jia Li-Li-Jia-Li-2040091191;Hao Su;Yongwhan Lim;Li Fei-Fei-Li-Fei-Fei-48004138
DOI：
10.1109/tcsvt.2013.2242594
发表时间：
2013-12
影响因子：
8.4
作者：
Junwei Han;Sheng He;Xiaoliang Qian;Dongyang Wang;Lei Guo;Tianming Liu
通讯作者：
Junwei Han;Sheng He;Xiaoliang Qian;Dongyang Wang;Lei Guo;Tianming Liu
DOI：
10.1109/cvpr.2008.4587715
发表时间：
2008-06
期刊：
2008 IEEE Conference on Computer Vision and Pattern Recognition
影响因子：
--
作者：
Chenlei Guo;Qi Ma;Liming Zhang
通讯作者：
Chenlei Guo;Qi Ma;Liming Zhang
DOI：
10.1109/cvpr.2009.5206596
发表时间：
2009-06
期刊：
2009 IEEE Conference on Computer Vision and Pattern Recognition
影响因子：
--
作者：
R. Achanta;S. Hemami;F. Estrada;S. Süsstrunk
通讯作者：
R. Achanta;S. Hemami;F. Estrada;S. Süsstrunk
DOI：
10.1109/tpami.2011.272
发表时间：
2012-10-01
影响因子：
23.6
作者：
Goferman, Stas;Zelnik-Manor, Lihi;Tal, Ayellet
通讯作者：
Tal, Ayellet