PsyPhy: A Psychophysics Driven Evaluation Framework for Visual Recognition
PsyPhy: A Psychophysics Driven Evaluation Framework for Visual Recognition
复制标题
PsyPhy：心理物理学驱动的视觉识别评估框架
DOI：
10.1109/tpami.2018.2849989
复制
发表时间：
2019
影响因子：
23.6
通讯作者：
Scheirer, Walter J.
中科院分区：
文献类型：
--
作者：
Richard Webster, Brandon;Anthony, Samuel E.;Scheirer, Walter J.
通过提供大量的数据和标准化的评估协议，计算机视觉中的数据集帮助推动了视觉识别所有领域的进步。但是，即使在最近的基准测试中取得了突破性的成果，我们仍然可以公平地问，我们的识别算法是否像我们认为的那样好。视觉科学通常使用一种非常不同的评估机制，即视觉心理物理学来研究视觉感知。心理物理学是一门定量研究受控刺激与其在实验测试对象中引起的行为反应之间关系的学科。心理物理学不是使用汇总统计来衡量表现，而是指导我们构建由个体刺激反应组成的项目反应曲线，以找到感知阈值，从而允许人们确定受试者不再可靠地识别刺激类别的确切点。在本文中，我们介绍了基于该方法的视觉识别模型的综合评估框架。在数百万个程序渲染的3D场景和2D图像中，我们比较了众所周知的卷积神经网络的性能。我们的研究结果对最近声称的类似人类的表现提出了质疑，并为纠正新出现的算法缺陷提供了一条前进的道路。
By providing substantial amounts of data and standardized evaluation protocols, datasets in computer vision have helped fuel advances across all areas of visual recognition. But even in light of breakthrough results on recent benchmarks, it is still fair to ask if our recognition algorithms are doing as well as we think they are. The vision sciences at large make use of a very different evaluation regime known as Visual Psychophysics to study visual perception. Psychophysics is the quantitative examination of the relationships between controlled stimuli and the behavioral responses they elicit in experimental test subjects. Instead of using summary statistics to gauge performance, psychophysics directs us to construct item-response curves made up of individual stimulus responses to find perceptual thresholds, thus allowing one to identify the exact point at which a subject can no longer reliably recognize the stimulus class. In this article, we introduce a comprehensive evaluation framework for visual recognition models that is underpinned by this methodology. Over millions of procedurally rendered 3D scenes and 2D images, we compare the performance of well-known convolutional neural networks. Our results bring into question recent claims of human-like performance, and provide a path forward for correcting newly surfaced algorithmic deficiencies.
登录
查看更多内容
DOI：
--
发表时间：
2015
期刊：
--
影响因子：
--
作者：
Ilker Yildirim
通讯作者：
Ilker Yildirim
DOI：
--
发表时间：
2017-06
期刊：
ArXiv
影响因子：
--
作者：
Robert Geirhos;David H. J. Janssen;Heiko H. Schütt;Jonas Rauber;M. Bethge;Felix Wichmann
通讯作者：
Robert Geirhos;David H. J. Janssen;Heiko H. Schütt;Jonas Rauber;M. Bethge;Felix Wichmann
影响因子：
2.6
作者：
Duchaine, B;Nakayama, K
通讯作者：
Nakayama, K
感知注释：测量人类视觉以改善计算机视觉
影响因子：
23.6
作者：
W. Scheirer;Samuel E. Anthony;K. Nakayama;David D. Cox
通讯作者：
David D. Cox